Tengo una carpeta s3 donde los archivos se organizan desde una aplicación. Necesito mover estos archivos según una estructura de carpetas específica usando los nombres de archivo.
Los archivos se nombran en un formato particular:
s3://bucketname/staging/file1_YYYY_MM_DD_HH_MM_SS s3://bucketname/staging/file1_YYYY_MM_DD_HH_MM_SSNecesito moverlos a carpetas s3 de este formato:
s3://bucketname/file1/YYYY/MM/DDAhora tengo el siguiente código para almacenar todos los nombres de archivo presentes en la carpeta de ensayo en un archivo.
path=s3://bucketname/staging count=`s3cmd ls $path | wc -l` echo $count if [[ $count -gt 0 ]]; then list_files_to_move_s3=$(s3cmd ls -r $path | awk '{print $4}' > files_in_bucket.txt) echo "exists" else echo "do not exist" fiAhora necesito leer los nombres de archivo y mover los archivos en consecuencia. ¿Puedes ayudarme?
Puede analizar el contenido de files_in_bucket.txt con sed para producir el resultado que desea:
---> cat tests3.txt s3://bucketname/staging/file1_YYYY_MM_DD_HH_MM_SS s3://bucketname/staging/file1_YYYY_MM_DD_HH_MM_SS ---> sed -r "s|^(s3://.*)/.*/(.*)_(.*)_(.*)_(.*)_.*_.*_.*$|\1/\2/\3/\4/\5|g" tests3.txt s3://bucketname/file1/YYYY/MM/DD s3://bucketname/file1/YYYY/MM/DD ---> Lo que sucede allí es que analiza cada línea del archivo tests3.txt, con cada bit entre paréntesis guardado como una "variable" (no estoy seguro de cuál es el término correcto para sed, pero entiende la idea) que luego puede ser referenciado en la cadena de sustitución como \1 , \2 , \3 , etc. Por lo tanto, selecciona el primer bit, incluso hasta la primera barra inclinada, salta el bit de "puesta en escena" y luego selecciona las porciones de archivo y fecha de el nombre del archivo.
Tenga en cuenta que esto supone un diseño muy estandarizado de los nombres de archivo y el resultado deseado.
Avísame si tienes alguna pregunta sobre esto o si necesitas más ayuda.