Estoy intentando grep un archivo zip en S3/aws y escribir el resultado en una nueva ubicación con el mismo nombre de archivo
Estoy usando a continuación en s3, ¿es esta la forma correcta de escribir la salida de transmisión desde el primer comando CAT a la salida hdfs?
hadoop fs -cat s3://analytics/LZ/2017/03/03/test_20170303-000000.tar.gz | zgrep -a -E '*word_1*|*word_2*|word_3|word_4' | hadoop fs -put - s3://prod/project/test/test_20170303-000000.tar.gz-copyToLocal y -copyFromLocal para copiarlo en el FS local y trabajar allí. El problema con cosas como -cat es que muchas cosas se cierran en el código del cliente de Hadoop, por lo que es probable que una canalización recoja demasiada basura superflua.