Tengo un trabajo de sqoop que escribirá los datos en el depósito s3. Si ejecuto este trabajo desde la línea de comando, está cifrando los archivos s3. Pero si uso el mismo archivo jar para ejecutar el trabajo sqoop usando el flujo de trabajo oozie, entonces está enviando los datos a s3 pero no se realiza el cifrado.
A continuación se muestra el flujo de trabajo de my oozie.
<java> <job-tracker>${jobTracker}</job-tracker> <name-node>${nameNode}</name-node> <main-class>com.aa.datalake.ingest.util.SqoopIngestUtil</main-class> <arg>root</arg> <arg>root</arg> <arg>test</arg> <arg>avro</arg> <arg>sqoop-demo</arg> </java> <ok to="end"/> <error to="email-action" /> </action>Dentro de jar estamos copiando los datos de hdfs a s3 usando el comando distcp.
Entonces, ¿cómo puedo hacer el cifrado del lado del servidor para archivos s3 usando el flujo de trabajo oozie?
Resolví el problema anterior al habilitar el cifrado s3 en el clúster EMR antes de iniciar el clúster.