Empresas
Empleos
  • Sobre nosotros
  • Soluciones
    • Publicación de vacantes
      Publica tu vacante y recibe candidatos calificados en 48h.
    • Evaluación de candidatos
      500+ pruebas técnicas y psicológicas, más anti-fraude.
    • Headhunting
      Búsqueda ejecutiva a la medida de principio a fin.
    • Nómina + EOR
      Dispersión de nómina y EOR en más de 15 países de LATAM.
  • Precios
  • Empleos

0

131
Vistas
s3 serverside encryption using oozie workflow

I have a sqoop job which will write the data into s3 bucket. If I run this job from command line it is encrypting the s3 files. But if I use the same jar file to run sqoop job using oozie workflow then it is pushing the data to s3 but encryption is not happened.

Below is the my oozie workflow.

    <java>
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <main-class>com.aa.datalake.ingest.util.SqoopIngestUtil</main-class>
        <arg>root</arg>
        <arg>root</arg>
        <arg>test</arg>
    <arg>avro</arg>
    <arg>sqoop-demo</arg>   
    </java>
    <ok to="end"/>
    <error to="email-action" />
</action>

Inside jar we are copying the data from hdfs to s3 using distcp command.

So how I can do the server side encryption for s3 files using oozie workflow?

about 4 years ago · Santiago Trujillo
1 Respuestas
Responde la pregunta

0

I have resolved the above issue by enabling the s3 encryption in EMR cluster before launching the cluster.

about 4 years ago · Santiago Trujillo Denunciar
Responde la pregunta
Encuentra empleos remotos

¡Descubre la nueva forma de encontrar empleo!

Top de empleos
Top categorías de empleo
Empresas
Publicar vacante Precios Comercial
Legal
Términos y condiciones Política de privacidad
© 2026 PeakU Inc. All Rights Reserved.
Andres GPT
Recomiéndame algunas ofertas
Necesito ayuda