Tengo problemas para integrar EMR con S3, es decir, para implementar EMRFS
Versión EMR: emr-5.4.0
Cuando ejecuto hdfs dfs -ls s3://pathto/bucket/ obtengo el siguiente error
ls: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Acceso denegado (Servicio: Amazon S3; Código de estado: 403; Código de error: Acceso denegado; ID de solicitud: XXXX ), ID de solicitud extendida de S3: XXXXX**
Por favor, guíe, ¿qué es eso, qué me estoy perdiendo?
He hecho los siguientes pasos
Creó un clúster de EMR manualmente con la nueva política de seguridad de EMR y la siguiente clasificación de configuración
"fs.s3.enableServerSideEncryption": "true", "fs.s3.serverSideEncryption.kms.keyId":"KEYID"EMR, de forma predeterminada, utilizará las credenciales del perfil de la instancia ( EMR_EC2_DefaultRole ) para acceder a su depósito de S3. El error significa que este rol no tiene los permisos necesarios para acceder al depósito S3.
Deberá verificar la política de rol de IAM de ese rol para permitir las acciones de S3 necesarias tanto en el depósito como en los objetos (como s3:list*). Compruebe también si tiene algún Deny's explícito, etc. http://docs.aws.amazon.com/AmazonS3/latest/dev/using-with-s3-actions.html
El acceso también podría denegarse debido a una política de depósito establecida en el depósito de S3 al que intenta acceder. http://docs.aws.amazon.com/AmazonS3/latest/dev/example-bucket-policies.html https://aws.amazon.com/blogs/security/iam-policies-and-bucket-policies-and -acls-oh-my-controlling-access-to-s3-resources/
Su clúster de EMR podría estar usando un punto de enlace de la VPC para que S3 acceda a S3 en lugar de Internet/NAT. En ese caso, también deberá verificar las políticas de punto de enlace de la VPC . https://docs.aws.amazon.com/vpc/latest/userguide/vpc-endpoints-s3.html#vpc-endpoints-policies-s3