Tengo un DataFrame y me gustaría guardar los resultados como CSV dentro de mi directorio s3 llamado mydirectory: s3n://bucket/home/mydirectory/result.csv
En mydirectory tengo derecho a leer y escribir.
Sin embargo tengo este error:
File "C:\Users\rubeno\Documents\spark-2.1.0-bin-hadoop2.7\python\lib\py4j-0.10.4-src.zip\py4j\protocol.py", line 319, in get_return_value py4j.protocol.Py4JJavaError: An error occurred while calling o135.json. : org.apache.hadoop.security.AccessControlException: Permission denied: s3n://bucket/homeAquí está mi código para escribir y guardar el df program_watched_by_set_of_box
program_watched_by_set_of_box.write.save(path='s3n://bucket/home/mydirectory/result.csv', format='com.databricks.spark.csv', header='false', nullValue='null', mode='overwrite')Gracias
verifique las configuraciones de EMR si fs.s3.enableServerSideEncryption está establecido en True. Puede configurar la siguiente opción con emr create-custer
--configurations '[{"Classification":"emrfs-site","Properties":{"fs.s3.enableServerSideEncryption":"true"},"Configurations":[]}]'