Nuestra empresa tiene el requisito de cifrar todos los datos que están en reposo en S3. Por lo general, cuando cargamos un objeto s3, hacemos algo como:
aws s3 cp a.txt s3://b/test --sse Estoy jugando con dask.dataframe y quiero exportar uno de mis conjuntos de datos a un parquet almacenado en S3, pero no puedo encontrar ninguna opción para activar el cifrado. ¿Alguna idea de cómo aplicar el cifrado usando dask.dataframe?
Esto no está implementado actualmente en s3fs , el backend que usa dask para escribir en S3. No sería difícil agregar, incluyendo (algunos de) los siguientes parámetros en el constructor para S3FileSystem, e incluyéndolos en la pequeña cantidad de llamadas en boto3 s3client; entonces los parámetros se incluirían en storage_options= al llamar a to_parquet() .
ServerSideEncryption='AES256'|'aws:kms', SSECustomerAlgorithm='string', SSECustomerKey='string', SSEKMSKeyId='string', También debería haber una opción para configurarlos por archivo, así como de forma predeterminada en la instancia del sistema de archivos. ¡Siéntete libre de intentar una PR! Tenga en cuenta que SSE probablemente no esté implementado en moto , por lo que probar el uso puede ser difícil.
Tenga en cuenta que, en su caso, es probable que el comando aws lea algunos de estos valores desde una ubicación estándar como ~/.aws/ .
A partir de ahora, esto es posible:
df.to_csv(s3_path, storage_options={"s3_additional_kwargs":{"ServerSideEncryption": "AES256"}})