• Jobs
  • About Us
  • professionals
    • Home
    • Jobs
    • Courses and challenges
    • Questions
    • Teachers
  • business
    • Home
    • Post vacancy
    • Our process
    • Pricing
    • Assessments
    • Payroll
    • Blog
    • Sales
    • Salary Calculator

0

196
Views
¿To_parquet de dask.dataframe es compatible con el cifrado del lado del servidor?

Nuestra empresa tiene el requisito de cifrar todos los datos que están en reposo en S3. Por lo general, cuando cargamos un objeto s3, hacemos algo como:

 aws s3 cp a.txt s3://b/test --sse

Estoy jugando con dask.dataframe y quiero exportar uno de mis conjuntos de datos a un parquet almacenado en S3, pero no puedo encontrar ninguna opción para activar el cifrado. ¿Alguna idea de cómo aplicar el cifrado usando dask.dataframe?

almost 3 years ago · Santiago Trujillo
2 answers
Answer question

0

Esto no está implementado actualmente en s3fs , el backend que usa dask para escribir en S3. No sería difícil agregar, incluyendo (algunos de) los siguientes parámetros en el constructor para S3FileSystem, e incluyéndolos en la pequeña cantidad de llamadas en boto3 s3client; entonces los parámetros se incluirían en storage_options= al llamar a to_parquet() .

 ServerSideEncryption='AES256'|'aws:kms', SSECustomerAlgorithm='string', SSECustomerKey='string', SSEKMSKeyId='string',

También debería haber una opción para configurarlos por archivo, así como de forma predeterminada en la instancia del sistema de archivos. ¡Siéntete libre de intentar una PR! Tenga en cuenta que SSE probablemente no esté implementado en moto , por lo que probar el uso puede ser difícil.

Tenga en cuenta que, en su caso, es probable que el comando aws lea algunos de estos valores desde una ubicación estándar como ~/.aws/ .

almost 3 years ago · Santiago Trujillo Report

0

A partir de ahora, esto es posible:

 df.to_csv(s3_path, storage_options={"s3_additional_kwargs":{"ServerSideEncryption": "AES256"}})
almost 3 years ago · Santiago Trujillo Report
Answer question
Find remote jobs

Discover the new way to find a job!

Top jobs
Top job categories
Business
Post vacancy Pricing Our process Sales
Legal
Terms and conditions Privacy policy
© 2025 PeakU Inc. All Rights Reserved.

Andres GPT

Recommend me some offers
I have an error