Déjame ahorrarte algunos problemas usando AWS CLI:

 aws s3 cp s3://mybucket/mydir/ . --recursive ; zip myzip.zip *.csv

Puede cambiar el comodín para que se adapte a sus necesidades, pero esto funcionará inherentemente más rápido que Python, ya que la CLI de AWS se ha optimizado mucho más allá de las capacidades de boto .

si desea usar boto, tendrá que hacerlo en un bucle como lo ha hecho y agregar cada elemento a un archivo zip.

con la CLI puede usar s3 sync y luego comprimirlo https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

aws s3 sync s3://bucket-name ./local-location && zip bucket.zip ./local-location

Parece que está muy cerca, pero necesita pasar un nombre de archivo a ZipFile.write() y download_file no devuelve un nombre de archivo. Lo siguiente debería funcionar bien, pero no lo he probado exhaustivamente.

 from tempfile import NamedTemporaryFile from zipfile import ZipFile import boto3 def archive_bucket(bucket_name, zip_name): s3 = boto3.client('s3') paginator = s3.get_paginator('list_objects_v2') with ZipFile(zip_name, 'w') as zf: for page in paginator.paginate(Bucket=bucket_name): for obj in page['Contents']: # This might have issues on some systems since the file will # be open for writes in two places. You can use other # methods of creating a temporary file to work around that. with NamedTemporaryFile() as f: s3.download_file(bucket_name, obj['Key'], f.name) # Copies over the temprary file using the key as the # file name in the zip. zf.write(f.name, obj['Key'])

Esto tiene menos uso de espacio que las soluciones que usan la CLI, pero aún así no es ideal. Aún tendrá dos copias de un archivo determinado en algún momento: una en el archivo temporal y otra que se ha comprimido. Por lo tanto, debe asegurarse de tener suficiente espacio en el disco para admitir el tamaño de todos los archivos que está descargando más el tamaño del archivo más grande. Si hubiera una manera de abrir un objeto similar a un archivo que escribiera directamente en un archivo en el directorio zip, entonces podría evitarlo. No sé cómo hacer eso sin embargo.