Para hacer esto en boto3, podrías hacer algo como esto:

 import boto3 s3 = boto3.resource('s3') bucket = s3.Bucket('mybucket') for object_summary in bucket.objects.all(): print(object_summary.key) print(object_summary.last_modified)

En este caso, boto3 se encargará de toda la paginación, por lo que no estará limitado solo a la primera página de resultados.

¿Es eso lo que estás tratando de hacer?

De la documentación: http://boto3.readthedocs.io/en/latest/reference/services/s3.html?highlight=s3#S3.Client.list_objects_v2 Devuelve algunos o todos (hasta 1000) de los objetos en un depósito.

 response = client.list_objects_v2( Bucket='string', Delimiter='string', EncodingType='url', MaxKeys=123, Prefix='string', ContinuationToken='string', FetchOwner=True|False, StartAfter='string', RequestPayer='requester'

)

MaxKeys (entero): establece el número máximo de claves devueltas en la respuesta. La respuesta puede contener menos claves, pero nunca más.

¿Sabes cuántos objetos tienes en s3?

Limitación: boto3 list_object() y list_object_v2() devolverán un máximo de 1000 claves. Para continuar con la obtención del objeto, debe utilizar el parámetro "ContinuationToken". boto3.s3.resource.objects.all() generará un iterador, actualmente no hay límite conocido.

Sin embargo, debes saber esto:

1. La descarga desde S3 a su sistema local desde Internet le costará, es decir, 0,09/GB. Si necesita procesar dichos archivos con frecuencia, tal vez debería ejecutar su descarga dentro de EC2 o usar lambda para realizar el procesamiento posterior.

2. La descarga de datos S3 de la misma región a EC2 es gratuita. puede ejecutar una prueba de descarga masiva (por ejemplo, 100 GB o más) sin preocuparse por la factura. Solo paga la instancia EC2.

3. La descarga del rendimiento/continuidad de la sesión desde s3 a su intranet local está sujeta a su configuración de conectividad a Internet local. Esto puede ser una restricción en sus propias políticas de firewall, su enrutador, ISP, etc.