Tengo un script de python que copia archivos de un depósito S3 a otro depósito S3. Este script debe ejecutarse todos los domingos a una hora específica. Estaba leyendo algunos artículos y respuestas, así que traté de usar eventos AWS lambda + Cloudwatch. Estos archivos se ejecutan durante un mínimo de 30 minutos. ¿Seguiría siendo bueno con Lambda, ya que Lambda solo puede funcionar como máximo 15 minutos? o hay otra manera? Puedo crear un cuadro EC2 y ejecutarlo como Cron, pero eso sería costoso. ¿O alguna otra forma estándar?
Si se supone que los dos depósitos deben permanecer sincronizados, es decir, todos los archivos del depósito n.º 1 deben sincronizarse finalmente con el depósito n.º 2, entonces hay varias opciones de replicación en S3 .
De lo contrario, consulte Operaciones por lotes de S3 . Puede derivar la lista de archivos que necesita copiar del Inventario de S3 , lo que le brindará un contexto adicional sobre los archivos, como la fecha/hora de carga, el tamaño, la clase de almacenamiento, etc.
La forma más apropiada sería usar aws glue python shell job , ya que está bajo el paraguas sin servidor y se le cobrará a medida que avanza.
Entonces, de esta manera, solo se le cobrará por el tiempo que se ejecuta su código. Además, no necesita administrar el EC2 para esto. Esto es como una lambda extendida.
Desafortunadamente, el tiempo de ejecución de 15 minutos de lambda es una parada difícil, por lo que no es adecuado para este caso de uso como una gran explosión.
Puede usar varias llamadas lambda para pasar por los objetos uno a la vez y moverlos. Sin embargo, necesitaría una tabla de DynamoDB (o algo similar) para realizar un seguimiento de lo que se ha movido y lo que no.
Otro par de opciones serían:
¿O si sus archivos de datos? siempre puedes usar pegamento AWS.