He estado usando AWS Data Pipeline para migrar datos de DynamoDB a S3. El tamaño de los datos es de alrededor de 20 GB. Tiene alguna idea sobre esto ?
AWS DataPipeline exporta tablas completas de DynamoDB a un archivo en S3 . Esta plantilla de canalización de datos en particular utilizará un porcentaje de la capacidad aprovisionada de su tabla según lo define la variable MyExportJob.myDynamoDBReadThroughputRatio y escalará el clúster de trabajo de MapReduce de manera adecuada. Puede establecer la tasa de rendimiento de lectura de 0 a 1 (0%-100%).
Si tiene 20 GB de datos y Data Pipeline escanea su tabla en paralelo con MapReduce, consumiría 5242880 RCU. Depende de usted cuánto tiempo desea que tome la copia de seguridad. Si configura la relación de rendimiento de lectura en 1 y tiene RPS configurado en 11988 RPS, escanear la tabla de DynamoDB debería tomar alrededor de 5242880/11988 = 437 segundos (4 minutos y 17 segundos). El tiempo de ejecución del trabajo de Data Pipeline debe ser proporcional y muy cercano al tiempo necesario para escanear la tabla. Recuerde, Data Pipeline debe iniciar un clúster y escribir la copia de seguridad en S3.