Estoy tratando de cargar un archivo .bak (24 gb) en Amazon s3 usando un enfoque de API de bajo nivel de carga multiparte en Java. Pude escribir el archivo con éxito, pero el tiempo que tomó fue de alrededor de 7 a 8 horas. Quiero saber cuál es el tiempo promedio/ideal para subir un archivo de un tamaño tan grande, ¿es el tiempo esperado o se puede mejorar? Si hay margen de mejora, ¿cuál podría ser el enfoque?
Si utiliza la configuración predeterminada de Transfer Manager, para las cargas de varias partes, DEFAULT_MINIMUM_UPLOAD_PART_SIZE es de 5 MB, que es demasiado bajo para un archivo de 24 GB. Básicamente, esto significa que terminará cargando miles de piezas pequeñas en s3. Dado que cada parte es cargada por un subproceso de trabajo diferente, su aplicación pasará demasiado tiempo en la comunicación de red. Esto no le dará una velocidad de carga óptima.
Debe aumentar el tamaño mínimo de parte de carga para que esté entre 100 MB y 500 MB. Use esta configuración: setMinimumUploadPartSize
Documentación oficial para configurar el tamaño mínimo de carga de la pieza:
Reducir el tamaño mínimo de la parte hará que las cargas de varias partes se dividan en una mayor cantidad de partes más pequeñas. Establecer este valor demasiado bajo puede tener un efecto negativo en las velocidades de transferencia, ya que provocará latencia adicional y comunicación de red para cada parte.
Estoy seguro de que verá una mejora en el rendimiento de carga al ajustar esta configuración si actualmente está utilizando la configuración predeterminada. Avíseme si esto mejora el rendimiento.
¡¡¡Feliz subida!!!