Una DPU estándar en AWS Glue viene con 4 vCPU y 2 ejecutores. Estoy confundido acerca de la cantidad máxima de tareas simultáneas que se pueden ejecutar en paralelo con esta configuración. ¿Son 4 u 8 en una sola DPU con 4vcpu y 2 ejecutores?
Tuve una discusión similar con el equipo de soporte de AWS Glue sobre esto, compartiré con ustedes lo que me dijeron sobre la configuración de Glue. Tomemos como ejemplo la configuración estándar y G1.X.
Configuración de DPU estándar:
Configuración del tipo de trabajador G.1X:
Si tenemos por ejemplo un Trabajo con Configuración Estándar con 21 DPU significa que tenemos:
Que luego terminamos con una cantidad total de 156 núcleos. Es decir, su trabajo tiene 156 ranuras para su ejecución. Si, por ejemplo, lee archivos de S3, eso significa que podrá aceptar 156 archivos de entrada en paralelo.
Espero eso ayude.