En los documentos se dice que AWS asigna de forma predeterminada 10 DPU por trabajo de ETL y 5 DPU por punto final de desarrollo de forma predeterminada, aunque ambos pueden tener un mínimo de 2 DPU configurados.
También se menciona que el rastreo también tiene un precio en incrementos de segundos y con una ejecución mínima de 10 minutos, pero en ninguna parte se especifica cuántas DPU se asignan. Los puntos finales de trabajo y desarrollo se pueden configurar en la consola de Glue para consumir menos DPU, pero no he visto ninguna configuración de este tipo para los rastreadores.
¿Hay una cantidad fija de DPU por rastreador? ¿Podemos controlar esa cantidad?
Esta es mi conversación con AWS Support sobre este tema:
Hola, quisiera saber cuantas DPUs usa un crawler para poder calcular mis costos con crawlers.
Su respuesta:
Estimado cliente de AWS,
Gracias por comunicarte hoy. Mi nombre es Safari, ayudaré con su caso.
Según tengo entendido, al compilar el costo de sus rastreadores de Glue, le gustaría saber la cantidad de DPU que usa un rastreador en particular.
Lamentablemente, no existe una forma directa de averiguar el consumo de DPU de un rastreador determinado. Pido disculpas por las molestias. Sin embargo, puede ver el consumo total de DPU en todos los rastreadores en su factura detallada en la sección Cargos por servicios de AWS > Glue > {región} > AWS Glue CrawlerRun. Además, puede agregar etiquetas a sus rastreadores y luego habilitar "Etiquetas de asignación de costos" desde su consola de administración de costos y facturación de AWS. Esto permitiría a AWS generar un informe de asignación de costos agrupado por las etiquetas predefinidas. Para obtener más información sobre esto, consulte el enlace de documentación a continuación [1].
Espero que esto ayude. Por favor, avíseme si puedo brindarle alguna otra ayuda.
Referencias [1]: https://docs.aws.amazon.com/awsaccountbilling/latest/aboutv2/cost-alloc-tags.html
También se discutió con el equipo de soporte de AWS, y actualmente no es posible modificar o ver los detalles de configuración de DPU para Glue - rastreadores. Pero, ¿los rastreadores usan una DPU?