Glue le permite enviar scripts ETL directamente en PySpark/Python/Scala, sin necesidad de administrar un clúster EMR. Se gestiona todo el montaje/desmontaje de la infraestructura.

También hay algunos otros componentes administrados como Crawlers, Glue Data Catalog, etc. que facilitan el trabajo con sus datos.

Puede usar cualquiera de los dos para su caso de uso, Glue sería más rápido, sin embargo, es posible que no tenga la flexibilidad que obtiene con EMR.

La mayoría de las diferencias ya están enumeradas, por lo que me centraré más en el caso de uso específico.

Cuándo elegir pegamento aws

1. El tamaño de los datos es enorme pero está estructurado, es decir, está en la estructura de la tabla y tiene un formato conocido (CSV, parquet, orc, json).
2. Se requiere linaje, si necesita el gráfico de linaje de datos mientras desarrolla su trabajo de etl, prefiera desarrollar el etl usando bibliotecas nativas de pegamento.
3. Los desarrolladores no necesitan modificar los parámetros de rendimiento, como establecer el número de ejecutores, la memoria por ejecutor, etc.
4. No desea la sobrecarga de administrar un clúster grande y pagar solo por lo que usa.

Cuándo usar EMR

1. Los datos son enormes, pero semiestructurados o no estructurados, por lo que no puede beneficiarse del catálogo de Glue.
2. Usted cree sólo en las salidas y no se requiere linaje.
3. Debe definir más memoria por ejecutor según el tipo de trabajo y los requisitos.
4. Puede administrar el clúster fácilmente o si tiene tantos trabajos que pueden ejecutarse simultáneamente en el clúster, ahorrándole dinero.
5. En el caso de datos estructurados, debe usar EMR cuando desee más capacidades de Hadoop como Hive, listo para más análisis.

Así que depende de cuál sea su caso de uso. Ambos son un gran servicio.

Pegamento usa EMR debajo del capó. Esto es evidente cuando accede al controlador de su terminal de desarrollo de Glue.

Ahora, dado que Glue es un entorno Spark administrado o, por ejemplo, un entorno EMR administrado, viene con una flexibilidad reducida. El tipo de trabajadores que puede elegir es limitado. La cantidad de bibliotecas de idiomas que puede usar en su código Spark es limitada. Glue no admitía paquetes como pandas, numpy hasta hace poco. Las aplicaciones como presto no se pueden integrar con Glue, aunque Athena es una buena alternativa a una instalación separada de presto.

Sin embargo, el problema principal es que los trabajos de Glue tienen un tiempo de inicio en frío de entre 1 minuto y 15 minutos.

EMR es una buena opción para el análisis exploratorio de datos, pero para un entorno de producción con CI/CD, Glue parece ser la mejor opción.

EDITAR: los trabajos de pegamento ya no tienen un tiempo de espera de inicio en frío