Estamos investigando la creación de una solución de lago de datos en AWS, similar a lo que se describe aquí: https://aws.amazon.com/blogs/big-data/introducing-the-data-lake-solution-on-aws/
Almacenaremos todos los datos "sin procesar" en S3 y los cargaremos en EMR o Redshift según sea necesario.
En esta etapa, estoy buscando sugerencias sobre si usar el enfoque ETL o ELT para cargar datos en Amazon Redshift. Usaremos Talend para ETL/ELT.
¿Deberíamos organizar los datos "sin procesar" de S3 en Redshift primero antes de transformarlos o deberíamos transformar los datos en S3 y cargarlos en Redshift?
Agradecería cualquier sugerencia/consejo.
Gracias.
Depende del propósito de tener Redshift. Si su caso de negocios es que los usuarios consulten los datos contra Redshift (o una aplicación front-end que usa Redshift como backend), entonces no recomendaría hacer ETL en Redshift. En este caso, sería mejor realizar las transformaciones de su negocio con anticipación (por ejemplo, S3->EMR->S3) y luego cargar los datos procesados en Redshift.
Definitivamente ELT.
El único caso en el que ETL puede ser mejor es si simplemente realiza una pasada sobre sus datos sin procesar, luego usa COPY para cargarlos en Redshift y luego no hace nada transformador con ellos. Incluso entonces, dado que transferirá datos dentro y fuera de S3, dudo que este caso de uso sea más rápido.
Tan pronto como necesite filtrar, unir y transformar información, es mucho más rápido hacerlo en el DBMS. Si llega a un caso en el que la transformación de datos se basa en datos que ya están en el DW, será mucho más rápido.
Ejecutamos cientos de trabajos ELT al día en diferentes plataformas DW, probando el rendimiento de métodos alternativos de ingesta y transformación de datos. En nuestra experiencia, la diferencia entre ETL y ELT en un MPP DW puede ser de más del 2000 por ciento.