Desarrollo de pipelines de ingesta y transformación de datos sobre AWS usando PySpark, Python y Dataproc. Implementación de soluciones en Cloud Functions y Cloud Run para integración de servicios internos. Colaboración en Data Governance.

Diseñé pipelines de datos en AWS (Lambda, Athena, Glue) para ingesta y procesamiento de datos financieros, mejorando la eficiencia en un 35%. Lideré migración de ETLs legacy a PySpark, reduciendo costos en un 25%.

Construcción de pipelines ETL en AWS con Glue, Lambda y S3. Exposición de APIs para consumo de datos internos y externos. Monitoreo de calidad de datos, validación y seguridad.

Desarrollé pipelines en AWS (Glue, Lambda, S3) para análisis de datos bancarios (+10TB diarios). Implementé APIs en FastAPI, reduciendo tiempos de respuesta en un 40%. Automatización de flujos con Airflow.

Desarrollo de soluciones Big Data en AWS para clientes como Experian y Bancolombia. Orquestación de ETLs con Airflow y procesamiento con Hadoop, PySpark y Scala. Automatización de tareas de sistema con Bash.

Optimicé consultas SQL en AWS Athena y scripts de PySpark, acelerando reportes en un 50%. Dockerización de aplicaciones para despliegue híbrido (AWS/On-Premise).