Conhecimentos em Cloud, tanto da Aws como Azure, conhecimentos solidos de SQL e Python /Pyspark, solidos conhecimentos em apache airflow, docker, kubernets, kafka e pandas.
- Atuação no desenvolvimento de Data Warehouse, Data Lake e também LakeHouses. - Atuação no desenvolvimento de ETLs seguindo padrão de projeto das camadas, bronze, silver e gold, para o segmento do setor alimenticio, setor de marketing e financeiro. - Atuação no tratamento de limpeza, transformação e organizaçãos dos dados, fornecendo dados de forma consistente para consumo tanto em APIs e também em Data Warehouse. - Atuação fazendo integração de pipelines e modelagem para consumo Cloud.
Major achievementIntegrações de pipeline de ponta a ponta, utilizando Airflow para orquestrar a ingestão, utilizando o aws glue para fazer o processamento e tratamento de dados, utilizando o aws lambda com api gateway para disponibilizar os dados do s3 para um APi, e utilizando kafka e power bi para consumo dos dado