itriad pesquisa e desenvolvimento | Janeiro 2020 - Julho 2021 (1 year 6 months)
habilidades usadas
Ecossistema Hadoop: Ingestão de dados com Apache Sqoop de banco de dados Oracle para data lake HDFS; Higienização e processamento dos dados com Apache Spark, Pig e Hive; Schedule e orquestração de jobs com Apache Airflow; AWS: S3 e Analytics Athena