Estamos buscando uma pessoa que ouse protagonizar com a gente.
Responsabilidades e atribuições:
-
Desenvolver e manter pipelines de transformação de dados utilizando Apache Spark
- Construir e manter modelos dimensionais e analíticos nas camadas Silver e Gold
- Desenvolver projetos de transformação e documentação com dbt
- Realizar ingestão e integração de dados provenientes de múltiplas fontes utilizando Airbyte
- Garantir qualidade, consistência e rastreabilidade dos dados
- Otimizar consultas, particionamento e processamento de grandes volumes de dados
- Implementar testes de qualidade e validações automatizadas
- Colaborar com times de Analytics, BI e Engenharia de Dados
- Participar da definição de padrões de arquitetura, governança e observabilidade de dados
- Apoiar troubleshooting e resolução de incidentes relacionados a pipelines de dados
Requisitos e qualificações:
-
Experiência avançada com SQL e Python para desenvolvimento de pipelines e transformações de dados
- Conhecimento em PySpark, Apache Spark e processamento batch de grandes volumes de dados
- Experiência com arquitetura Data Lake/Lakehouse e modelagem dimensional (Star Schema e Snowflake)
- Conhecimento em Data Warehouse e camadas Bronze, Silver e Gold
- Experiência com dbt, Airbyte, Git e controle de versão
- Vivência em ambiente AWS, incluindo S3, Glue, IAM e Athena (EMR e Lambda como diferenciais)
- Experiência com bancos de dados como PostgreSQL, SQL Server e Amazon Redshift
- Conhecimento em engenharia de dados, qualidade de dados e boas práticas de governança e processamento de dados em escala
Desejável:
-
Conhecimento em Apache Iceberg, Delta Lake.
- Experiência com CI/CD para dados.
- Conhecimento em observabilidade de pipelines.
- Experiência com orquestração (Airflow, Dagster ou similares).
- Conhecimento de métricas de negócio e analytics engineering.
Informações adicionais:
-
Quer mais bem-estar? Oferecemos Gympass e Zenklub (com duas sessões gratuitas por mês) para você cuidar da sua saúde física e mental.
-
Ama viajar? Aqui temos o Férias & Co, um benefício que te ajuda a viabilizar aquela viagem dos sonhos.
-
Família crescendo? Temos o MomCare, um incentivo monetário flexível pós licença maternidade para as novas mamães datunianas.
-
Quer investir no seu desenvolvimento profissional? Temos parcerias com várias instituições de ensino de renome para oferecer a você descontos que podem chegar a 70% em cursos de graduação, pós-graduação, MBAs, idiomas e muito mais!
Para conhecer todos os nossos benefícios, acesse a home da nossa página de carreiras.
