Desafio: Construir e evoluir soluções de engenharia de dados que suportem a geração, transformação, disponibilização e governança de informações para produtos internos, áreas de negócio e iniciativas estratégicas da companhia.
O profissional atuará no desenvolvimento de pipelines, estruturas de processamento de dados, integrações entre sistemas e automações, contribuindo para a construção de uma plataforma de dados escalável, confiável e orientada à tomada de decisão.
Também será responsável por participar da concepção e desenvolvimento de ferramentas internas voltadas à produtividade, qualidade dos dados e eficiência operacional.
Responsailidades:
Engenharia de Dados
Desenvolver e manter pipelines de ingestão, transformação e disponibilização de dados.
Projetar e implementar processos ETL/ELT escaláveis.
Garantir qualidade, confiabilidade e integridade dos dados processados.
Realizar otimização de consultas, modelos e fluxos de processamento.
Implementar monitoramento e tratamento de falhas em pipelines.
Arquitetura e Modelagem
Projetar modelos de dados adequados para consumo analítico e operacional.
Participar da definição de padrões de armazenamento e processamento.
Contribuir para a evolução da arquitetura de dados da organização.
Apoiar iniciativas de governança e catalogação de dados.
Qualidade e Observabilidade
Implementar mecanismos de validação de dados.
Desenvolver monitoramentos e alertas para processos críticos.
Investigar inconsistências e propor melhorias estruturais.
Garantir rastreabilidade e confiabilidade dos dados ao longo de todo o fluxo.
Inovação e Eficiência
Avaliar novas tecnologias e abordagens para processamento e gestão de dados.
Identificar oportunidades de automação e ganho de produtividade.
Participar de iniciativas envolvendo IA aplicada a produtos e processos internos.
Apoiar a construção de soluções escaláveis com foco em eficiência operacional.
Requisitos obrigatórios:
Experiência com SQL avançado.
Conhecimento em modelagem de dados.
Experiência com Databricks ou plataformas de processamento distribuído.
Experiência em desenvolvimento de pipelines ETL/ELT.
Conhecimento em Python.
Conhecimento em integração de dados via APIs.
Experiência com versionamento utilizando Git.
Conhecimento em arquitetura de dados e boas práticas de engenharia.
Experiência em troubleshooting e otimização de consultas.
Requisitos Desejáveis
Conhecimento em Spark.
Experiência com ambientes cloud (AWS, Azure ou GCP).
Experiência com desenvolvimento backend.
Conhecimento em Docker e containers.
Experiência com orquestração de pipelines.
Conhecimento em Data Lake e Lakehouse.
Experiência com observabilidade e monitoramento de aplicações.
Familiaridade com Inteligência Artificial e automação
