Sobre a vaga:
Estamos buscando um(a) Engenheiro(a) de Dados/ML Sênior para liderar a arquitetura, desenvolvimento e governança da nossa nova Feature Store. O objetivo central é construir um framework robusto, modular e descentralizado que resolva as dores dos Cientistas de Dados, acelerando o ciclo de colocar modelos em produção com segurança e qualidade. Se você possui mentalidade data-as-a-product, domina soluções modulares em Databricks e quer ser a ponte entre a engenharia estruturada e a ciência de dados, essa oportunidade é para você.
Responsabilidades:
-
Desenvolvimento de Framework Core: Criar componentes modulares e reutilizáveis (Writer, Data Quality, Feature Functions), evitando códigos complexos e desestruturados.
-
Garantia de Qualidade e Auditoria: Implementar motores de validação (Data Quality) com ferramentas como Great Expectations ou Delta Expectations (lógica de Gatekeeper).
-
Modelagem e Persistência Histórica: Desenvolver lógicas avançadas de persistência (SCD Tipo 2 e Tipo 4), garantindo consistência temporal completa (Point-in-Time Correctness).
-
Governança e Linhagem: Estruturar o registro de metadados no Unity Catalog e garantir rastreabilidade total integrando com MLflow.
-
Orquestração e DevOps de Dados: Configurar pipelines complexos e atômicos no Databricks, gerenciando ambientes (Dev/Prod) e versionamento.
-
Foco no Usuário (Discovery & UX): Alinhar escopos com Cientistas de Dados para garantir que a usabilidade da Feature Store atenda às necessidades de negócio.
-
Disseminação de Conhecimento: Liderar a migração de projetos piloto, criar documentações Self-Service e ministrar workshops práticos para o time.
Requisitos:
-
Experiência sólida como Engenheiro(a) de Dados Sênior ou Engenheiro(a) de Machine Learning.
-
Domínio avançado do ecossistema Databricks (Unity Catalog, Delta Tables, Workflows/Jobs).
-
Fortes conhecimentos em frameworks de validação de dados e MLflow.
-
Experiência prática com estratégias de versionamento de dados e histórico (SCD).
-
Proficiência em Python voltado para desenvolvimento de pacotes, classes reutilizáveis e testes unitários.
-
Sólido conhecimento em conceitos de governança (Metadados, Catálogo, Linhagem).
-
Perfil Soft Skill: Foco na experiência do usuário (empatia com a dor do cientista), comunicação didática para treinamentos e alta autonomia na resolução de problemas.
Diferenciais:
-
Experiência prévia na implementação de Feature Stores do zero (ex: Feast, Databricks Feature Store).
-
Familiaridade com taxonomias de transformações complexas (MIT, MDT, ODT).
-
Conhecimento da metodologia/lógica de negócio modular E-A-C-TIM.
Informações adicionais
-
Localização: São Paulo – SP;
-
Modelo de trabalho 100% home office.
Se interessou pela vaga? envie seu currículo atualizado para: [email protected] com a pretensão salarial e mencionando no título “AI Machine Learning – Databricks”.
