Job description
Procuramos por um(a) Data Engineer Sênior para aumentar nossa equipe de Sistemas de Informação e Digital. Você será responsável por desenhar, desenvolver e manter pipelines de dados escaláveis e soluções de analytics em Azure Databricks, atuando em um ambiente de arquitetura moderna de dados e computação distribuída. Sua experiência, conhecimento e compromisso são essenciais!
Suas principais responsabilidades:
Arquitetar e implementar soluções de dados ponta a ponta na plataforma Databricks Unity Catalog.
Desenhar e construir pipelines ETL/ELT para ingestão de dados de múltiplas fontes, transformação conforme requisitos de negócio e disponibilização para consumidores downstream (analytics, produtos de dados, relatórios).
Desenvolver e otimizar jobs Apache Spark / PySpark para processamento eficiente de grandes volumes de dados.
Implementar frameworks de qualidade de dados para garantir acurácia, confiabilidade e rastreabilidade das informações.
Influenciar e desenvolver frameworks e bibliotecas reutilizáveis para acelerar o desenvolvimento em todo o time de dados.
Colaborar com product owners e stakeholders de negócio para entender requisitos, traduzir em especificações técnicas e propor soluções de arquitetura de dados alinhadas às melhores práticas.
Apoiar times de analytics e usuários de negócio no acesso e uso efetivo dos dados (modelagem, camadas de consumo, documentação).
Otimizar performance de consultas e uso de recursos em Databricks/Azure para garantir eficiência de custo.
Implementar monitoramento e alertas para pipelines e jobs, garantindo operação estável e sustentável.
Manter documentação clara e atualizada de pipelines, processos e modelos de dados.
Garantir aderência a políticas de segurança, governança e compliance, incluindo uso adequado de Unity Catalog, permissões e Key Vault.
Participar de code reviews, contribuir para padrões de desenvolvimento e disseminar boas práticas de engenharia de dados no time.
Qualificações:
Formação em Ciência da Computação, Engenharia ou área técnica correlata, ou experiência prática equivalente.
Experiência profissional (Sênior) em Engenharia de Dados.
Experiência prática com Azure Databricks e Apache Spark.
Forte conhecimento em Python e PySpark.
Proficiência em SQL (especialmente Spark SQL) e experiência com bancos de dados relacionais e não relacionais.
Experiência na construção de pipelines de dados configuráveis e orquestração usando ferramentas como Azure Data Factory, Databricks Workflows ou Apache Airflow.
Sólido entendimento de modelagem de dados (modelagem dimensional, Data Vault, etc.).
Experiência com Delta Lake e padrões de arquitetura Lakehouse / medallion (bronze, silver, gold).
Experiência com serviços Azure, incluindo:
Azure Data Lake Storage (ADLS)
Azure Data Factory
Azure SQL Database / Data Warehouse
REST API, SFTP
Azure Key Vault
Proficiência em Git/GitHub (branching strategies, pull requests, desenvolvimento colaborativo) e práticas de CI/CD para pipelines de dados.
Experiência com tuning de performance, otimização de jobs Spark e controle de custos em ambiente cloud.
Vivência com frameworks de qualidade de dados e testes automatizados em pipelines.
Inglês avançado para reuniões e apresentações com times globais.
Competências comportamentais:
Forte capacidade analítica e de resolução de problemas.
Excelente comunicação com públicos técnicos e não técnicos.
Capacidade de trabalhar de forma colaborativa em times multidisciplinares.
Autonomia, organização e habilidade para gerenciar múltiplas prioridades.
Atenção a detalhes e compromisso com a entrega de trabalho de alta qualidade.
Adaptabilidade a novas tecnologias, ferramentas e necessidades de negócio em constante evolução.
A Amaris Consulting se orgulha de ser um local de trabalho com igualdade de oportunidades. Estamos comprometidos em promover a diversidade dentro da força de trabalho e criar um ambiente de trabalho inclusivo. Para este fim, acolhemos candidaturas de todos os candidatos qualificados independentemente do sexo, orientação sexual, raça, etnia, crenças, idade, estado civil, deficiência ou outras características.
Who are we?
A Amaris Consulting é uma empresa de consultoria tecnológica independente que fornece orientação e soluções às empresas.
Com mais de 1000 clientes em todo o mundo, temos vindo a implementar soluções em grandes projetos, há mais de uma década – isso é possível através de uma equipa internacional de 7,600 pessoas espalhadas por 5 continentes e em mais de 60 países. As nossas soluções focam-se em quatro linhas de negócio diferentes: Sistemas de Informação & Digital, Telecomunicações, Ciências da Vida e Engenharia.
Estamos focados em construir e nutrir uma comunidade de talentos de topo onde todos os membros da nossa equipa possam alcançar todo o seu potencial.
A Amaris é a sua “stepping stone” para atravessar rios de mudança, enfrentar desafios e alcançar todos os seus projetos com sucesso.
