Engenheiro de Dados PL/SR (Consultoria)

Detalhes da vaga

Principais Responsabilidades:

Atuar como consultor em projetos estratégicos de negócios voltados para engenharia de dados utilizando plataforma Databricks;
Identificar e implementar melhores práticas para cargas de grande volume de dados, garantindo performance e disponibilidade das informações;
Trabalhar com otimização de queries e modelagem de dados para melhorar a eficiência em consultas analíticas;
Desenvolver e manter pipelines de dados (ETL/ELT) para integração de diversas fontes, garantindo qualidade e governança;
Desenhar e implementar arquiteturas de Data Lakehouse, aplicando o conceito Medalhão (Bronze, Silver, Gold);
Apoiar a modelagem de dados para Data Warehouses modernos (Star-Schema, Snowflake);
Explorar boas práticas em ambientes de Big Data, especialmente no contexto Databricks e Delta Lake;
Uso de formatos abertos como Delta Lake, Iceberg, Parquet e Avro para construção e governança de arquiteturas Lakehouse modernas;
Garantir a governança de dados, incluindo controle de acessos e versionamento.

Requisitos:

Buscamos alguém com:

Experiência sólida em Databricks e arquitetura Delta Lakehouse;
Forte conhecimento em SQL e otimização de queries para processamento distribuído;
Experiência com ETL/ELT e arquitetura de dados escalável;
Conhecimento de pipelines de dados incrementais (UPSERTS, MERGE, CDC);
Experiência em modelagem de dados analítica (Star-Schema, Snowflake);
Experiência com cargas em Databricks, incluindo refatoração de pipelines e tuning de performance;

Diferenciais:

Familiaridade com Unity Catalog para governança e controle de acesso em Databricks;
Conhecimento em Data Warehouses modernos (Databricks, Snowflake, BigQuery, Redshift);
Vivência em arquiteturas na AWS, com domínio de serviços como S3, IAM, Glue e EMR;
Experiência em provisionar e configurar clusters Databricks do zero, incluindo aspectos de infraestrutura, rede, permissões e integração com catálogos de dados.

Benefícios

O que oferecemos: