O que buscamos:
Profissional para atuar em projeto estratégico de migração do Data Warehouse legado para um Enterprise Lakehouse em Databricks, com foco na reconstrução de pipelines atualmente implementados em DataStage e Azure Synapse. A pessoa será responsável por reimplementar pipelines nativamente em PySpark e Spark SQL, apoiando a modernização da plataforma de dados e garantindo paridade entre o ambiente legado e o novo ecossistema Lakehouse.
Responsabilidades:
- Reconstruir pipelines do Data Warehouse legado em Databricks utilizando PySpark e Spark SQL;
- Implementar as camadas bronze, silver e gold seguindo os padrões da arquitetura medalhão;
- Aplicar padrões de ingestão CDC e batch conforme diretrizes do projeto;
- Executar waves de reconstrução por domínio em coexistência com o DW legado até o cutover;
- Implementar regras de negócio e transformações com testes automatizados;
- Realizar reconciliação e validação de paridade entre os dados do ambiente legado e do Lakehouse;
- Otimizar performance e custos dos pipelines por meio de particionamento, OPTIMIZE, Z-ORDER e dimensionamento de workloads;
- Contribuir com a documentação técnica das regras migradas;
- Apoiar a priorização e execução das waves de migração;
Requisitos e Qualificações:
- Conhecimento avançado em PySpark e Python;
- Experiência com desenvolvimento de pipelines batch em larga escala;
- Conhecimento avançado em SQL;
- Experiência com modelagem de dados relacional e dimensional;
- Experiência com Databricks e Delta Lake em ambiente produtivo;
- Conhecimento em arquitetura medalhão (bronze, silver e gold);
- Experiência com Delta Live Tables, Lakeflow e Asset Bundles;
- Vivência em migração ou reconstrução de pipelines ETL;
- Experiência com tradução de regras de negócio de plataformas legadas para Spark;
- Conhecimento em ingestão CDC e batch a partir de bancos relacionais;
- Experiência com AWS (S3, Glue, EMR, Athena, Lambda, DMS e Step Functions);
- Conhecimento em Azure Synapse (SQL Pools e Pipelines);
- Experiência com qualidade e reconciliação de dados;
- Conhecimento em testes automatizados e controles de Data Quality;
- Experiência com Git e CI/CD aplicados à engenharia de dados;
Diferenciais:
- Conhecimento em DataStage para leitura de jobs e apoio à engenharia reversa;
- Experiência em programas de migração de Data Warehouse para Lakehouse;
- Conhecimento em Unity Catalog (permissões, lineage e contratos de dados);
- Experiência no mercado financeiro ou de crédito;
- Certificações Databricks Data Engineer Associate ou Professional;
Descrição comportamental:
Procuramos uma pessoa que:
- Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
- Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
- Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
- Tenha habilidades de resolução de problemas;
- Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
- Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.
Big enough to deliver – small enough to care.
#VempraGFT
#LetsGoBeyond
#ProudToBeGFT
.buttontext616d4705bd22aece a{ border: 1px solid transparent; } .buttontext616d4705bd22aece a:focus{ border: 1px dashed #972875 !important; outline: none !important; }
Com mais de 35 anos de mercado e localizada em 16 países, a GFT emprega mais de 12.000 pessoas ao redor do mundo sendo 4.000 pessoas no Brasil.
Aqui, a diversidade, a igualdade e a inclusão estão no centro e garantir um ambiente de trabalho seguro para todas as pessoas faz parte de quem somos.
Promovemos uma cultura de desenvolvimento e crescimento pautada no nosso pilar de Continuous Scaled Learning porque acreditamos que o uso inteligente da tecnologia é a chave para o sucesso nesse mundo digital.
.buttontext51d9fe5a33d0d42c a{ border: 1px solid transparent; } .buttontext51d9fe5a33d0d42c a:focus{ border: 1px dashed #972875 !important; outline: none !important; }
O que oferecemos
Cartão multi-benefícios – você escolhe como e onde utilizar.
Bolsas de Estudos para cursos de Graduação, Pós, MBA e Idiomas.
Programas de incentivo à Certificações.
Horário de trabalho flexível.
Salários competitivos.
Avaliação de desempenho anual com plano de carreira estruturado.
Possibilidade de carreira internacional.
Wellhub e TotalPass.
Previdência Privada.
Auxílio-Creche.
Assistência Médica.
Assistência Odontológica.
Seguro de Vida.
#VemPraGFT
.jobColumnTwo .displayDTM h2 { margin-top: 0px !important; } .jobColumnTwo .displayDT ul{ padding-inline-start: 20px !important; list-style-position: outside !important; }
.buttontextb636f3111304c10b a{ border: 1px solid transparent; } .buttontextb636f3111304c10b a:focus{ border: 1px dashed #972875 !important; outline: none !important; }
