Descrição da vaga:
Nosso cliente é a maior operadora de ferrovias do Brasil e oferece serviços logísticos de transporte ferroviário, elevação portuária e armazenagem. A companhia opera 12 terminais de transbordo, 6 terminais portuários e administra cerca de 14 mil quilômetros de ferrovias nos estados de Paraná, Santa Catarina, Rio Grande do Sul, São Paulo, Mato Grosso do Sul, Mato Grosso, Minas Gerais, Goiás e Tocantins. A base de ativos é formada por 1.200 locomotivas e 33 mil vagões.
Profissionais que criam soluções tecnológicas em torno do ciclo de vida dos dados, passando pelos processos de ingestão, transformação, governança, organização e disponibilização de informações.
- Disponibilizar dados com origem globais (dados externos) numa base analítica para as áreas de negócio e garantir governança e acesso, seguindo as políticas e governanças estabelecidas pela Rumo.
- Realizar criação de pipelines de dados com DevOps, utilizando Terraform e Jenkins/github para automatizar criação de infraestrutura AWS e deploy de soluções
- Auxiliar analistas de dados na classificação de dados pessoais e sensíveis e sua configuração com AWS Lake Formation (permissão de acesso a colunas e linhas)
- Processar grandes volumes de dados com uso do Spark através do EMR Studio e AWS Glue Jobs e Workflow
- Auxiliar analistas de dados na criação de modelos dimensionais para anállise de dados (fatos e dimensões)
- Habilidades de programação em Python
- Relacionamento com a área de negócio para entendimento das origens e mapeamento dos dados
- Estruturação e consolidação de dados e indicadores na AWS, garantindo bases com os templates adequados para o consumo direto em ferramentas de PowerBi para construção de dashboards;
Requerimentos:
Experiência como Engenheiro de Dados
Experiência com AWS
Experiência com Python
Experiência na construção e manutenção de pipelines de dados
Conhecimento em processamento de dados utilizando Spark
Experiência com serviços de dados da AWS (Glue, EMR, S3, Athena, Lake Formation ou similares)
Conhecimento em modelagem de dados para analytics (fatos e dimensões)
Vivência com integração e tratamento de grandes volumes de dados
Requisitos desejáveis:
Terraform
Jenkins ou GitHub Actions
DevOps/DataOps
AWS Lake Formation
Governança de Dados
Controle de acesso a dados sensíveis (LGPD)
Power BI
Modelagem dimensional avançada
Experiência em ambiente corporativo de grande porte
