Arquitetura e Pipelines de Dados
- Projetar e desenvolver pipelines escaláveis e eficientes para ingestão, processamento e análise de dados na AWS.
- Criar e otimizar ETLs usando AWS Glue, Redshift, Lambda, S3 e Athena garantindo integração fluida entre diferentes fontes de dados.
- Utilizar ferramentas de orquestração e automação como Apache Airflow
- Gerenciar Data Warehouses e Data Lakes para atender às necessidades de análise e BI.
- Implementar estratégias de particionamento, indexação e caching para otimizar a performance de consultas.
Transformação e Análise de Dados
- Assegurar a qualidade, integridade e confiabilidade dos dados ingeridos e processados.
- Criar e manter dashboards interativos e relatórios estratégicos no QuickSight ou Power BI.
- Trabalhar em conjunto com times de Engenharia, Produto, BI e Data Science para fornecer dados estruturados e acionáveis.
Integração e Governança de Dados
- Desenvolver APIs e integrações para facilitar o consumo de dados por diferentes times e aplicações.
- Estabelecer processos de Data Governance, garantindo conformidade com LGPD e GDPR.
- Criar documentação técnica e boas práticas para a equipe e stakeholders internos.
