Engenharia de Dados Sênior
Kumulus · São Paulo, SP, BR
Como Engenheiro de Dados Sênior Azure, você será responsável por: * Desenhar, desenvolver e manter pipelines ETL/ELT robustos e escaláveis utilizando Azure Synapse Analytics, Azure Data Factory e ADLS Gen2, integrando APIs, bancos de dados relacionais e arquivos. * Construir e manter modelos analíticos e dimensionais, utilizando arquiteturas Bronze, Silver e Gold, tabelas fato e dimensão, Star Schema, SCDs e views reutilizáveis. * Analisar criticamente os dados de origem, identificando problemas de modelagem, ausência de chaves, duplicidades, inconsistências e riscos de qualidade antes que sejam propagados para as camadas analíticas. * Garantir qualidade, integridade e confiabilidade dos dados, aplicando validações de unicidade, completude, integridade referencial, regras de negócio, reconciliação entre origem e destino e tratamento adequado de registros inconsistentes. * Produzir e interpretar Source\-to\-Target Mappings, documentando origens, destinos, transformações, filtros, joins, chaves, critérios de carga e regras de negócio. * Desenvolver processos idempotentes, auditáveis e reprocessáveis, com controles de execução, logs, monitoramento, alertas e notificações, evitando duplicidades, perda de dados e falhas silenciosas. * Aplicar boas práticas de engenharia de software, utilizando Git, Azure DevOps, branches, pull requests, testes e CI/CD. Requisitos: Para se qualificar para esta posição, você deverá : * Possuir domínio avançado de SQL e Python/PySpark, incluindo cargas Full e Incrementais, CDC, processamento Delta, particionamento, otimização de performance, grandes volumes de dados e troubleshooting. * Ter sólida experiência teórica e prática em bancos de dados relacionais e Data Warehouse, sendo capaz de interpretar modelos de dados, relacionamentos e granularidade, além de trabalhar com Primary Keys, Foreign Keys, chaves compostas, naturais e surrogate keys. * Ter capacidade de analisar e otimizar consultas e cargas em bancos relacionais, considerando índices, planos de execução, performance e impactos sobre sistemas transacionais. * Trabalhar com autonomia junto aos Data Analysts e áreas de negócio, traduzindo necessidades em soluções técnicas escaláveis e alinhadas aos padrões da plataforma. **\*Disponibilidade para atuar presencialmente 2x por semana (Região \- Pinheiros SP)\*** Diferencial: Conhecimento em Google Analytics e BigQuery, incluindo ingestão, tratamento e integração desses dados com o ambiente analítico Azure.