Analista Data Engineer
Avanade · São Paulo, São Paulo, Brazil
Na Avanade, você vai transformar dados em decisões que movem nossos clientes. Esta posição é essencial para projetar, construir e evoluir plataformas de dados que habilitam analytics, IA e produtos digitais em escala. Seu trabalho impulsionará a inovação e a transformação digital, conectando dados de múltiplas fontes a soluções seguras, confiáveis e orientadas a valor. Se você busca impacto real, aprendizado contínuo e colaboração com pessoas diversas e talentosas, este é o seu lugar. Aqui, suas ideias viram entregas que fazem diferença para empresas e para a sociedade. **Together We Do What Matters.** **Saiba mais sobre alguns de nossos benefícios:** * Vale refeição ou alimentação * Cartão Multibenefícios (até Consultor(a) Sênior) * Convênio médico e odontológico * Certificações e treinamentos * Seguro de vida * Previdência privada * Avababy: acompanhamento da gestação e kit para novos pais e mães * Participação nos resultados da empresa * Wellhub * Auxílio creche * Mentoria de carreira * Política de Birthday Off (para você e filhos até 12 anos) * Sessões de bem\-estar * Para cargos gerenciais: veículo corporativo, estacionamento e auxílio combustível **Responsabilidades** * Projetar, construir e manter pipelines de dados (batch e/ou streaming) com Python/PySpark e SQL. * Desenvolver e orquestrar ETLs/ELTs robustos e observáveis, com logs, métricas e alertas. * Modelar dados em camadas transacionais (OLTP) e analíticas/multidimensionais (OLAP) para consumo por BI, Analytics e IA. * Garantir qualidade, versionamento e reprodutibilidade de código e artefatos com GitHub (branches, PRs, code review). * Implementar testes (unitários, de integração e de dados) e planejar estratégias de testes ponta a ponta. * Aplicar boas práticas de arquitetura de software (modularidade, segurança, desempenho, custo). * Colaborar com analistas, cientistas(as) de dados e times de produto para traduzir requisitos de negócio em soluções escaláveis. * Documentar dados, processos e decisões arquiteturais, promovendo conhecimento compartilhado. * Apoiar a melhoria contínua: automação, padronização e performance dos ambientes de dados. **Qualifications** **Habilidades e experiências** * Proficiência em Python e PySpark para manipulação, transformação e processamento distribuído de dados. * Sólidos conhecimentos de SQL (modelagem, tuning, CTEs, janelas, partições). * Modelagem de dados transacional (OLTP) e multidimensional (OLAP). * Experiência com desenvolvimento de ETL/ELT e orquestração (ex.: Airflow, Databricks Jobs, ou similar). * Conhecimento em arquitetura de software aplicada a dados (design patterns, segurança, escalabilidade e custo). * Prática com GitHub (GitFlow, PRs, versionamento semântico, Actions básico). * Desenvolvimento e planejamento de testes, incluindo testes de dados (ex.: data quality, schema validation). **Desejáveis** * Esteiras de CI/CD para dados (ex.: GitHub Actions, Azure DevOps, testes automatizados, deploy de jobs/notebooks). * Bancos de dados não estruturados (ex.: Data Lake, NoSQL, documentos, colunar, grafo). * Vivência em plataformas de nuvem (preferencialmente Azure: Data Lake Storage, Databricks, Synapse, Fabric, Key Vault). * Exposição a governança/segurança de dados (linhagem, catálogo, RBAC/ABAC). **Diferencias** * Microsoft Azure: DP\-203 (Data Engineering on Microsoft Azure), AZ\-900, DP\-900 ou correlatas. * Databricks: Lakehouse Fundamentals ou Data Engineer Associate/Professional. * Inglês: intermediário a avançado