Engenheiro(a) de Dados Azure - Especialista em Databricks - Híbrido em Brasília
Dataside · Brasília, DF, BR
**Sobre a vaga:** Grande organização cliente da Databricks, que opera a plataforma em escala na Azure, busca um(a) especialista para apoiar a Diretoria Técnica e a equipe que sustenta o ambiente. O objetivo é deixar a solução estável, monitorada, integrada aos sistemas internos e financeiramente eficiente, aplicando boas práticas de mercado. Este não é um papel de desenvolvimento de pipelines de negócio. É um papel de engenharia e governança de plataforma, com influência técnica e interação frequente com liderança. **Responsabilidades:** * Revisar e evoluir a arquitetura do ambiente Databricks: workspaces, metastore, Unity Catalog, estrutura de contas e ambientes. * Definir e aplicar padrões de infraestrutura como código para toda a plataforma. * Apoiar decisões de arquitetura com recomendações claras e fundamentadas. * Desenhar e revisar a rede Azure: VNet injection, subnets, NSGs, Private Link/Private Endpoints, DNS, rotas, firewall/NVA e conectividade com o ambiente on\-premises (ExpressRoute/VPN). * Definir storage (ADLS Gen2, containers, external locations, credenciais e Managed Identities), desenho de resource groups e subscriptions, tags e políticas (Azure Policy). * Cuidar de identidade e acesso: Entra ID, SCIM, grupos, service principals e RBAC. * Implantar observabilidade da plataforma e dos workloads: system tables, métricas, logs, alertas e dashboards. * Integrar o Databricks aos sistemas internos do cliente (ITSM, SIEM, monitoramento corporativo, catálogos, identidade e outros). * Estruturar runbooks, SLAs/SLOs, gestão de incidentes e análise de causa raiz. * Preparar o ambiente para continuidade de negócio: backup, DR e estratégia de recuperação. * Definir e implantar padrões de CI/CD para notebooks, jobs, pipelines e infraestrutura (Databricks Asset Bundles, Terraform, Azure DevOps ou GitHub Actions). * Estabelecer promoção entre ambientes, versionamento, testes e quality gates. * Criar templates e golden paths para as equipes de dados usarem a plataforma de forma padronizada. * Construir visibilidade de custos: system tables de billing, tags, budgets, chargeback/showback. * Fazer right sizing de clusters, SQL Warehouses e jobs, com cluster policies, autoscaling, serverless e escolha de instâncias. * Identificar desperdícios e oportunidades de economia (Predictive Optimization, Liquid Clustering, otimização de jobs, reservas e commit). * Apresentar a evolução de custo e eficiência aos gestores de forma executiva. * Aplicar boas práticas de segurança: criptografia, segregação de ambientes, gestão de segredos, auditoria e conformidade. * Apoiar a governança de dados com Unity Catalog: permissões, lineage, masking e row filters. **Requisitos:** * Experiência comprovada em projetos de grande porte: ter desenhado, implantado e sustentado ambientes Databricks de escala corporativa em produção. Serão solicitados exemplos concretos (tamanho do ambiente, número de usuários e workloads, desafios resolvidos). * Conhecimento profundo da fundação do Databricks: workspaces, Unity Catalog, compute (clusters, pools, SQL Warehouses, serverless), Jobs/Lakeflow, Delta Lake, system tables e administração de conta. * Conhecimento avançado de Azure voltado ao Databricks: rede (VNet, Private Link, DNS, firewall), storage (ADLS Gen2\), resource groups, Entra ID, Azure Policy e Key Vault. * Experiência prática com Terraform (providers Databricks e Azure) e CI/CD (Azure DevOps, GitHub Actions ou equivalente). * Experiência com monitoramento e observabilidade (Azure Monitor, Log Analytics, Grafana, Datadog ou similar) e integração com ferramentas corporativas. * Experiência com FinOps e otimização de custos em nuvem e em Databricks. * Boa comunicação com times técnicos e com liderança, capaz de explicar decisões técnicas e trade\-offs a públicos executivos. * Português fluente e inglês técnico para leitura de documentação. * Disponibilidade para presença no cliente cerca de uma vez por semana (negociável). **Diferenciais:** * Certificações Databricks (Data Engineer, Platform Administrator, Architect) e/ou Azure (AZ\-104, AZ\-305, AZ\-500, DP\-203\). * Experiência em setores regulados (financeiro, seguros, saúde, setor público). * Experiência com migração de plataformas legadas (Hadoop/Cloudera, data warehouses on\-premises) para Databricks. * Conhecimento de segurança avançada e conformidade (LGPD e regulações setoriais). * Experiência com cargas de ML/IA em produção (MLOps, Model Serving) do ponto de vista de plataforma. * Vivência em modelos de Platform Engineering e Center of Excellence. **O que oferecemos:** * **Auxílio médico:** ajuda de custo mensal para apoiar na contratação do seu plano de saúde. * **Wellhub**, pra manter corpo e mente ativos, do jeito que você gosta. * **Terapia online** 100%custeada pela empresa, porque saúde mental importa. * **Atendimento em nutrição online**, com até 2 consultas mensais para cuidar da sua saúde alimentar. * ️ **Seguro de vida** com apólice no valor de R$ 125 mil, garantind