Engenheiro de Dados Sênior Databricks
INDT INNOVATION & TECH SERVICES · São Paulo, SP, BR
**Sobre nós:** Desde 2001, o INDT é um instituto de tecnologia que inspira inovação e respira tecnologia! Desenvolver está no nosso DNA e oferecemos um ambiente colaborativo com muitos desafios para o aprendizado e crescimento. Surgimos em Manaus (AM) através da Nokia, e hoje atuamos em todo Brasil com o objetivo de apresentar os nossos serviços e a nossa Cultura para todas as regiões brasileiras. Atualmente, possuímos mais de 200 colaboradores atuando ativamente. Para nós, eliminar as barreiras geográficas e culturais foi só uma consequência por acreditarmos que nada é impossível. Por isso, hoje, mais do que nunca, podemos olhar no espelho e pensar: trabalhamos em uma empresa que vive e cresce cada dia mais! Você quer ter a oportunidade de desenvolver seus talentos? Quer trabalhar num ótimo ambiente de trabalho e com colegas que te ajudarão na tua jornada? Quer ter a uma experiência incrível de sentir valorizado? Quer potencializar suas entregas diárias e projetos tendo líderes inspiradores? Quer ter liberdade para propor e desenvolver projetos inovadores, com autonomia e protagonismo? Então vem com a gente promover a diferença! **\#VEMSERINDT** Requisitos: Estamos em busca de um(a) **Engenheiro(a) de Dados Sênior** para atuar em um projeto de implementação e evolução de uma plataforma de dados utilizando Databricks.O profissional terá atuação direta na construção e evolução de pipelines e soluções de dados, sendo responsável por desenvolver arquiteturas robustas, escaláveis e eficientes, com alto nível de autonomia técnica. Buscamos alguém com experiência prática e aprofundada em Databricks, capaz de atuar desde a arquitetura e ingestão dos dados até transformação, governança, otimização e monitoramento das soluções. **Perfil esperado** Buscamos um profissional Sênior forte ou Especialista, com perfil hands\-on e elevada autonomia técnica.É importante ter capacidade de tomar decisões, propor soluções e atuar diretamente na implementação, sem depender de acompanhamento constante.Além do conhecimento das ferramentas, buscamos profissionais que consigam explicar as decisões técnicas tomadas, os desafios encontrados e como solucionaram problemas reais em projetos de dados. **Principais responsabilidades** Atuar na implementação e evolução da plataforma de dados em Databricks; Desenvolver e evoluir pipelines de dados utilizando Spark/PySpark; Construir soluções de ingestão, transformação e processamento de grandes volumes de dados; Trabalhar com Delta Lake e recursos do ecossistema Databricks; Atuar com arquitetura e modelagem de soluções de dados escaláveis; Implementar boas práticas de engenharia de dados, qualidade, governança e observabilidade; Atuar na identificação e resolução de problemas de performance em pipelines e processos de dados; Realizar otimizações de processamento, armazenamento e consultas; Trabalhar com Unity Catalog e recursos relacionados à governança e segurança dos dados; Participar da definição e implementação de estratégias de orquestração e integração de pipelines; Atuar em conjunto com times de tecnologia e negócio na definição das melhores soluções técnicas; Garantir qualidade, confiabilidade, escalabilidade e manutenção das soluções desenvolvidas; Contribuir para a evolução das boas práticas e padrões de engenharia de dados do projeto. **Requisitos** Experiência sólida e prática com Databricks; Experiência avançada com Apache Spark e PySpark; Experiência com Delta Lake; Conhecimento e experiência com Unity Catalog; Experiência na implementação e evolução de pipelines de dados; Conhecimento de arquitetura e boas práticas de Engenharia de Dados; Experiência com otimização e troubleshooting de performance em Spark/Databricks; Experiência com processamento de grandes volumes de dados; Capacidade de atuar com autonomia na análise de problemas e definição de soluções técnicas; Experiência em ambientes corporativos/enterprise. **Será considerado diferencial** Certificação Databricks; Experiência com AWS; Experiência com Terraform e práticas de Infrastructure as Code (IaC); Conhecimento ou experiência com Kafka e outras tecnologias de streaming; Experiência com Data Quality; Conhecimento de ferramentas e práticas de observabilidade; Experiência anterior em projetos de grande escala; Vivência com ambientes de alta volumetria e requisitos de alta disponibilidade.