Data Engineer | Azure & Databricks [Remoto - Brasil]
DBServices Portugal · Remoto, BR
A **DBServices** é uma empresa que possui raízes profundas tanto em **Portugal** quanto no **Brasil**, refletindo uma ligação sólida entre os dois países. Em constante crescimento, a DBServices destaca\-se por atender grandes empresas em Portugal, nos Estados Unidos e no Brasil, consolidando sua presença internacional e ampliando seu impacto no mercado global. Estamos buscando um(a) Data Engineer para atuar em um projeto global de dados na área de Procurement, apoiando a evolução de um Data Lake corporativo. O objetivo é ampliar a cobertura das fontes e dos dados disponíveis, reduzir tratamentos manuais e garantir integrações confiáveis, com dados harmonizados entre operações de diferentes países e continentes. Você será responsável pelas entregas back\-end até produção, com autonomia técnica e seguindo padrões e regras de negócio definidos em conjunto com as áreas envolvidas. **Modelo de trabalho:** 100% remoto **Idioma:** inglês fluente ### **Atividades** * Levantar requisitos de dados junto à área de negócio e aos times responsáveis pelas fontes, traduzindo regras funcionais em especificações técnicas * Desenvolver e manter integrações via APIs, conectores e mecanismos de extração, respeitando permissões, limitações das fontes e padrões corporativos * Investigar lacunas em extrações e queries existentes, incorporando novas colunas e entidades da origem até as camadas de consumo * Construir e evoluir pipelines ETL/ELT e workflows automatizados, com dependências, agendamentos, cargas incrementais e reprocessamento seguro * Desenvolver notebooks e scripts em SQL, Python e PySpark em ambiente Azure e Databricks * Implementar arquitetura medallion (Bronze, Silver e Gold), criando e otimizando tabelas e views Gold com regras de negócio documentadas * Manter um modelo canônico global, harmonizando nomenclaturas, tipos, datas, fusos horários, moedas, unidades de medida e cadastros, preservando o vínculo com os dados de origem * Implementar controles de qualidade, reconciliação com as fontes, tratamento de duplicidades, integridade referencial e gestão de alterações de schema * Versionar código no Azure DevOps e apoiar code review, testes e esteiras CI/CD entre ambientes * Monitorar execuções, falhas e desempenho dos pipelines, com logs, alertas e rotinas de recuperação, otimizando processamento e custos Documentar integrações, mapeamentos origem\-destino, dicionário de dados, linhagem e procedimentos operacionais * ### **Requisitos** * SQL avançado: joins, CTEs, subqueries, funções de janela, agregações e otimização de consultas * Python e PySpark para processamento distribuído, automações e notebooks, com código modular, testável e documentado * Azure Data Factory, Azure Synapse Analytics e Databricks * Azure DevOps e Git para versionamento, code review e automação de testes e deploys * Integração com APIs REST: autenticação, paginação, tratamento de erros, limites de requisição e cargas incrementais * Modelagem relacional e analítica (granularidade, chaves e relacionamentos), ETL/ELT e arquitetura Data Lake/Lakehouse em camadas * Harmonização de dados entre sistemas e regiões, mapeamento origem\-destino, modelo canônico e dicionário de dados * Qualidade e governança de dados, rastreabilidade e boas práticas de acesso seguro e gestão de credenciais Inglês fluente para interação técnica e documentação * ### **Diferenciais** * Integração com ERPs e plataformas corporativas, como SAP ECC/S/4HANA, Microsoft Dynamics 365, ServiceNow ou Coupa * Conhecimento de dados de procurement: fornecedores, requisições, pedidos de compra, contratos, sourcing, condições de pagamento e savings * Delta Lake, CDC, evolução de schema e otimização de processamento em Spark * Azure Data Lake Storage, Azure Key Vault e soluções de catálogo e linhagem de dados * Experiência em projetos globais * Espanhol * Práticas de DataOps e metodologias ágeis **Na DBSPT você encontrará:** * **Ambiente Colaborativo***:* Valorizamos o senso de comunidade, onde as ideias são compartilhadas e as conquistas celebradas em equipe. * **Trabalhe de qualquer lugar:** Aproveite a liberdade e a flexibilidade para trabalhar onde se sentir mais produtivo e confortável. * **Conexão Global:** Você terá a oportunidade de interagir com pessoas de diferentes países e culturas, expandindo sua rede de contatos e visão de mundo. * **Apoio à Saúde Física:** Por meio do *Totalpass* e *Mediquo*, oferecemos recursos e programas focados no seu bem\-estar físico. * **Cuidado com a Saúde Mental:** O *Team Care* disponibiliza iniciativas e ações para apoiar seu equilíbrio emocional e mental no dia a dia. **Why DBServices?** ------------------- At **DBServices**, we **design**, **develop**, and **support** *cutting\-edge digital platforms* that drive **innovation** for leading companies across **IT**, **Banking**, **Retail**, **Government**, **Healthcare**, and other industries in **Europe** and the **Americas**. Our **expertise** empowers businesses to **grow**, **adapt**, and **