Engenheiro(a) de Dados Sênior(Google Cloud)

Leega Consultoria · São Paulo, SP, BR

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. Isso não poderia ser diferente com o nosso principal combustível: as pessoas! Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade. Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados. Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você! **\>\> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.** Cadastre\-se agora mesmo em nossas vagas! **Responsabilidades e atribuições** Buscamos um Engenheiro(a) de Dados Sênior para atuar de forma presencial em um projeto estratégico de migração de plataforma de dados em uma instituição financeira de grande porte. O projeto é a migração de uma plataforma de dados de grande porte, hoje em Cloudera na AWS, para o Google Cloud, no modo lift and shift: cerca de 13 mil jobs Spark e PySpark, 2,5 PB de dados, streaming com CDC, centenas de modelos de Machine Learning e frameworks proprietários de ingestão e processamento, em 9 meses de migração por ondas mensais, seguidos de 3 meses de pós implantação. **Principais responsabilidades** * Operar os aceleradores da Leega no dia a dia: conversão assistida por IA, regras da fábrica, testes de paridade e evidências. * Conduzir a conversão e a implantação de jobs Spark e PySpark, SQL de Hive e Impala e fluxos de streaming no Google Cloud. * Garantir a comparação automática entre legado e destino e conduzir o reprocessamento de ondas quando necessário. * Resolver casos técnicos complexos e apoiar a adaptação dos frameworks proprietários do cliente. * Definir e manter padrões de código, revisão em pares e esteiras de CI/CD (GitLab CI). Traduzir dúvidas de regra de negócio entre especialistas do cliente e os times de engenharia. * Apoiar o Gerente de Projetos e o Scrum Master na estimativa, no planejamento das ondas e no acompanhamento do ritmo. **Requisitos e qualificações** **Requisitos obrigatórios** * **Mínimo 5 anos de experiência em engenharia de dados.** * Experiência mínima de 3 a 4 anos com Google Cloud (Dataproc, BigQuery, Cloud Storage, Composer). Domínio de Spark e PySpark e de SQL avançado. * Experiência com ecossistema Hadoop (Hive, Impala, HDFS), preferencialmente em Cloudera. Experiência em projetos de migração de dados ou de plataformas de dados. * Experiência com versionamento e CI/CD (Git, GitLab CI ou similares). * Ensino superior completo em Tecnologia, Engenharia ou áreas correlatas. **Diferenciais** * Certificação Google Cloud Professional Data Engineer. * Experiência com IA generativa aplicada a conversão ou geração de código. * Experiência com Kafka, Flink e CDC. * Experiência em instituições financeiras. * Experiência com Apache Iceberg. **Competências comportamentais** * Liderança técnica pelo exemplo, com disponibilidade para resolver os casos mais difíceis. Capacidade de organizar e priorizar o trabalho de vários times em paralelo. * Comunicação clara entre negócio e engenharia. * Senso de qualidade e de dono sobre o que vai para produção. * Calma e foco para atuar em janelas de implantação e situações de pressão. **Informações adicionais** **INDISPENSÁVEL Conhecimento/Atuação em:** * Engenharia de dados com Spark no Google Cloud * Liderança técnica de times * Migração de dados **Modelo de atuação 100% PRESENCIAL, em instituição financeira localizada na Av. Paulista \- São Paulo.** **Informações adicionais** **Na nossa empresa, você encontrará um ambiente colaborativo e um pacote de benefícios que visa o seu crescimento, saúde e qualidade de vida. Confira abaixo os benefícios que oferecemos:** **Convênio Médico Porto Seguro** Cuidado completo para você e sua família, com possibilidade de incluir cônjuge e filhos. **Convênio Odontológico Porto Seguro** Proteção odontológica para você e seus dependentes. **Participação nos Lucros e Resultados (PLR)** Reconhecimento pelo seu trabalho e contribuição para o sucesso da empresa. **Auxílio Creche** Suporte financeiro para que pais e mães cuidem dos pequenos com tranquilidade. **Vale Alimentação e Refeição Alelo** Garantindo refeições práticas e confortáveis no seu dia a dia. **Auxílio Home Office** Incentivo para que você tenha um espaço de trabalho confortável em casa. **Parcerias com Instituições de Ensino** Educação ao seu alcance, com descontos e incentivos em cursos e graduações. **Incentivo para Certificações, inclusive em Cloud** Avance sua carreira com certificações nas principais tecnologias como: GCP, Azure, AWS entre outras. **Pontos Livelo** Acumule pontos e use como preferir, com total liberdade de escolha. **TotalPass** Incentivo à saúde com planos de academia com desconto para colaborado