Engenheiro de Dados GCP Sênior - Remoto

Dataside · Remoto, BR

**Papel na empresa** O Engenheiro de Dados GCP Sênior na Dataside atua como referência técnica nos projetos, apoiando o Tech Lead e contribuindo para o desenvolvimento da equipe e disseminação de conhecimento. Possui autonomia para tomar decisões técnicas de ponta a ponta, garantindo entregas escaláveis, eficientes e alinhadas às necessidades do cliente. Além de desenvolver soluções robustas de engenharia de dados, atua na definição de arquiteturas, otimização de pipelines, gestão de custos e melhoria contínua dos ambientes de dados. Realiza mentorias, revisões técnicas e compartilha boas práticas com o time. Com visão estratégica sobre o valor dos dados, conecta as soluções técnicas aos objetivos de negócio, atuando como parceiro consultivo dos clientes e propondo soluções que impulsionem resultados. **Responsabilidades** * Atuar como referência técnica nos projetos, conduzindo decisões arquiteturais e técnicas com autonomia. * Apoiar o Tech Lead na liderança técnica e estratégica das iniciativas. * Projetar, desenvolver e otimizar pipelines de dados batch e streaming utilizando os serviços do Google Cloud Platform. * Realizar revisões técnicas aprofundadas, disseminar boas práticas e apoiar o desenvolvimento de profissionais do time. * Definir arquiteturas de dados escaláveis, resilientes e eficientes, considerando volume, performance e custo. * Construir estratégias de melhoria de performance e otimização de custos em ambientes GCP. * Diagnosticar gargalos técnicos e operacionais, propondo soluções sustentáveis. * Trabalhar com múltiplas integrações, APIs, sistemas distribuídos e grandes volumes de dados. * Garantir boas práticas de segurança, governança, qualidade e observabilidade dos dados. * Comunicar soluções técnicas de forma clara para diferentes níveis de interlocução, incluindo áreas de negócio, tecnologia e gestão. * Atuar de maneira consultiva junto aos clientes, identificando oportunidades de evolução e melhoria dos ambientes de dados. **Requisitos** * Experiência sólida em projetos de Engenharia de Dados de alta complexidade. * Experiência avançada com Google Cloud Platform (GCP) e seus principais serviços de dados e analytics. * Forte domínio de Python e SQL avançado. * Experiência avançada com Apache Spark e processamento distribuído de dados. * Experiência com BigQuery, incluindo modelagem, otimização de consultas e gestão de custos. * Vivência na construção e orquestração de pipelines de dados utilizando Cloud Composer (Apache Airflow) e/ou Workflows. * Experiência com processamento de dados batch e streaming. * Conhecimento em arquitetura de Data Lakes, Data Warehouses e Lakehouse. * Experiência com integração de dados via APIs RESTful e sistemas distribuídos. * Conhecimento de práticas de CI/CD, versionamento de código e infraestrutura como código. * Conhecimento de técnicas de modelagem de dados, como Data Vault, modelagem dimensional e 3NF. * Experiência com governança, segurança, qualidade e observabilidade de dados. * Capacidade de atuar em contextos de alta complexidade, com autonomia e visão arquitetural. * Boa comunicação e habilidade para interagir com clientes e diferentes áreas da organização. **Hard Skills** * **Google Cloud Platform (GCP):** domínio dos serviços de dados e analytics da plataforma. * **BigQuery (avançado):** otimização de consultas, particionamento, clustering, slots, materialized views, query execution plans e controle de custos. * **Cloud Storage (GCS):** arquitetura de Data Lakes, organização, armazenamento e ciclo de vida dos dados. * **Dataflow:** processamento distribuído, pipelines batch e streaming, Apache Beam e otimização de jobs. * **Dataproc:** gerenciamento de clusters, processamento distribuído e execução de workloads com Apache Spark. * **Pub/Sub:** arquitetura orientada a eventos, mensageria e processamento em tempo real. * **Cloud Composer:** orquestração de pipelines de dados com Apache Airflow. * **Cloud Functions e Cloud Run:** desenvolvimento e execução de serviços e componentes serverless. * **Dataplex:** governança, descoberta, organização e gerenciamento de dados. * **Dataform:** desenvolvimento, transformação e gerenciamento de pipelines SQL no BigQuery. * **Python:** desenvolvimento avançado, boas práticas de engenharia de software, modularização e reutilização de componentes. * **Apache Spark:** processamento distribuído, otimização de jobs, particionamento, caching, broadcast joins e gerenciamento de recursos. * **SQL avançado:** tuning, otimização de consultas, modelagem e análise de planos de execução. * **Modelagem de dados:** Data Vault, modelagem dimensional, 3NF e arquiteturas orientadas a eventos. * **Bancos de dados:** experiência com bancos relacionais e NoSQL. * **CI/CD:** Git, GitHub Actions, GitLab CI ou Cloud Build. * **Infraestrutura como código:** Terraform e/ou ferramentas equivalentes. * **Qualidade e observabilidade:** testes de dados, monitoramento, logging e ferramentas como Great Expectations, Prometheus e Gra