Engenheiro de Dados

CRP Tech · Remoto, BR

Deseja trabalhar em uma empresa que respira tecnologia, oferece novos desafios e um ambiente de trabalho de constante desenvolvimento profissional? Confira o perfil abaixo e candidate\-se! **Formação:** Diploma, devidamente registrado, de curso de nível superior de graduação na área de Tecnologia da Informação (Ciência da Computação, Engenharia de Software, Sistemas de Informação, Engenharia da Computação ou correlatos) ou de graduação em qualquer área acrescido de certificado de pós\-graduação em área de Tecnologia da Informação de, no mínimo, 360 (trezentos e sessenta) horas, fornecido por instituição reconhecida pelo Ministério da Educação (MEC). **Experiência:** Experiência mínima comprovada de 03 (três) anos atuando como Engenheiro(a) de Dados (ou no mínimo 02 anos em nível pleno, com entrega ponta a ponta de pipelines em produção). Experiência comprovada na construção e sustentação de pipelines ETL/ELT em produção, do design à operação. Vivência com volumes relevantes de dados (batch e/ou incremental) e com reprocessamento seguro. Desejável portfólio (GitHub, projetos pessoais ou contribuições open source) que demonstre a habilidade de resolver problemas reais de dados **Conhecimentos Técnicos:** Sólida proficiência em Python para engenharia de dados (boas práticas, OOP, organização de código, tratamento de erros, testes). Experiência na criação e empacotamento de bibliotecas Python próprias (wheels), promovendo reuso, padronização e versionamento de código entre pipelines. Domínio de SQL avançado (consultas, joins, CTEs, window functions, tuning) e modelagem de dados (normalizada e dimensional). Experiência com ETL/ELT, incluindo ingestão de múltiplas fontes e carga em bancos de dados relacionais (PostgreSQL, SQL Server, MySQL, Oracle ou similares) e não relacionais (MongoDB e afins). Experiência com armazenamento em arquivos Parquet e conceitos de Data Lake / Data Lakehouse (camadas Bronze/Silver/Gold ou Medallion). Experiência com orquestração de pipelines no Apache Airflow (criação de DAGs, agendamento, dependências, retentativas e tratamento de falhas). Experiência prática com Docker (build de imagens, Dockerfiles, ambientes reproduzíveis) e operação em Kubernetes (deploy, jobs, configmaps/secrets, monitoramento de workloads). Familiaridade com MinIO (armazenamento de objetos compatível com S3\) como camada de Data Lake. Conhecimento no uso de Dremio (ou motor de consulta equivalente como Trino/Athena) como camada semântica/consulta sobre o Data Lake. Experiência com Git/versionamento e práticas de CI/CD aplicadas a projetos de dados. Sólido entendimento de qualidade de dados, observabilidade e monitoramento de pipelines (validação, alertas, métricas, reprocessamento). Conhecimentos em intetração de ferramentas de IA para alta produtividade. (Harness). **Conhecimentos Desejáveis/Diferenciais** Não esperamos que você já domine tudo isso, mas buscamos alguém com grande interesse em se aprofundar: Apache Iceberg (ou Delta Lake/Hudi) como formato de tabela aberta sobre o Data Lake. dbt para modelagem e transformação de dados na camada analítica. Orquestração e automação avançadas: Helm, Argo CD, GitHub Actions/GitLab CI para deploy em múltiplos clusters Kubernetes. Nessie (catálogo com branching/tagging) e gestão de múltiplos ambientes (dev/test/prod). Streaming e ingestão em tempo real: Apache Kafka (modo KRaft), Debezium/CDC. Processamento distribuído em larga escala: Apache Spark / PySpark. Ferramentas de qualidade e catálogo de dados: Great Expectations, Soda, OpenMetadata, DataHub, OpenLineage. Observabilidade: Prometheus, Grafana e OpenTelemetry aplicados a workloads de dados. Stack de frontend/BI para visualização (Streamlit, Dash, React, Power BI, Apache Superset ou similares) e experiência na construção de dashboards e APIs de consumo. Infraestrutura como código: Terraform / Ansible. Conhecimentos de MLOps / IA aplicada (feature stores, pipelines para IA, LLMs) como apoio às frentes de dados e analytics avançado. Experiência em ambientes on\-premise/híbridos e em plataformas de dados corporativas. Inglês técnico para leitura de documentação. **Softskills** Proatividade: Você não espera por tarefas, você as cria. Tem autonomia para pesquisar, propor caminhos e resolver problemas. Comunicação Clara: Sabe traduzir "techniquês" em valor de negócio e vice\-versa. Paixão por Resolver Problemas: Vê um desafio complexo (dado fora de padrão, pipeline quebrado, gargalo de performance) como oportunidade de aprender e inovar. Colaboração: Entende que o melhor resultado vem do trabalho em equipe, compartilhando conhecimento e ajudando os colegas de BI, Analytics e IA. Adaptabilidade: Lida bem com o dinamismo e as incertezas de um projeto em evolução, inclusive com stack de dashboard ainda em definição. Espírito de Equipe: Gosta de colaborar, ensinar e aprender com os colegas de time. **Atividades e Responsabilidades** Projetar, desenvolver e manter pipelines de ETL/ELT escaláveis, confiáveis e de alta pe