AI Solution Developer - Curadoria

Capgemini · Recife, PE, BR

**Nossa Oportunidade:** Você é apaixonado(a) por tecnologia, inovação e quer fazer parte de um ambiente inclusivo, colaborativo e em constante evolução? Então essa oportunidade é para você!Na Capgemini, valorizamos o equilíbrio entre vida pessoal e profissional. Por isso, oferecemos modelos de trabalho flexível, híbrido, de acordo com as necessidades do projeto. Nosso objetivo é proporcionar a melhor experiência para você, respeitando seu estilo de vida e promovendo bem\-estar.Estamos em busca de um(a) **AI Solution Developer \- Curadoria Júnior** , para compor nosso time. **Responsabilidades:** * Desenvolver em **Python** ferramentas, APIs, pipelines e automações para avaliação de modelos e aplicações de IA. * Construir **pipelines de avaliação automatizada** para LLMs, RAG e AI Agents. * Criar datasets, benchmarks e conjuntos de testes para avaliação de soluções baseadas em IA. * Desenvolver mecanismos automatizados para avaliar **qualidade, precisão, relevância, consistência e aderência às instruções** . * Implementar métricas e critérios de avaliação para diferentes casos de uso. * Desenvolver avaliações utilizando **LLM\-as\-a\-Judge, regras determinísticas, métricas semânticas e avaliações híbridas** . * Implementar **regression testing** para identificar degradação de qualidade após alterações em modelos, prompts ou aplicações. * Desenvolver APIs e serviços em Python para disponibilização dos mecanismos de curadoria. * Monitorar o comportamento de LLMs e agentes em produção. * Identificar e investigar **alucinações, vieses, inconsistências, respostas inadequadas, falhas de instrução e comportamentos inesperados** . * Desenvolver mecanismos para avaliação de **AI Agents** , incluindo qualidade das decisões, seleção de ferramentas, execução de workflows e resultados gerados. * Criar métricas e mecanismos de monitoramento para acompanhamento contínuo da qualidade. * Desenvolver processos para **versionamento de datasets, avaliações, prompts e configurações** . * Trabalhar com times de Prompt Engineering e AI Engineering na identificação e correção de problemas de qualidade. * Apoiar a definição de **critérios de aceitação e quality gates** para soluções de IA. * Automatizar processos de curadoria, testes e validação utilizando Python. * Realizar análise dos resultados dos experimentos e investigar causas de degradação de qualidade. * Desenvolver soluções para avaliação contínua de aplicações de **LLM, RAG e agentes** . * Contribuir para definição de padrões e boas práticas de **AI Quality, Evaluation e Responsible AI** . * Documentar metodologias, métricas, datasets, experimentos e resultados. **Requisitos Técnicos:** * Conhecimento em Python. * Lógica de programação e desenvolvimento de software. * Conhecimento básico de APIs REST e manipulação de JSON. * Conhecimento em Git/GitHub. * Noções de banco de dados SQL. * Interesse por Inteligência Artificial e IA Generativa. * Familiaridade com conceitos de testes, automação e qualidade de software. * Conhecimento básico em ambiente Linux. **Diferenciais** * Experiência prática com Python aplicado a AI/ML/GenAI. * Experiência com avaliação de LLMs e aplicações de Generative AI. * Experiência desenvolvendo ferramentas, APIs ou pipelines de avaliação automatizada em Python. * Experiência com AI Agents e avaliação de agentes. * Conhecimento de frameworks como Ragas, DeepEval, LangSmith, Langfuse, Arize Phoenix ou similares. * Experiência com LLM\-as\-a\-Judge. * Experiência com criação e gerenciamento de datasets para avaliação. * Conhecimento de NLP, Machine Learning ou Data Science. * Experiência com observabilidade de aplicações de LLM. * Conhecimento de Prompt Injection, Jailbreaks e Adversarial Testing. * Experiência com Kubernetes, Docker e CI/CD. * Experiência com ambientes cloud. * Conhecimento de práticas de MLOps/LLMOps. **Diversidade, Inclusão e Pertencimento:** Na Capgemini, você pode ser quem você é. Valorizamos a diversidade em todas as suas formas e promovemos um ambiente inclusivo por meio de comitês como: * Women@Capgemini – Empoderamento feminino e equidade de gênero. * Capgemini Black – Representatividade e valorização da cultura negra. * LGBTQIA\+@Capgemini, Capgemini Accessibility, entre outros. Nosso compromisso é contínuo: somos reconhecidos pela GPTW, Bloomberg Gender Equality Index, EDGE e Ethisphere como uma das empresas mais éticas e inclusivas do mundo. Nossas vagas são para todas as pessoas, independentemente de cor, etnia, religião, idade, identidade de gênero, orientação sexual ou deficiência. **Desenvolvimento e Benefícios** Aqui, você é protagonista da sua carreira! Oferecemos: * Plano de carreira estruturado e trilhas personalizadas de aprendizado. * Universidade Corporativa, com acesso a Harvard, Pluralsight. * Certificações oficiais com parceiros como SAP, AWS, Microsoft, Salesforce. * Idiomas com EF Education First (Inglês, Espanhol, Francês e Alemão). **Bem\-estar completo:** * Assistência médica e odontológica. * TotalPas