Guia da OpenAI sobre evals: um ciclo Especificar-Medir-Melhorar para a automatização empresarial

Frontier evals lançam modelos; contextual evals fazem funcionar fluxos de trabalho

A distinção mais útil no guia da OpenAI é a que a empresa traça sobre a sua própria prática. A OpenAI afirma que os seus investigadores usam frontier evals rigorosas para medir o desempenho dos modelos em diferentes domínios, porque, na OpenAI, "os nossos modelos são os nossos produtos". Mas admite que essas frontier evals "não conseguem revelar todas as nuances necessárias para garantir que o modelo terá um bom desempenho num fluxo de trabalho específico, num contexto empresarial específico".

Essa admissão é o cerne do argumento. A empresa refere que as suas equipas internas criaram "dezenas de contextual evals" para produtos específicos e fluxos de trabalho internos, e diz aos líderes empresariais que precisam de fazer o mesmo. O benchmark que qualifica um modelo como estado da arte não é o benchmark que diz se ele converte os seus e-mails recebidos em demonstrações.

A OpenAI também é franca ao admitir que este é um território ainda pouco consolidado: as contextual evals são "uma área de desenvolvimento ativa e ainda não surgiram processos definitivos". O guia propõe uma framework que a empresa "tem visto funcionar em muitas situações", e não uma metodologia acabada.

O ciclo: especificar um conjunto de referência, medir face a casos-limite, melhorar numa espiral de aperfeiçoamento contínuo

A framework tem três passos: Especificar, Medir, Melhorar. Especificar começa com uma pequena equipa multifuncional a escrever o propósito do sistema em termos simples — o exemplo dado é "Converter e-mails recebidos qualificados em demonstrações agendadas, mantendo a identidade da marca" — e depois a mapear dezenas de exemplos de inputs face aos outputs desejados. A OpenAI chama a isto um "golden set" (conjunto de referência), descrito como um registo vivo do julgamento de especialistas sobre o que é excelente.

Um detalhe prático que se destaca aqui: o guia recomenda a revisão de 50 a 100 outputs de uma versão inicial do sistema, para produzir uma taxonomia de erros e das respetivas frequências. É uma escala inicial concreta, e reformula a avaliação como análise de erros, em vez de mera pontuação.

Medir exige um ambiente de teste que reflita condições reais — "não apenas uma demonstração ou um espaço de testes de prompts" — incluindo casos-limite raros mas dispendiosos. Os avaliadores baseados em LLM podem escalar este trabalho, mas a OpenAI insiste que um especialista do domínio "deve auditar regularmente a precisão dos avaliadores LLM" e rever diretamente os registos de comportamento. Melhorar constrói uma espiral de dados: registar inputs, outputs e resultados, encaminhar casos ambíguos ou dispendiosos para revisão de especialistas, e reintroduzir esses julgamentos nos prompts, ferramentas ou modelos.

A tese de que a espiral de aperfeiçoamento é um ativo defensável

A proposta económica da OpenAI é que executar este ciclo em escala "gera um conjunto de dados vasto, diferenciado e específico ao contexto, difícil de copiar". O argumento é que, num mundo em que os modelos e o conhecimento especializado estão amplamente disponíveis, a vantagem passa a residir na forma como os seus sistemas "executam dentro do seu contexto".

Num mundo em que a informação está livremente disponível a nível global e o conhecimento especializado está democratizado, a sua vantagem depende de quão bem os seus sistemas conseguem executar dentro do seu contexto.Montana Labs

Esta é uma posição notável vinda de um fornecedor de modelos: situa o valor duradouro não no modelo, mas nos dados de avaliação acumulados e no julgamento institucional que um cliente constrói em torno dele. O guia posiciona as evals como as sucessoras dos OKRs e KPIs — "medir o que importa" para sistemas probabilísticos.

O que é hoje necessário para automatizar um procedimento operacional padrão

Para as equipas que automatizam fluxos de trabalho, a implicação prática do guia é que o estrangulamento está na especificação, não na capacidade do modelo. A OpenAI afirma sem rodeios: "Se não conseguir definir o que significa 'excelente' para o seu caso de uso, é pouco provável que o alcance." Enquadra isto como "as competências de gestão são competências de AI (keep the English acronym)" — objetivos claros, feedback direto e discernimento sobre quando a precisão é essencial e quando a velocidade o é.

Duas ressalvas no texto merecem atenção antes de alguém tratar as evals como um portão de lançamento. A OpenAI alerta que as grelhas de avaliação podem "sobrevalorizar aspetos superficiais em detrimento dos objetivos globais", e que algumas qualidades são "difíceis ou impossíveis de medir". Diz também que as evals não substituem os testes A/B em implementações externas — complementam a experimentação tradicional, não a substituem.

A conclusão honesta é que a OpenAI está a dizer às empresas que a parte difícil da automatização não é chamar a API. É o trabalho multifuncional, iterativo e "confuso" de definir os resultados desejados e manter essa definição à medida que os modelos e os objetivos evoluem. A eval é onde esse trabalho existe — ou não.