O GeneBench-Pro da OpenAI coloca um contrato de output rígido no centro da avaliação de agentes

O espaço de trabalho e o contrato de retorno JSON

Cada problema do GeneBench-Pro entrega ao agente um espaço de trabalho isolado: uma prompt curta, ficheiros de dados e uma stack padrão de bioinformática que inclui Python, bibliotecas de computação científica e PLINK 2.0. O agente explora dados desorganizados, escolhe um percurso analítico, itera e devolve uma resposta.

O que mais se destaca é o grau de restrição imposto à resposta. O exemplo da terapia oncológica especifica um objeto JSON exato, com chaves nomeadas — therapy_class_code, benefit_rd_pp, toxicity_dropout_risk_pp, net_clinical_utility_pp — além de uma string de raciocínio. A prompt indica explicitamente: não envolver o JSON em markdown, não adicionar texto antes ou depois, não omitir nenhuma chave.

Trata-se de um contrato legível por máquina, não de uma resposta em texto livre. Existe precisamente para que a avaliação possa ser determinística. A OpenAI controla todo o processo de geração de dados, o que lhe permite pontuar a correção face a valores-alvo conhecidos e, nas suas próprias palavras, evitar 'variabilidade associada à escolha do modelo e efeitos de verbosidade encontrados na avaliação padrão baseada em rubricas.' O formato do output é uma decisão de design deliberada que torna o benchmark auditável.

Dados sintéticos como defesa contra uma avaliação ambígua

A OpenAI é clara quanto aos modos de falha que pretende evitar. Muitos benchmarks de biologia de longo horizonte reutilizam conjuntos de dados históricos desorganizados, onde existem várias escolhas analíticas igualmente defensáveis, o que faz com que as pontuações reflitam preferências arbitrárias do autor do benchmark em vez da competência do modelo. A falha inversa é um problema tão insensível numericamente que uma análise falhada ainda assim é aprovada.

A resposta aqui é a síntese total: cada problema simula uma estrutura causal conhecida. Isso permite à equipa ajustar a complexidade, garantir que escolhas subjetivas razoáveis ainda chegam aos valores aceites, e verificar, através de ablação, que análises plausíveis mas incorretas falham. As auditorias de trace verificam a existência de fugas de informação e caminhos de solução não intencionais.

O ponto essencial é que um contrato de output limpo só funciona se a resposta subjacente for genuinamente cognoscível. O esquema JSON e a verdade simulada são as duas metades do mesmo mecanismo — uma fixa o que o agente devolve, a outra fixa o que conta como correto.

Contratos de resolução: por que a formulação da prompt altera a resposta

A observação mais elucidativa vem do revisor Cyrillus Tan, do New York Genome Center, que analisou as avaliações.

Rever estas avaliações evidencia a importância de contratos de resolução claros para a resolução científica de problemas baseada em agentes. Diferenças na formulação da prompt ou na especificação da tarefa podem influenciar significativamente quais as análises consideradas admissíveis.Montana Labs

Trata-se de um problema de frontend disfarçado de problema científico. A especificação que o agente lê — o estimando, as unidades, o enquadramento da decisão a jusante — condiciona quais as abordagens analíticas que este considera legítimas. Um benchmark que mede o 'sentido de investigação' está, inevitavelmente, também a medir a forma como a tarefa foi formulada.

Os resultados reforçam onde os agentes falham. O revisor Lex Flagel, da Gencove, notou que os modelos lidaram bem com o conhecimento de domínio exigido e com a seleção de ferramentas, mas 'falharam' perante discrepâncias nos dados, como trocas de ascendência: 'Não são suficientemente cautelosos com problemas de qualidade dos dados.' O contraste entre o GPT-5.5 e o GPT-5.6 Sol no problema de farmacogenómica traduz-se numa mudança de um modelo Cox convencional para um modelo estrutural marginal de Cox para novos utilizadores, que excluiu 818 utilizadores prevalentes assinalados — uma diferença na escolha do método, não na correção do código.

O que uma interface rígida revela sobre a fiabilidade dos agentes

Os números principais são modestos e honestos: o GPT-5.6 Sol resolve 28,7% dos problemas no seu nível de raciocínio mais elevado, e 31,5% em modo Pro, face a menos de 5% do GPT-5 quando o GeneBench original foi lançado. A OpenAI espera atingir a saturação até ao final do ano, e observa que os custos de inferência rondam alguns dólares por problema, face a uma estimativa de trabalho humano de 20 a 40 horas, ou milhares de dólares.

Mas a lição duradoura para as equipas que constroem agentes científicos é estrutural. O GeneBench-Pro demonstra que, para avaliar — ou implementar — um agente em análises com consequências reais, é preciso conceber a interface com o mesmo rigor que o modelo. Um esquema de retorno rígido, um estimando totalmente especificado e um avaliador determinístico são o que permite à OpenAI atribuir uma falha ao raciocínio, e não à formatação ou à ambiguidade.

A implicação é concreta: quando os modelos ainda só concluem 'menos de um terço' destes ciclos inferenciais e falham na cautela quanto à qualidade dos dados, é a camada de especificação — o contrato de resolução entre a prompt e o output — que hoje determina o sucesso ou o fracasso da automação parcial. Acertar nesse contrato é o que separa um benchmark que mede juízo crítico de um que mede apenas a formulação do seu autor.