O GeneBench-Pro da OpenAI coloca um contrato de saída rígido no centro da avaliação de agentes

O ambiente de trabalho e o contrato de retorno em JSON

Cada problema do GeneBench-Pro entrega ao agente um ambiente de trabalho isolado: um prompt curto, arquivos de dados e uma stack padrão de bioinformática, incluindo Python, bibliotecas de computação científica e o PLINK 2.0. O agente explora dados desorganizados, escolhe um caminho analítico, itera e devolve uma resposta.

O que chama atenção é o quanto a resposta é restrita. No exemplo de terapia oncológica, o prompt especifica um objeto JSON exato com chaves nomeadas — therapy_class_code, benefit_rd_pp, toxicity_dropout_risk_pp, net_clinical_utility_pp — além de uma string de raciocínio. O prompt instrui explicitamente: não envolva o JSON em markdown, não adicione texto antes ou depois, não omita nenhuma chave.

Esse é um contrato legível por máquina, não uma resposta em texto livre. Ele existe para que a avaliação possa ser determinística. A OpenAI controla todo o processo de geração de dados, então consegue pontuar a exatidão em relação a alvos conhecidos e, nas palavras da própria empresa, evitar 'variabilidade na escolha do modelo e efeitos de verbosidade encontrados na avaliação padrão baseada em rubricas'. O formato de saída é uma decisão de design deliberada que torna o benchmark auditável.

Dados sintéticos como defesa contra avaliações ambíguas

A OpenAI é clara sobre os modos de falha que quer evitar. Muitos benchmarks de biologia de longo horizonte reaproveitam conjuntos de dados históricos desorganizados, nos quais existem várias escolhas analíticas igualmente defensáveis, fazendo com que as pontuações reflitam preferências arbitrárias de quem criou o benchmark, e não a habilidade do modelo. O erro inverso é um problema tão numericamente insensível que uma análise falha ainda passa.

A solução aqui é a síntese total: cada problema simula uma estrutura causal conhecida. Isso permite que a equipe ajuste a complexidade, garanta que escolhas subjetivas razoáveis ainda cheguem aos números aceitos e verifique, por meio de ablação, que análises plausíveis mas incorretas falhem. Auditorias de rastreamento verificam vazamento de informação e caminhos de solução não intencionais.

O ponto é que um contrato de saída limpo só funciona se a resposta subjacente for genuinamente conhecível. O esquema JSON e a verdade simulada são as duas metades do mesmo mecanismo — uma fixa o que o agente retorna, a outra fixa o que conta como correto.

Contratos do solucionador: por que a redação do prompt muda a resposta

A observação mais reveladora vem do revisor Cyrillus Tan, do New York Genome Center, que avaliou os testes.

Revisar essas avaliações destaca o quanto contratos claros de solucionador são importantes para a resolução de problemas científicos por agentes. Diferenças na redação do prompt ou na especificação da tarefa podem afetar bastante quais análises parecem permitidas.Montana Labs

Isso é um problema de frontend disfarçado de problema científico. A especificação que o agente lê — o estimando, as unidades, o enquadramento da decisão final — direciona quais abordagens analíticas ele considera legítimas. Um benchmark que mede 'senso científico' inevitavelmente também está medindo como a tarefa foi formulada.

Os resultados reforçam onde os agentes falham. O revisor Lex Flagel, da Gencove, observou que os modelos lidaram bem com o conhecimento técnico exigido e a escolha de ferramentas, mas 'falharam' em discrepâncias nos dados, como trocas de ancestralidade: 'Eles não são cautelosos o suficiente com problemas nos dados.' O contraste entre o GPT-5.5 e o GPT-5.6 Sol no problema de farmacogenômica é uma mudança de um modelo Cox convencional para um modelo Cox estrutural marginal de novos usuários, que excluiu 818 usuários prevalentes sinalizados — uma diferença na escolha do método, não na correção do código.

O que uma interface rígida revela sobre a confiabilidade dos agentes

Os números principais são modestos e honestos: o GPT-5.6 Sol resolve 28,7% dos problemas no seu nível mais alto de raciocínio, e 31,5% no modo Pro, um salto em relação a menos de 5% do GPT-5 quando o GeneBench original começou. A OpenAI espera saturação até o fim do ano e observa que o custo de inferência é de poucos dólares por problema, contra uma estimativa de 20 a 40 horas de trabalho humano, ou milhares de dólares.

Mas a lição duradoura para equipes que constroem agentes científicos é estrutural. O GeneBench-Pro demonstra que, para avaliar — ou usar de fato — um agente em análises com consequências reais, é preciso projetar a interface com o mesmo cuidado dedicado ao modelo. Um esquema de retorno rígido, um estimando totalmente especificado e um avaliador determinístico são o que permite à OpenAI atribuir uma falha ao raciocínio, e não à formatação ou à ambiguidade.

A implicação é concreta: enquanto os modelos ainda fecham 'menos de um terço' desses ciclos inferenciais e tropeçam na cautela com a qualidade dos dados, é na camada de especificação — o contrato do solucionador entre prompt e saída — que a automação parcial dá certo ou não hoje em dia. Acertar esse contrato é a diferença entre um benchmark que mede julgamento e um que mede a redação de quem o criou.