GeneBench-Pro di OpenAI mette un contratto di output rigido al centro della valutazione degli agenti

Lo spazio di lavoro e il contratto di ritorno JSON

Ogni problema di GeneBench-Pro fornisce a un agente uno spazio di lavoro isolato: un breve prompt, file di dati e uno stack bioinformatico standard che include Python, librerie di calcolo scientifico e PLINK 2.0. L'agente esplora dati disordinati, scegli un percorso analitico, itera e restituisce una risposta.

Ciò che colpisce è quanto sia stretto il vincolo sulla risposta. L'esempio sulla terapia oncologica specifica un oggetto JSON esatto con chiavi nominate — therapy_class_code, benefit_rd_pp, toxicity_dropout_risk_pp, net_clinical_utility_pp — più una stringa di ragionamento. Il prompt istruisce esplicitamente: non racchiudere il JSON in markdown, non aggiungere testo prima o dopo, non omettere nessuna chiave.

Questo è un contratto leggibile da macchina, non una risposta in testo libero. Esiste proprio perché la valutazione possa essere deterministica. OpenAI controlla l'intero processo di generazione dei dati, quindi può valutare la correttezza rispetto a target noti e, come afferma, evitare la 'variabilità dovuta alla scelta del modello e gli effetti di verbosità riscontrati nelle valutazioni standard basate su rubriche.' La forma dell'output è una scelta progettuale deliberata che rende il benchmark verificabile.

Dati sintetici come difesa contro una valutazione ambigua

OpenAI è esplicita sulle modalità di fallimento che vuole evitare. Molti benchmark di biologia a lungo orizzonte riutilizzano dataset storici disordinati in cui esistono più scelte analitiche difendibili, per cui i punteggi riflettono le preferenze arbitrarie dell'autore del benchmark più che l'abilità del modello. Il fallimento opposto è un problema numericamente così poco sensibile che un'analisi difettosa passa comunque.

La risposta qui è la sintesi completa: ogni problema simula una struttura causale nota. Questo permette al team di calibrare la complessità, garantire che scelte soggettive ragionevoli portino comunque a numeri accettati e verificare tramite ablazione che analisi plausibili ma sbagliate falliscano. Gli audit delle tracce controllano la presenza di fughe di informazioni e percorsi risolutivi non previsti.

Il punto è che un contratto di output pulito funziona solo se la risposta sottostante è davvero conoscibile. Lo schema JSON e la verità simulata sono due metà dello stesso meccanismo: uno fissa cosa restituisce l'agente, l'altro fissa cosa conta come corretto.

Contratti del risolutore: perché la formulazione del prompt cambia la risposta

L'osservazione più rivelatrice arriva dal revisore Cyrillus Tan del New York Genome Center, che ha valutato le prove.

Analizzare queste valutazioni evidenzia quanto siano importanti contratti chiari per il risolutore nella risoluzione di problemi scientifici basata su agenti. Formulazioni diverse del prompt o della specifica del compito possono influenzare enormemente quali analisi risultano ammissibili.Montana Labs

Questo è un problema di frontend travestito da problema scientifico. La specifica che un agente legge — la grandezza da stimare, le unità, la formulazione della decisione a valle — orienta quali approcci analitici considera legittimi. Un benchmark che misura il 'senso della ricerca' finisce inevitabilmente per misurare anche come è stato formulato il compito.

I risultati confermano dove gli agenti si rompono. Il revisore Lex Flagel di Gencove ha osservato che i modelli hanno gestito bene le conoscenze specifiche richieste e la scelta degli strumenti, ma 'hanno fallito' sulle discrepanze nei dati come gli scambi di ascendenza: 'Non sono sufficientemente cauti sui problemi dei dati.' Il confronto tra GPT-5.5 e GPT-5.6 Sol sul problema farmacogenomico è il passaggio da un modello di Cox convenzionale a un modello strutturale marginale di Cox per nuovi utenti che ha escluso 818 utenti prevalenti segnalati — una differenza nella scelta del metodo, non nella correttezza del codice.

Cosa rivela un'interfaccia rigida sull'affidabilità degli agenti

I numeri principali sono modesti e onesti: GPT-5.6 Sol supera il 28,7% dei problemi al livello di ragionamento più alto, il 31,5% in modalità Pro, in crescita rispetto a meno del 5% di GPT-5 all'avvio del GeneBench originale. OpenAI prevede la saturazione entro fine anno e osserva che i costi di inferenza sono di pochi dollari per problema, contro una stima di lavoro umano di 20-40 ore, o migliaia di dollari.

Ma la lezione duratura per i team che costruiscono agenti scientifici è strutturale. GeneBench-Pro dimostra che se vuoi valutare — o distribuire — un agente su analisi rilevanti, devi progettare l'interfaccia con la stessa cura del modello. Uno schema di ritorno rigido, una grandezza da stimare completamente specificata e un valutatore deterministico sono ciò che permette a OpenAI di attribuire un fallimento al ragionamento piuttosto che alla formattazione o all'ambiguità.

L'implicazione è concreta: quando i modelli chiudono ancora 'meno di un terzo' di questi cicli inferenziali e vacillano sulla cautela riguardo alla qualità dei dati, è il livello di specifica — il contratto tra prompt e output — a determinare oggi il successo o il fallimento dell'automazione parziale. Definire correttamente quel contratto è la differenza tra un benchmark che misura il giudizio e uno che misura la formulazione dell'autore.