Jul, 134 min di lettura
Frontend
News · LifeSciBench di OpenAI valuta le risposte scientifiche a domande aperte confrontandole con 19.020 criteri di valutazione stabiliti da esperti
Jul, 84 minuti di lettura
FrontendLifeSciBench di OpenAI valuta le risposte scientifiche a domande aperte confrontandole con 19.020 criteri di valutazione stabiliti da esperti
Il benchmark abbandona le classiche domande a risposta multipla a favore di richieste aperte tipiche di un collaboratore, valutandole punto per punto — e i risultati mettono in luce dove i modelli più avanzati si bloccano ancora.
La richiesta sostituisce la domanda
La maggior parte delle valutazioni nelle scienze della vita, come le descrive OpenAI, riduce la ricerca a semplici problemi di richiamo di fatti o di previsione con formati strutturati e risposte di riferimento ordinate. LifeSciBench abbandona questo schema. Ciascuno dei suoi 750 task è costruito per assomigliare a qualcosa che uno scienziato direbbe davvero a un collega capace: un prompt scientifico, il contesto rilevante o eventuali materiali allegati, e una risposta a testo libero.
L'esempio pubblicato rende concreto il formato. Un team in procinto di partecipare a un incontro di tipo B con la FDA chiede una 'critica spietata' sul fatto che il loro costrutto AAV9 micro-distrofina supporti un'approvazione accelerata basata su un endpoint surrogato. Il prompt fornisce i dati del Western blot su biopsia, le letture di immunofluorescenza, la variazione NSAA a 48 settimane, gli eventi di sicurezza e i criteri di eleggibilità, e chiede poi al modello di sottoporre il dossier a un controllo rigoroso, voce per voce. Non esiste una risposta da spuntare — l'output deve leggersi come la nota di un revisore.
È una scelta deliberata a livello di interfaccia. Presentando l'input come una richiesta di lavoro reale e non come una domanda da quiz, LifeSciBench misura se un modello sa muoversi nel terreno disordinato della ricerca — evidenze incomplete, risultati contraddittori, decisioni prese nell'incertezza — invece della versione sterilizzata che i benchmark testano di solito.
Una valutazione che riproduce il modo in cui gli scienziati si giudicano a vicenda
L'altra metà di questo design è la rubrica di valutazione. In tutto il benchmark, le rubriche sviluppate da esperti contano 19.020 criteri — una media di 25 per task. L'esempio sulla DMD viene valutato su sei criteri ponderati per un totale di 100 punti, di cui 24 per individuare i problemi di quantificazione del saggio (condivisione dell'epitopo MANEX1A, standard di distrofina a lunghezza intera non validi), 22 per spiegare perché il livello di espressione non è automaticamente un surrogato clinico valido, e solo 8 per segnalare le lacune nella selezione dei pazienti e nella dimensione del campione.
Secondo OpenAI, il motivo è che una conclusione di alto livello corretta può comunque essere giudicata incompleta — se una risposta trascura un limite chiave del saggio o non solleva una sfumatura biologica rilevante. Al contrario, una risposta parziale può contenere un ragionamento di alta qualità senza risolvere il task. Il benchmark riporta due metriche per catturare questo aspetto: il tasso di superamento, cioè la percentuale di task che superano una soglia del 70% a livello di singolo task, e il punteggio, cioè la media dei premi previsti dalla rubrica, che riconosce anche i risultati parziali.
I dati di validazione suggeriscono che il formato tiene. I feedback sono arrivati da 453 revisori non coinvolti nella scrittura dei task; il 97% aveva un dottorato, con una media di 12 anni di esperienza e 14 pubblicazioni peer-reviewed. L'accordo ha superato il 96% in ogni categoria, con il 90,4% pienamente d'accordo sul fatto che i task riflettano il lavoro reale.
Il divario legato agli allegati
Il risultato più significativo si trova esattamente al confine tra il prompt e i suoi allegati. LifeSciBench include 1.062 materiali allegati — figure, PDF, tabelle, file di sequenze, file strutturali e chimici, riferimenti web — e il 53% dei task richiede di interpretare o sintetizzare almeno uno di questi.
Le prestazioni calano in modo netto quando i modelli devono leggere questi allegati invece del solo testo del prompt. GPT-Rosalind passa dal 45,1% sui task solo testuali al 28,1% quando sono coinvolti allegati o URL; GPT-5.5 mostra lo stesso andamento, dal 29,9% al 21,9%. OpenAI attribuisce questo divario alla difficoltà dei modelli nell'estrarre informazioni da figure complesse o file di sequenze molto lunghi e integrarle nella risposta finale.
I formati che richiedono un output esatto sono ancora più critici. GPT-Rosalind raggiunge solo il 14,8% sui task numerici e il 24,0% sugli output di sequenze o strutture, con i task di generazione di costrutti fermi al 27,3% e appena migliorati rispetto a GPT-5.5. Questi sono gli output che verrebbero usati direttamente — progettazione di donatori CRISPR/HDR, progettazione di siRNA — dove un piccolo errore di formattazione o calcolo fa scendere la risposta sotto la soglia.
Il credito parziale non è un risultato utilizzabile
GPT-Rosalind alza il tasso di superamento esatto complessivo dal 25,7% al 36,1%, con i miglioramenti più marcati nella comunicazione scientifica (dal 56,3% al 71,1%, anche se su un campione di soli 9 casi) e nella traduzione (dal 36,8% al 57,7%). Sono le categorie con un confine di evidenza più netto, che premiano capacità di organizzare e spiegare. Progettazione, ottimizzazione e previsione (30,7%) e analisi (30,3%) restano le più difficili.
L'implicazione specifica di questo design basato su rubrica più tasso di superamento è ciò che rivela riguardo allo spazio tra i due punteggi. In circa il 14% dei task, i modelli hanno ottenuto un credito rubrica sostanziale pur non superando la soglia esatta di superamento; per GPT-Rosalind, 109 task hanno registrato un tasso di superamento inferiore al 20% pur ottenendo almeno il 50% del premio rubrica. Un modello può far emergere le evidenze giuste e scrivere una risposta parziale plausibile, e poi non rispettare un singolo vincolo, usare dati errati, o non riuscire a collegare il proprio ragionamento a una decisione utilizzabile.
Per chiunque costruisca soluzioni basate su questi sistemi, è questo il dato da tenere a mente: una risposta che sulla rubrica appare corretta al 50% resta, in termini operativi, una bozza incompleta che uno scienziato deve verificare. LifeSciBench misura l'interazione a monte — la richiesta in entrata, la risposta rivolta a un esperto in uscita — e il suo verdetto è che i modelli più avanzati stanno diventando collaboratori persuasivi molto prima di diventare collaboratori affidabili.
Find this story relevant to you?
Contact us to find a unique solution
Cerchi un partner di ingegneria AI capace di costruire davvero?
Aiutiamo le aziende a integrare l AI nei prodotti, automatizzare i flussi di lavoro ad alto valore e modernizzare i sistemi software che sostengono la crescita.
Letture correlate
Altre analisi su delivery di prodotto, IA operativa e il lavoro sui sistemi che fa reggere il deployment alla prova dei fatti.