Jul, 134 min di lettura
Frontend
News · Il benchmark FrontierScience di OpenAI separa le risposte da olimpiadi dal lavoro di ricerca open-ended
Jul, 84 min di lettura
FrontendIl benchmark FrontierScience di OpenAI separa le risposte da olimpiadi dal lavoro di ricerca open-ended
Un nuovo benchmark scientifico scritto da esperti assegna a GPT-5.2 un punteggio del 77% sui problemi in stile olimpiadi, ma solo il 25% sui task di ricerca multi-step valutati tramite rubrica.
Due percorsi, due punteggi molto diversi
FrontierScience non è un solo benchmark ma due, e la suddivisione è proprio il punto centrale. Il percorso Olympiad contiene 100 domande a risposta breve scritte da medagliati delle olimpiadi internazionali, valutabili tramite un numero, un'espressione o un confronto approssimativo di stringhe. Il percorso Research contiene 60 sottotask multi-step scritti da scienziati con dottorato e valutati secondo una rubrica su 10 punti, dove una soluzione è considerata corretta solo se ottiene almeno 7 punti.
Sul percorso Olympiad, GPT-5.2 ha ottenuto il 77%, con Gemini 3 Pro poco dietro al 76%. Sul percorso Research, GPT-5.2 ha ottenuto il 25%. Stesso modello, stessi ambiti di fisica, chimica e biologia — un divario di 52 punti che riflette la differenza tra arrivare a una risposta finale verificabile e ragionare correttamente su un problema aperto.
OpenAI legge questo dato nel modo in cui gli scienziati già usano questi strumenti: i modelli possono supportare un ragionamento strutturato, mentre sono ancora gli esseri umani a definire il problema e a validare l'output. Il 25% è il numero più onesto su ciò che resta difficile.
La rubrica è il vero artefatto ingegneristico
La parte più interessante qui è l'architettura di valutazione del percorso Research. Invece di valutare solo la risposta finale, ogni domanda è accompagnata da una rubrica con più elementi indipendenti e oggettivamente valutabili, per un totale di 10 punti, che premiano i passaggi di ragionamento intermedi — non solo la conclusione. La rubrica di esempio in chimica assegna punti separati per l'analisi corretta dei limiti della sintesi tradizionale, la descrizione della tetramerizzazione mediata da tiolato, l'interpretazione dei dati di ring-current NMR, e così via.
Questo permette al benchmark di distinguere un modello che ha indovinato il risultato finale da uno che ci è arrivato ragionando, e consente un'analisi dei fallimenti a livello di singolo passaggio. OpenAI segnala chiaramente il compromesso: le rubriche multi-componente su task lunghi sono meno oggettive del controllo di un'unica risposta finale.
Il problema è chi effettua la valutazione. La valutazione umana esperta non è scalabile, quindi le risposte vengono valutate da un grader basato su modello — GPT-5 — che verifica il rispetto dei criteri della rubrica. La rubrica è stata progettata deliberatamente per essere verificabile da quel grader. Quindi un modello della famiglia GPT valuta modelli di frontiera, incluso il proprio successore, rispetto a criteri scritti da esperti. OpenAI ha costruito una pipeline di verifica per calibrare difficoltà e correttezza, ma la dipendenza da un grader basato su modello resta una caratteristica strutturale da segnalare.
Come il benchmark si protegge da contaminazione e favoritismo verso se stesso
Due scelte progettuali contrastano le obiezioni più ovvie. Primo, la contaminazione: l'insieme completo comprende oltre 700 domande, ma solo 160 fanno parte del gold set open-source (100 Olympiad, 60 Research). Le restanti vengono tenute nascoste apposta per monitorare la contaminazione nel tempo.
Secondo, il favoritismo durante la costruzione. La creazione dei task ha incluso una selezione contro i modelli interni di OpenAI — le domande che i modelli risolvevano già sono state scartate. OpenAI dichiara apertamente che questo dovrebbe svantaggiare la valutazione dei propri modelli rispetto ai concorrenti. Questa ammissione è rilevante quando si legge il primo posto di GPT-5.2, dato che Gemini 3 Pro ha praticamente pareggiato sul set Olympiad nonostante questo bias.
La portata del coinvolgimento di esperti è concreta: 42 ex medagliati o allenatori nazionali, con un totale di 109 medaglie olimpiche, per il percorso Olympiad, e 45 dottorandi, postdoc e professori per il percorso Research, provenienti da campi che vanno dall'elettrodinamica quantistica alla chimica organica sintetica alla biologia evolutiva. I task sono passati attraverso quattro fasi — Creazione, Revisione, Risoluzione, Correzione — con revisione incrociata indipendente da parte di esperti.
Cosa dice ai team di sviluppo il punteggio del 25% su Research
Per i team che implementano modelli su lavori scientifici reali, il segnale utile non è il 77% da titolo, ma la forma dei fallimenti. OpenAI riporta che, nelle trascrizioni, i modelli di frontiera hanno commesso errori di ragionamento, logica e calcolo, hanno interpretato male concetti di nicchia e prodotto inesattezze fattuali. Un tempo di ragionamento più lungo ha aumentato l'accuratezza sia per GPT-5.2 che per o3, il che suggerisce che alcuni fallimenti dipendono dalla potenza di calcolo più che dalla capacità del modello.
I limiti dichiarati definiscono il confine dell'affermazione: FrontierScience usa enunciati di problema vincolati, non testa la generazione di ipotesi, non tocca video, altre modalità o sistemi sperimentali reali. Misura il ragionamento su problemi scritti da esperti, non come la scienza venga effettivamente fatta. La traiettoria di GPQA — GPT-4 al 39% nel novembre 2023, GPT-5.2 al 92% due anni dopo — è il motivo per cui OpenAI si aspetta che anche questo benchmark si saturi, e il motivo per cui esiste la valutazione tramite rubrica del percorso Research: per guadagnare margine.
L'implicazione pratica di FrontierScience è precisa: offre un modo per vedere, passaggio per passaggio, dove il ragionamento chimico o fisico di un modello si rompe a metà della derivazione, non solo se è arrivato alla risposta finale corretta. È la risoluzione di cui i team applicati hanno bisogno se vogliono fidarsi di un modello su un sottotask di ricerca — e il punteggio del 25% è un avvertimento diretto contro il fidarsi senza supervisione sui task aperti.
Find this story relevant to you?
Contact us to find a unique solution
Cerchi un partner di ingegneria AI capace di costruire davvero?
Aiutiamo le aziende a integrare l AI nei prodotti, automatizzare i flussi di lavoro ad alto valore e modernizzare i sistemi software che sostengono la crescita.
Letture correlate
Altre analisi su delivery di prodotto, IA operativa e il lavoro sui sistemi che fa reggere il deployment alla prova dei fatti.