Jul, 134 minuti di lettura
Piattaforma
News · GDPval di OpenAI valuta i modelli frontier confrontandoli con professionisti con 14 anni di esperienza in 44 professioni
Jul, 84 minuti di lettura
PiattaformaGDPval di OpenAI valuta i modelli frontier confrontandoli con professionisti con 14 anni di esperienza in 44 professioni
Un benchmark costruito partendo dai dati del PIL fino ai singoli compiti lavorativi — e in cui il modello di un concorrente ha ottenuto il punteggio più alto.
Costruire un benchmark partendo dal PIL
La maggior parte dei benchmark parte da ciò che si può chiedere a un modello. GDPval parte invece da dove si concentra il valore economico e risale a ritroso fino al modello. OpenAI è partita dai nove settori statunitensi che contribuiscono ciascuno per più del 5% al PIL (usando i dati della Federal Reserve Bank di St. Louis), ha selezionato le cinque professioni con le retribuzioni più alte in ciascun settore dal report BLS sull'occupazione professionale di maggio 2024, per poi filtrare solo le professioni che secondo le classificazioni O*NET consistono per almeno il 60% in lavoro intellettuale.
Da questo processo di selezione sono emerse 44 professioni, tra cui sviluppatori software, avvocati, infermieri professionali, ingegneri meccanici, farmacisti, analisti finanziari e montatori cinematografici. L'insieme completo comprende 1.320 compiti — 30 per professione — di cui 220 (cinque per professione) rilasciati come set di riferimento pubblico.
I compiti in sé non sono semplici prompt testuali. Ognuno è accompagnato da file di riferimento e richiede elaborati reali: documenti, presentazioni, diagrammi, foglio di calcolo, contenuti multimediali. L'esempio pubblicato per l'ingegnere di produzione chiede la progettazione concettuale di un'attrezzatura realizzata con un software di modellazione 3D e consegnata in PDF ottenuto da schermate di PowerPoint. Ogni compito è stato scritto da professionisti con una media di 14 anni di esperienza e ha superato circa cinque cicli di revisione da parte di esperti.
Valutazione alla cieca, e un concorrente in testa
La valutazione si basa su revisori esperti delle stesse professioni, che confrontano l'output del modello con la soluzione originale dell'autore del compito — alla cieca, senza sapere quale elaborato sia umano. Ogni output del modello viene classificato come migliore, equivalente o peggiore rispetto al lavoro umano, seguendo griglie di valutazione specifiche per ciascuna professione create dagli stessi autori dei compiti.
OpenAI ha condotto il test su GPT-4o, o4-mini, o3, GPT-5, Claude Opus 4.1, Gemini 2.5 Pro e Grok 4. Il risultato più significativo: Claude Opus 4.1, un modello di Anthropic, si è rivelato il migliore, valutato come equivalente o superiore agli esperti in poco meno della metà dei compiti, distinguendosi per aspetti come formattazione e impaginazione. GPT-5 ha invece primeggiato in accuratezza, in particolare per la conoscenza specifica del settore.
Pubblicare un benchmark in cui vince un concorrente è insolito, e questo trasforma GDPval in una mossa da piattaforma più che in un grafico promozionale. OpenAI sta rilasciando il sottoinsieme di compiti di riferimento e un servizio di valutazione pubblico — incluso un valutatore automatico sperimentale, addestrato a prevedere i giudizi degli esperti, che l'azienda dichiara esplicitamente non essere ancora sufficientemente affidabile da sostituire i valutatori umani.
Come interpretare l'affermazione del 100x
OpenAI riporta che i modelli frontier completano i compiti di GDPval circa 100 volte più velocemente e 100 volte a costi inferiori rispetto ai professionisti del settore. L'azienda accompagna il dato con una precisazione inusualmente diretta: queste cifre riflettono solo il tempo di inferenza del modello e le tariffe di fatturazione delle API, non la supervisione umana, le iterazioni e l'integrazione necessarie per usare davvero quell'output sul posto di lavoro.
La seconda riserva è di natura strutturale. GDPval si basa su un singolo tentativo. Non tiene conto della revisione di un atto legale dopo il feedback del cliente, dell'affinamento di un'analisi dopo aver individuato un'anomalia, o dell'ambiguità nel decidere se un documento sia persino l'elaborato giusto da produrre. Un avvocato, sottolinea OpenAI, potrebbe dover parlare con un cliente prima di sapere cosa produrre davvero.
Quindi il 100x è al tempo stesso un limite minimo sul costo e un limite massimo sulla completezza: generazione economica di una prima bozza, misurata rispetto all'output finale e definitivo di un professionista, escludendo l'intero andirivieni tipico del lavoro reale.
Cosa lascia da valutare all'acquirente un benchmark a livello di singolo compito
Il contributo più utile di GDPval per i team che applicano l'IA è la sua granularità. Valuta i compiti, non i lavori, e OpenAI è chiara nel dire che la maggior parte delle professioni non si riduce a una somma di compiti elencabili. Questa distinzione è ciò che conta davvero al momento di decidere un acquisto: il benchmark indica dove un modello produce elaborati comparabili a quelli di un esperto in un solo tentativo, non dove è in grado di gestire un intero flusso di lavoro.
Gli esperimenti controllati confermano la stessa direzione — modelli più grandi, più passaggi di ragionamento e un contesto del compito più ricco hanno prodotto ciascuno miglioramenti misurabili, e un GPT-5 riaddestrato internamente è migliorato ulteriormente. Contesto e iterazione fanno muovere i numeri, ed è esattamente ciò che OpenAI riconosce che GDPval non misura ancora.
L'implicazione pratica di questo rilascio specifico: usa i punteggi di GDPval come una mappa per capire quali elaborati singoli affidare per primi a un modello, mettendo a budget separatamente la supervisione, i cicli di revisione e la risoluzione delle ambiguità che il formato a singolo tentativo esclude deliberatamente. Le prossime versioni che promettono interattività e compiti ambigui saranno quelle su cui valga davvero la pena misurare un utilizzo reale.
Find this story relevant to you?
Contact us to find a unique solution
Cerchi un partner di ingegneria AI capace di costruire davvero?
Aiutiamo le aziende a integrare l AI nei prodotti, automatizzare i flussi di lavoro ad alto valore e modernizzare i sistemi software che sostengono la crescita.
Letture correlate
Altre analisi su delivery di prodotto, IA operativa e il lavoro sui sistemi che fa reggere il deployment alla prova dei fatti.