La valutazione del bias politico di OpenAI scompone il tono, non solo i fatti

Il bias definito come stile comunicativo, non come opinione dichiarata

La mossa centrale di questo articolo è definire il bias politico come qualcosa di osservabile nel comportamento dell'output, non nelle posizioni dichiarate di un modello. OpenAI individua cinque assi: invalidazione dell'utente, escalation con l'utente, espressione politica personale, copertura asimmetrica e rifiuti politici.

Questa scomposizione conta perché punta a come una risposta è scritta, non solo a quali fatti contiene. L'articolo è chiaro: un modello può avere i fatti corretti e comunque risultare di parte attraverso un'inquadratura sbilanciata, prove selettive o un linguaggio che amplifica l'orientamento dell'utente.

Il bias umano non è solo "cosa si crede"; è anche come si comunica attraverso ciò che si enfatizza, si esclude o si lascia intendere. Lo stesso vale per i modelli.Montana Labs

L'esempio pratico rende tutto concreto. Una risposta 'di parte' su una domanda sulla spesa militare ha ottenuto 0,67, spinto da 0,75 sull'espressione politica personale e 0,75 sulla copertura asimmetrica — con una frase finale che convalidava l'utente ('il fatto che tu faccia questa domanda dimostra che sei attento'). La risposta di riferimento trattava argomenti simili ma ha ottenuto 0,00 perché attribuiva le argomentazioni a soggetti terzi invece di farle proprie.

Un grader IA ancorato a risposte di riferimento

La valutazione gira su circa 500 prompt distribuiti su 100 argomenti, ciascuno scritto da cinque prospettive: progressista marcata, progressista neutra, neutra, conservatrice neutra e conservatrice marcata. Gli argomenti provengono dai programmi dei partiti statunitensi e da temi culturalmente sensibili come la genitorialità e i ruoli di genere.

La valutazione è affidata a un grader IA con istruzioni specifiche per ogni asse, mentre risposte di riferimento scritte da persone servono a validare i punteggi del grader durante l'iterazione. È un modello che valuta un altro modello secondo una rubrica — un approccio che OpenAI vuole applicare a qualsiasi modello, non solo ai propri.

La rubrica è volutamente severa: nemmeno le risposte di riferimento ottengono zero. Questa impostazione evita che i numeri assoluti vengano letti come una patente di imparzialità e trasforma la valutazione in un segnale da monitorare nel tempo, non in un test di pass/fail.

L'asimmetria che i test sotto stress hanno rivelato

I risultati principali: comportamento quasi oggettivo sui prompt neutri o leggermente sbilanciati, bias moderato su quelli emotivamente carichi. GPT-5 instant e GPT-5 thinking riducono il bias di circa il 30% rispetto a GPT-4o e o3, e tengono meglio sotto prompt carichi. I punteggi peggiori dei modelli più vecchi sono stati 0,138 per o3 e 0,107 per GPT-4o.

Un risultato spicca perché OpenAI lo dichiara apertamente: i prompt fortemente progressisti mettono più a dura prova l'oggettività rispetto ai prompt fortemente conservatori, in tutte le famiglie di modelli. È un'ammissione direzionale, non una tesi simmetrica del tipo 'colpa di entrambe le parti', e indica dove si concentra il lavoro ancora da fare.

OpenAI ha applicato il metodo anche al traffico in produzione e stima che meno dello 0,01% delle risposte di ChatGPT mostri segni di bias politico — attribuendo il tasso basso sia alla rarità con cui gli utenti pongono domande di parte sia alla robustezza del modello. Da notare che la ricerca sul web è fuori ambito, quindi il recupero delle informazioni e la selezione delle fonti sono esclusi da questi numeri.

Cosa offre una rubrica pubblicata ai team che costruiscono su questi modelli

La lezione pratica per chi lancia un prodotto di chat è che i cinque assi sono primitive di misurazione riutilizzabili. Escalation, invalidazione e copertura asimmetrica sono le stesse modalità di fallimento che emergono nell'assistenza clienti, nella salute e in qualsiasi ambito dove un modello rispecchia all'utente la sua stessa inquadratura carica.

OpenAI non arriva a rilasciare il set di prompt o il codice del grader, ma le definizioni operative e le istruzioni del grader sono abbastanza specifiche da poter essere ricostruite. Un team può costruire le proprie risposte di riferimento per il proprio ambito e valutare rispetto a quelle, invece di affidarsi a benchmark a scelta multipla come il Political Compass, che l'articolo critica come troppo limitati.

L'implicazione concreta: la valutazione mostra che il bias si concentra in un piccolo insieme di comportamenti misurabili sotto pressione avversariale, il che significa che può essere monitorato in modo continuo e corretto in modo puntuale — e qualsiasi team che usa GPT-5 in un ruolo a contatto con gli utenti ha ora un quadro documentato di dove l'oggettività si degrada e un modello per misurarla nel proprio traffico.