OpenAI ha trasformato le classifiche di 1.000 persone in un'unica modifica adottata al Model Spec

Cosa ha misurato davvero il sondaggio

OpenAI ha reclutato circa 1.000 partecipanti residenti in 19 paesi — circa un terzo negli Stati Uniti, con altri in Messico, Sudafrica, Paesi Bassi, Cile, Regno Unito, India, Kenya e Giappone — e ha chiesto loro di classificare quattro possibili risposte a prompt in ambiti sensibili dal punto di vista dei valori. I partecipanti non hanno letto il documento del Model Spec in sé. Hanno esaminato prompt e completamenti preselezionati, li hanno classificati, hanno spiegato le loro scelte, valutato delle rubriche e scritto le proprie.

Tre delle quattro risposte per ogni prompt sono state generate per rappresentare opinioni realistiche diverse; la quarta proveniva da GPT-4o. Questo aspetto conta: il feedback è condizionato da quali prompt OpenAI ha scelto e quali completamenti ha mostrato. L'azienda lo ammette esplicitamente, indicando la selezione dei prompt e il criterio di inclusione basato sulla lettura in inglese come fonti di bias di selezione.

Per confrontare le classifiche umane con lo Spec scritto, OpenAI ha costruito un Model Spec Ranker — un modello di ragionamento istruito a classificare le stesse quattro risposte secondo lo Spec. Usando GPT-5 Thinking, le persone si sono trovate d'accordo con quel ranker circa l'80% delle volte in media, con l'accordo più forte su onestà, umiltà, equità e oggettività.

I punti di divergenza erano tutti ai confini della libertà d'espressione

Dove umani e ranker divergevano, i disaccordi si concentravano in un insieme prevedibile di aree: contenuti politici, contenuti sessuali o espliciti, e critiche a pseudoscienza o teorie del complotto. Sono esattamente gli ambiti in cui è più difficile giustificare un unico comportamento predefinito, e dove la stessa impostazione di OpenAI ammette che nessun default potrà mai soddisfare tutti.

OpenAI ha classificato le proposte in due categorie. I chiarimenti sono i casi in cui il comportamento desiderato da un partecipante rientra nei principi esistenti, ma il testo lasciava spazio a interpretazione. I cambi di principio sono i casi in cui il comportamento desiderato è in conflitto con i principi dello Spec. L'azienda ha dichiarato esplicitamente che l'adozione diventa più difficile quanto più in alto si trova nella gerarchia delle istruzioni la modifica proposta — specialmente a livello di piattaforma.

Una modifica adottata, due rinviate

Il risultato concreto è limitato. L'unica modifica adottata chiarisce che i contenuti politici creati per un pubblico ampio o non specificato sono consentiti indipendentemente dal tema o dall'argomento — incluso un politico, partito o campagna specifici — purché non sfruttino le caratteristiche di un individuo o gruppo demografico particolare. È un affinamento della formulazione, non un nuovo principio.

I due cambiamenti più richiesti dai partecipanti non sono stati adottati. Molti erano favorevoli a contenuti politici più personalizzati; OpenAI ha rifiutato, citando i rischi di targeting politico individualizzato su larga scala e il dubbio che i partecipanti avessero davvero valutato quei rischi. Una larga parte era favorevole a consentire contenuti erotici tra adulti consenzienti; OpenAI ha detto che questo è in linea con la propria posizione già prevista, ma che servono ulteriori ricerche e lavoro sul prodotto prima di poterlo implementare.

I partecipanti hanno giudicato le differenze di comportamento in modo isolato, senza valutare i compromessi tra principi (ad esempio i contenuti erotici senza considerare la sicurezza dei minori o la dipendenza emotiva).Montana Labs

Questo limite spiega lo scarto tra ciò che la maggioranza preferiva e ciò che OpenAI ha effettivamente adottato. Il sondaggio ha raccolto preferenze isolate; la revisione interna le ha confrontate con la politica di sicurezza, i vincoli di implementazione e i danni a valle che il dataset non poteva osservare.

Due processi, e un'ammissione onesta sulla legittimità

OpenAI ha testato due modi per trasformare le classifiche in proposte concrete. Un processo completamente automatizzato faceva individuare i disaccordi a un modello di ragionamento, che proponeva modifiche allo Spec e le testava contro il Model Spec Ranker per verificare se l'accordo migliorasse. Un processo guidato dall'uomo prevedeva che un ricercatore proponesse aggiornamenti dopo aver esaminato le preferenze, validati da un modello che giudicava se le motivazioni in testo semplice supportassero l'intento.

Il processo guidato dall'uomo ha colto nuance che quello automatizzato ha perso — in un caso inferendo un'intenzione suicidaria indiretta che la maggioranza avrebbe apprezzato — ma non è scalabile. Il processo automatizzato è scalabile, ma resta ancorato all'interpretazione del ranker, il che significa che i risultati cambiano in base al modello di base utilizzato.

La parte più sincera del rapporto è la preoccupazione sulla legittimità che il team esprime nei confronti del proprio lavoro: un processo di aggiornamento con molte parti automatizzate potrebbe non avere legittimità sufficiente, perché quelle parti sono più difficili da interpretare per gli esseri umani. Questa è la vera tensione in questo annuncio. OpenAI sta costruendo un meccanismo per incanalare le preferenze del pubblico nei comportamenti predefiniti della piattaforma, e sta ammettendo che gli output di quel meccanismo hanno bisogno di un'interpretazione umana per essere considerati affidabili.

Perché i rinvii sono il segnale vero, non le modifiche adottate

Per i team che sviluppano sui modelli di OpenAI, la lezione operativa non è la singola modifica sui contenuti politici. È il limite dimostrato a quanto le preferenze della maggioranza possono spostare un comportamento predefinito di piattaforma. OpenAI ha condotto un sondaggio globale, ha trovato un supporto maggioritario per abilitare i contenuti erotici, ha confermato che ciò corrispondeva alla propria posizione già prevista — e comunque non ha implementato nessuna modifica, in attesa di ricerca e lavoro sul prodotto.

Questo stabilisce un precedente operativo: il contributo pubblico può confermare e chiarire lo Spec, ma i cambiamenti rilevanti a livello di piattaforma restano vincolati alla revisione interna sulla sicurezza e alla fattibilità dell'implementazione. Se stai pianificando in base al comportamento predefinito futuro in ambiti controversi, pianifica in base a questo vincolo, non al sentiment del sondaggio. Il dataset è pubblico su HuggingFace, quindi i disaccordi sono verificabili — ma la decisione di agire su di essi resta solo di OpenAI.