Lo studio di OpenAI sul fine-tuning malevolo per gpt-oss

Il fine-tuning come modello di minaccia, non il modello così com'è distribuito

La mossa centrale di questo paper è smettere di valutare il modello come verrebbe distribuito e valutare invece il modello che un attaccante potrebbe costruirci sopra. OpenAI lo chiama malicious fine-tuning (MFT): invece di fare red-teaming sul checkpoint rilasciato, hanno fatto il fine-tuning di gpt-oss per renderlo il più capace possibile in due ambiti, biologia e cybersecurity.

Questo approccio è specifico per i pesi open. Un modello chiuso può essere protetto dietro un'API e monitorato; una volta che i pesi sono pubblici, l'addestramento alla sicurezza può essere rimosso e il modello riaddestrato secondo la volontà di un attaccante. Quindi la domanda onesta non è 'il modello distribuito è sicuro' ma 'quanto capace diventa nelle mani peggiori'. L'MFT è un tentativo di rispondere direttamente a questo, mettendosi nei panni dell'attaccante.

Come hanno provato a massimizzare il danno

I due ambiti hanno avuto due configurazioni di addestramento diverse. Per il biorischio, il team ha selezionato task legati alla creazione di minacce e ha addestrato gpt-oss in un ambiente di reinforcement learning con accesso al web — dando al modello accesso a strumenti invece di testarlo isolato. Per la cybersecurity, hanno addestrato gpt-oss in un ambiente di coding agentico per risolvere sfide capture-the-flag, il proxy standard per le competenze di sicurezza offensiva.

Entrambe le configurazioni sono rilevanti perché rispecchiano come un modello capace viene realmente usato: con strumenti, navigazione web e cicli agentici. Testare i pesi base su domande statiche sottostimerebbe il limite massimo. Costruire la stessa pipeline di elicitazione che costruirebbe un attaccante è ciò che rende significativo il limite superiore.

Il confronto che ha deciso il rilascio

I risultati sono espressi in termini relativi rispetto ai modelli esistenti. Rispetto ai modelli frontier a pesi chiusi, la versione MFT di gpt-oss ha ottenuto prestazioni inferiori a OpenAI o3 — e o3 viene descritto come sotto la soglia di capacità Preparedness High sia per il biorischio che per la cybersecurity. Rispetto ad altri modelli a pesi open, gpt-oss potrebbe aumentare marginalmente le capacità biologiche ma, nelle parole degli autori, non fa avanzare in modo sostanziale la frontiera.

Nel complesso, questi risultati hanno contribuito alla nostra decisione di rilasciare il modello, e speriamo che il nostro approccio MFT possa servire da guida utile per stimare il danno dei futuri rilasci di pesi open.Montana Labs

La logica è un argomento di rischio marginale: se una versione massimamente avversariale di gpt-oss resta sotto un modello chiuso già giudicato sotto la soglia High, e non supera ciò che i modelli a pesi open già offrono, allora rilasciarlo non sposta in modo significativo la frontiera del rischio.

Un limite superiore avversariale come condizione di rilascio

Il contributo riutilizzabile qui è procedurale. OpenAI propone che le decisioni sul rilascio di pesi open siano condizionate a un limite superiore simulato dall'attaccante — fai il fine-tuning del tuo stesso modello verso le capacità che temi, con strumenti realistici, e lo confronti con i baseline esistenti invece che con una soglia di pericolo astratta.

Per qualsiasi team che valuta un rilascio a pesi open, questo fissa un criterio concreto: non basta dimostrare che il checkpoint distribuito rifiuta le richieste dannose, perché il checkpoint distribuito non è ciò che viene effettivamente deployato. La prova rilevante è cosa diventa il modello dopo che un attaccante motivato lo riaddestra, misurata rispetto a ciò che l'ecosistema già rende disponibile. Questo è lo standard che questo paper cerca di stabilire.