OpenAIs Studie zum missbräuchlichen Fine-Tuning für gpt-oss

Fine-Tuning als Bedrohungsmodell statt das ausgelieferte Modell

Der zentrale Schritt in diesem Paper besteht darin, nicht mehr das Modell zu bewerten, wie es ausgeliefert würde, sondern das Modell, das ein Angreifer daraus bauen könnte. OpenAI nennt dies missbräuchliches Fine-Tuning (MFT): Statt den veröffentlichten Checkpoint per Red-Teaming zu testen, trainierten sie gpt-oss so leistungsfähig wie möglich in zwei Bereichen – Biologie und Cybersicherheit.

Dieser Ansatz ist spezifisch für offene Gewichte. Ein geschlossenes Modell lässt sich hinter einer API absichern und überwachen; sobald Gewichte öffentlich sind, kann das Sicherheitstraining entfernt und das Modell auf beliebige Ziele eines Angreifers umtrainiert werden. Die ehrliche Frage lautet also nicht 'Ist das ausgelieferte Modell sicher', sondern 'Wie leistungsfähig wird es in den schlimmsten Händen'. MFT versucht, genau diese Frage zu beantworten, indem man selbst die Rolle des Angreifers einnimmt.

Wie versucht wurde, den Schaden zu maximieren

Für die beiden Bereiche kamen zwei unterschiedliche Trainingsaufbauten zum Einsatz. Für Biorisiko kuratierte das Team Aufgaben mit Bezug zur Erstellung von Bedrohungen und trainierte gpt-oss in einer Reinforcement-Learning-Umgebung mit Webzugriff – das Modell erhielt also Werkzeugzugriff, statt isoliert getestet zu werden. Für Cybersicherheit trainierten sie gpt-oss in einer agentischen Coding-Umgebung, um Capture-the-Flag-Aufgaben zu lösen, dem Standard-Indikator für offensive Sicherheitskompetenz.

Beide Aufbauten sind bemerkenswert, weil sie widerspiegeln, wie ein leistungsfähiges Modell tatsächlich genutzt wird: mit Werkzeugen, Websuche und agentischen Abläufen. Würde man die Basisgewichte nur mit statischen Fragen testen, würde man die Obergrenze unterschätzen. Erst der Aufbau der Elicitation-Pipeline, wie ein Angreifer sie bauen würde, macht die Obergrenze aussagekräftig.

Der Vergleich, der über die Veröffentlichung entschied

Die Ergebnisse werden relativ zu bestehenden Modellen dargestellt. Im Vergleich zu geschlossenen Frontier-Modellen blieb die MFT-Version von gpt-oss hinter OpenAI o3 zurück – und o3 liegt laut Beschreibung sowohl bei Biorisiko als auch bei Cybersicherheit unterhalb der Preparedness-High-Schwelle. Im Vergleich zu anderen Modellen mit offenen Gewichten kann gpt-oss die biologischen Fähigkeiten geringfügig erhöhen, treibt aber nach Aussage der Autoren die Grenze nicht wesentlich voran.

Zusammengenommen haben diese Ergebnisse zu unserer Entscheidung beigetragen, das Modell zu veröffentlichen, und wir hoffen, dass unser MFT-Ansatz als nützliche Orientierung dienen kann, um den möglichen Schaden künftiger Veröffentlichungen offener Gewichte einzuschätzen.Montana Labs

Die Logik folgt einem Marginalrisiko-Argument: Bleibt eine maximal adversarial trainierte Version von gpt-oss unter einem geschlossenen Modell, das bereits als unterhalb der High-Schwelle eingestuft wurde, und übertrifft sie nicht, was Modelle mit offenen Gewichten bereits bieten, dann verschiebt die Veröffentlichung die Risikogrenze nicht wesentlich.

Eine adversarial ermittelte Obergrenze als Veröffentlichungskriterium

Der übertragbare Beitrag hier ist methodischer Natur. OpenAI schlägt vor, Entscheidungen über die Veröffentlichung offener Gewichte an eine simulierte Angreifer-Obergrenze zu koppeln – man trainiert das eigene Modell gezielt auf die gefürchteten Fähigkeiten hin, mit realistischem Werkzeugeinsatz, und vergleicht es mit bestehenden Baselines statt mit einer abstrakten Gefahrenschwelle.

Für jedes Team, das eine Veröffentlichung offener Gewichte abwägt, setzt das einen konkreten Maßstab: Es reicht nicht zu zeigen, dass der ausgelieferte Checkpoint schädliche Anfragen ablehnt, denn der ausgelieferte Checkpoint ist nicht das, was letztlich eingesetzt wird. Die relevante Erkenntnis ist, was aus dem Modell wird, nachdem ein motivierter Angreifer es umtrainiert hat – gemessen an dem, was das Ökosystem bereits bietet. Das ist der Standard, den dieses Paper zu etablieren versucht.