Wie OpenAI politische Voreingenommenheit bewertet – nicht nur bei Fakten, sondern auch im Ton

Voreingenommenheit als Kommunikationsstil definiert, nicht als geäußerte Überzeugung

Der zentrale Ansatz dieses Beitrags besteht darin, politische Voreingenommenheit als etwas zu definieren, das im Verhalten der Ausgabe beobachtbar ist – nicht in den erklärten Positionen eines Modells. OpenAI nennt fünf Achsen: Entwertung der Nutzer:innen, Eskalation gegenüber Nutzer:innen, persönliche politische Meinungsäußerung, asymmetrische Abdeckung und politische Verweigerung.

Diese Aufschlüsselung ist wichtig, weil sie darauf abzielt, wie eine Antwort formuliert ist – nicht nur, welche Fakten sie enthält. Der Beitrag stellt klar, dass ein Modell einzelne Fakten korrekt wiedergeben und trotzdem durch einseitige Rahmung, selektive Beweisführung oder eine Sprache, die die Tendenz der Nutzer:innen verstärkt, voreingenommen sein kann.

Menschliche Voreingenommenheit zeigt sich nicht nur darin, was jemand glaubt, sondern auch darin, wie jemand kommuniziert – durch das, was betont, ausgelassen oder impliziert wird. Bei Modellen ist es nicht anders.Montana Labs

Das Beispiel macht das greifbar. Eine als „voreingenommen“ eingestufte Antwort auf eine Frage zu Militärausgaben erzielte einen Wert von 0,67, getrieben von 0,75 bei persönlicher politischer Meinungsäußerung und 0,75 bei asymmetrischer Abdeckung – inklusive eines abschließenden Satzes, der die Nutzerin bestätigte („Dass Sie das fragen, zeigt, dass Sie aufmerksam sind“). Die Referenzantwort behandelte ähnliche Aspekte, erzielte aber einen Wert von 0,00, da sie Argumente bestimmten Akteuren zuschrieb, statt sie sich selbst zu eigen zu machen.

Ein LLM-Grader, verankert an Referenzantworten

Die Bewertung läuft über rund 500 Prompts zu 100 Themen, jeweils formuliert aus fünf Perspektiven: liberal-aufgeladen, liberal-neutral, neutral, konservativ-neutral und konservativ-aufgeladen. Die Themen stammen aus US-Parteiprogrammen sowie kulturell brisanten Fragen wie Erziehung und Geschlechterrollen.

Die Bewertung erfolgt durch einen LLM-Grader, der anhand achsenspezifischer Vorgaben arbeitet, wobei von Menschen verfasste Referenzantworten während der Iteration zur Validierung der Grader-Bewertungen dienen. Hier bewertet also ein Modell ein anderes Modell anhand eines Bewertungsrasters – ein Setup, das OpenAI auf beliebige Modelle anwenden möchte, nicht nur auf die eigenen.

Das Bewertungsraster ist bewusst streng: Selbst die Referenzantworten erreichen keinen Wert von null. Diese Herangehensweise verhindert, dass die absoluten Zahlen als reiner Persilschein gelesen werden, und positioniert die Bewertung eher als fortlaufendes Messsignal denn als Bestehen-oder-Durchfallen-Kriterium.

Die Asymmetrie, die Stresstests offengelegt haben

Die wichtigsten Ergebnisse: nahezu objektives Verhalten bei neutralen oder leicht tendenziösen Prompts, moderate Voreingenommenheit bei emotional aufgeladenen. GPT-5 instant und GPT-5 thinking senken die Voreingenommenheit gegenüber GPT-4o und o3 um rund 30 % und halten sich auch bei aufgeladenen Prompts besser. Die Worst-Case-Werte der älteren Modelle lagen bei 0,138 für o3 und 0,107 für GPT-4o.

Ein Ergebnis fällt besonders auf, weil OpenAI es unumwunden benennt: Stark aufgeladene liberale Prompts beeinträchtigen die Objektivität über alle Modellfamilien hinweg stärker als aufgeladene konservative Prompts. Das ist ein gerichtetes Zugeständnis, keine symmetrische „beide Seiten“-Aussage, und es zeigt, wo noch Arbeit zu leisten ist.

OpenAI hat die Methode zudem auf den Produktionsverkehr angewandt und schätzt, dass weniger als 0,01 % der ChatGPT-Antworten Anzeichen politischer Voreingenommenheit zeigen – die niedrige Quote wird sowohl darauf zurückgeführt, dass Nutzer:innen selten tendenziöse Fragen stellen, als auch auf die Robustheit der Modelle. Bemerkenswert: Websuche ist von der Untersuchung ausgenommen, sodass Recherche und Quellenauswahl in diesen Zahlen nicht enthalten sind.

Was ein veröffentlichtes Bewertungsraster Teams gibt, die auf diesen Modellen aufbauen

Die praktische Erkenntnis für alle, die ein Chat-Produkt entwickeln: Die fünf Achsen sind wiederverwendbare Messgrößen. Eskalation, Entwertung und asymmetrische Abdeckung sind dieselben Fehlermuster, die im Kundensupport, im Gesundheitsbereich und in jedem Bereich auftreten, in dem ein Modell die aufgeladene Sichtweise einer Nutzerin oder eines Nutzers zurückspiegelt.

OpenAI veröffentlicht weder den Prompt-Satz noch den Grader-Code, doch die operationalen Definitionen und die Grader-Anweisungen sind konkret genug, um sie nachzubauen. Ein Team kann eigene Referenzantworten für seinen eigenen Bereich erstellen und daran bewerten, statt sich auf Multiple-Choice-Benchmarks wie den Political Compass zu verlassen, den der Beitrag als zu eng kritisiert.

Die konkrete Schlussfolgerung: Die Bewertung zeigt, dass sich Voreingenommenheit unter adversarialem Druck auf eine kleine Zahl messbarer Verhaltensweisen konzentriert – das bedeutet, sie lässt sich fortlaufend überwachen und gezielt beheben. Jedes Team, das GPT-5 in einer nutzerorientierten Rolle einsetzt, verfügt damit über ein dokumentiertes Bild davon, wo Objektivität nachlässt, sowie über eine Vorlage, um dies im eigenen Datenverkehr zu messen.