Jul, 134 Min. Lesezeit
Platform
News · OpenAIs GDPval-Benchmark misst Frontier-Modelle gegen Fachkräfte mit 14 Jahren Erfahrung in 44 Berufen
Jul, 84 Min. Lesezeit
PlatformOpenAIs GDPval-Benchmark misst Frontier-Modelle gegen Fachkräfte mit 14 Jahren Erfahrung in 44 Berufen
Ein Benchmark, der auf BIP-Daten aufbaut – bis hinunter zu einzelnen Arbeitsaufgaben. Und einer, bei dem das Modell eines Konkurrenten vorne liegt.
Ein Benchmark, der vom BIP ausgeht
Die meisten Benchmarks setzen bei dem an, was ein Modell leisten soll. GDPval geht den umgekehrten Weg: Es beginnt dort, wo wirtschaftlicher Wert entsteht, und arbeitet sich zum Modell vor. OpenAI ging von den neun US-Branchen aus, die jeweils über 5 % zum BIP beitragen (auf Basis von Daten der Federal Reserve Bank of St. Louis), wählte daraus die fünf bestbezahlten Berufe je Branche aus dem BLS-Beschäftigungsbericht von Mai 2024 und filterte anschließend nach Berufen, die laut O*NET-Aufgabenklassifikation zu mindestens 60 % Wissensarbeit sind.
Am Ende dieses Trichters standen 44 Berufe – von Softwareentwicklern über Anwälte, examinierte Pflegekräfte, Maschinenbauingenieure, Apotheker, Finanzanalysten bis zu Filmeditoren. Der vollständige Datensatz umfasst 1.320 Aufgaben – 30 pro Beruf –, von denen 220 (fünf pro Beruf) als offener Gold-Datensatz veröffentlicht wurden.
Die Aufgaben selbst sind keine Text-Prompts. Jede kommt mit Referenzdateien und verlangt ein echtes Arbeitsergebnis: Dokumente, Präsentationen, Diagramme, Tabellen, Multimedia-Inhalte. Das veröffentlichte Beispiel für Fertigungsingenieure fordert einen in 3D-Modellierungssoftware erstellten Vorrichtungsentwurf, geliefert als PDF aus PowerPoint-Screenshots. Jede Aufgabe wurde von Fachleuten mit durchschnittlich 14 Jahren Berufserfahrung verfasst und durchlief rund fünf Runden Expertenprüfung.
Blindbewertung – und ein Konkurrent an der Spitze
Bei der Bewertung vergleichen Fachexperten aus denselben Berufsfeldern die Modellergebnisse blind mit der Musterlösung der Aufgabenautoren, ohne zu wissen, welches Ergebnis von einem Menschen stammt. Jedes Modellergebnis wird als besser, gleichwertig oder schlechter als die menschliche Arbeit eingestuft – anhand berufsspezifischer Bewertungsraster, die von den Aufgabenautoren erstellt wurden.
OpenAI testete GPT-4o, o4-mini, o3, GPT-5, Claude Opus 4.1, Gemini 2.5 Pro und Grok 4. Das bemerkenswerte Ergebnis: Claude Opus 4.1 von Anthropic schnitt am besten ab und wurde bei knapp der Hälfte der Aufgaben als gleichwertig oder besser als Experten eingestuft – mit Stärken bei Formatierung und Layout. GPT-5 lag bei der Genauigkeit vorne, insbesondere bei domänenspezifischem Fachwissen.
Dass ein Unternehmen einen Benchmark veröffentlicht, bei dem ein Konkurrent gewinnt, ist ungewöhnlich und rückt GDPval eher in die Nähe einer Plattforminitiative als einer Marketing-Grafik. OpenAI veröffentlicht den Gold-Aufgabensatz sowie einen öffentlichen Bewertungsdienst – einschließlich eines experimentellen automatisierten Bewertungssystems, das Experteneinschätzungen vorhersagen soll und laut eigener Aussage noch nicht zuverlässig genug ist, um menschliche Prüfer zu ersetzen.
Die 100x-Behauptung richtig einordnen
OpenAI berichtet, dass Frontier-Modelle GDPval-Aufgaben etwa 100-mal schneller und 100-mal günstiger erledigen als Branchenexperten. Das Unternehmen fügt einen ungewöhnlich offenen Hinweis hinzu: Diese Zahlen berücksichtigen nur die Inferenzzeit der Modelle und die API-Abrechnungssätze – nicht die menschliche Kontrolle, Überarbeitung und Integration, die nötig sind, um das Ergebnis tatsächlich im Arbeitsalltag zu nutzen.
Der zweite Vorbehalt ist struktureller Natur. GDPval arbeitet im Ein-Schritt-Modus. Es erfasst weder die Überarbeitung eines juristischen Schriftsatzes nach Kundenfeedback noch das Nacharbeiten einer Analyse nach Entdeckung einer Anomalie – und auch nicht die Unklarheit darüber, ob ein Schriftsatz überhaupt das richtige Ergebnis ist. Ein Anwalt, so OpenAI, müsse womöglich erst mit einem Mandanten sprechen, bevor klar ist, was zu liefern ist.
Die 100x-Zahl ist damit gleichzeitig eine Untergrenze bei den Kosten und eine Obergrenze bei der Vollständigkeit: günstige Erstellung eines ersten Entwurfs, gemessen an einem fertigen Ergebnis von Fachleuten – wobei der gesamte Hin-und-her-Prozess echter Arbeit ausgeblendet bleibt.
Was ein Benchmark auf Aufgabenebene den Käufern überlässt
Der größte Nutzen von GDPval für Anwenderteams liegt in seiner Granularität. Es bewertet Aufgaben, nicht Berufe – und OpenAI stellt klar, dass die meisten Berufe mehr sind als eine Sammlung schriftlich festhaltbarer Aufgaben. Genau diese Unterscheidung ist entscheidend für die Kaufentscheidung: Der Benchmark zeigt, wo ein Modell im Ein-Schritt-Modus expertenvergleichbare Ergebnisse liefert – nicht, wo es einen ganzen Arbeitsablauf eigenständig übernehmen kann.
Die kontrollierten Experimente weisen in dieselbe Richtung – größere Modelle, mehr Reasoning-Schritte und reichhaltigerer Aufgabenkontext führten jeweils zu messbaren Verbesserungen, und ein intern nachtrainiertes GPT-5 legte noch weiter zu. Kontext und Iteration verändern die Ergebnisse – genau der Bereich, den GDPval nach eigener Aussage noch nicht abbildet.
Die praktische Konsequenz dieser konkreten Veröffentlichung: GDPval-Werte sollten als Landkarte dafür dienen, welche einzelnen Arbeitsergebnisse man zuerst einem Modell überlässt – während man Kontrolle, Überarbeitungsrunden und die Klärung von Unklarheiten, die das Ein-Schritt-Format bewusst ausblendet, separat einplant. Die nächsten Versionen, die Interaktivität und mehrdeutige Aufgaben versprechen, werden die sein, an denen sich ein echter Praxiseinsatz wirklich messen lässt.
Find this story relevant to you?
Contact us to find a unique solution
Brauchen Sie einen KI-Engineering-Partner, der auch liefern kann?
Wir helfen Unternehmen dabei, KI in Produkte und Prozesse zu integrieren, wertvolle Workflows zu automatisieren und die zugrunde liegenden Softwaresysteme zu modernisieren.
Weiterführende Beiträge
Weitere Analysen rund um Produktbereitstellung, operative KI und die Systemarbeit, die dafür sorgt, dass der Einsatz in der Praxis Bestand hat.