Jul, 134 Min. Lesezeit
Frontend
News · OpenAIs FrontierScience-Benchmark trennt Olympiade-Aufgaben von offener Forschungsarbeit
Jul, 84 Min. Lesezeit
FrontendOpenAIs FrontierScience-Benchmark trennt Olympiade-Aufgaben von offener Forschungsarbeit
Ein neuer, von Experten verfasster Wissenschafts-Benchmark bewertet GPT-5.2 mit 77% bei olympiadeähnlichen Aufgaben, aber nur mit 25% bei mehrstufigen Forschungsaufgaben, die nach Bewertungsraster benotet werden.
Zwei Spuren, zwei sehr unterschiedliche Ergebnisse
FrontierScience ist kein einzelner Benchmark, sondern zwei – und genau darin liegt der Sinn. Die Olympiade-Spur umfasst 100 Kurzantwortfragen, verfasst von Medaillengewinnern internationaler Olympiaden, bewertbar anhand einer Zahl, eines Ausdrucks oder eines unscharfen Textabgleichs. Die Forschungs-Spur umfasst 60 mehrstufige Teilaufgaben, verfasst von promovierten Wissenschaftlern und bewertet anhand eines 10-Punkte-Rasters, wobei eine Lösung nur dann als korrekt gilt, wenn sie mindestens 7 Punkte erreicht.
Bei der Olympiade-Spur erzielte GPT-5.2 77%, knapp gefolgt von Gemini 3 Pro mit 76%. Bei der Forschungs-Spur erzielte GPT-5.2 nur 25%. Gleiches Modell, gleiche Fachgebiete Physik, Chemie und Biologie – eine Lücke von 52 Punkten, die den Unterschied zwischen dem Erreichen einer überprüfbaren Endantwort und korrektem Denken durch ein offenes Problem widerspiegelt.
OpenAI liest dies so, wie Wissenschaftler die Werkzeuge bereits nutzen: Modelle können strukturiertes Denken heute unterstützen, während Menschen weiterhin das Problem einordnen und das Ergebnis validieren. Die 25%-Zahl ist die ehrlichere Angabe dafür, was noch schwierig bleibt.
Das Bewertungsraster ist das eigentliche technische Kunststück
Das eigentlich Interessante hier ist die Bewertungsarchitektur für die Forschungs-Spur. Statt nur die Endantwort zu bewerten, enthält jede Frage ein Raster aus mehreren unabhängigen, objektiv beurteilbaren Punkten mit insgesamt 10 Punkten, die auch Zwischenschritte im Denkprozess honorieren – nicht nur das Endergebnis. Das Beispielraster für Chemie vergibt separate Punkte für die korrekte Analyse der Grenzen traditioneller Synthesewege, die Beschreibung der thiolatvermittelten Tetramerisierung, die Interpretation von NMR-Ringstromdaten und Ähnliches.
Dadurch kann der Benchmark unterscheiden, ob ein Modell das richtige Endergebnis nur erraten oder tatsächlich dorthin gerechnet hat, und ermöglicht eine Fehleranalyse auf Schrittebene. OpenAI benennt den Kompromiss klar: mehrteilige Bewertungsraster bei langen Aufgaben sind weniger objektiv als die Prüfung einer einzigen Endantwort.
Der Haken liegt darin, wer die Bewertung vornimmt. Menschliche Expertenbewertung skaliert nicht, daher werden die Antworten von einem modellbasierten Bewerter – GPT-5 – anhand der Rasterkriterien bewertet. Das Raster wurde bewusst so gestaltet, dass es von diesem Bewerter überprüfbar ist. Damit bewertet ein Modell aus der GPT-Familie Spitzenmodelle, einschließlich seines eigenen Nachfolgers, anhand von Expertenkriterien. OpenAI hat eine Verifizierungs-Pipeline aufgebaut, um Schwierigkeitsgrad und Korrektheit zu kalibrieren, doch die Abhängigkeit von einem Modell als Bewerter bleibt ein strukturelles Merkmal, das man klar benennen muss.
Wie der Benchmark sich gegen Kontamination und Selbstbegünstigung wehrt
Zwei Designentscheidungen begegnen den naheliegenden Einwänden. Erstens die Kontamination: Der vollständige Satz umfasst über 700 Fragen, aber nur 160 sind im quelloffenen Gold-Set enthalten (100 Olympiade, 60 Forschung). Der Rest wird gezielt zurückgehalten, um Kontamination über die Zeit hinweg zu verfolgen.
Zweitens die Selbstbegünstigung bei der Erstellung. Bei der Aufgabenerstellung wurden Fragen, die OpenAIs interne Modelle bereits gelöst hatten, gezielt ausgeschlossen. OpenAI erklärt ausdrücklich, dass dies die Bewertung gegenüber den eigenen Modellen im Vergleich zur Konkurrenz benachteiligen sollte. Diese Offenlegung ist wichtig für die Einordnung von GPT-5.2s Spitzenplatzierung, da Gemini 3 Pro bei der Olympiade-Spur trotz dieser Benachteiligung praktisch gleichauf lag.
Der Umfang der Expertenbeteiligung ist konkret: 42 ehemalige Medaillengewinner oder Nationaltrainer mit insgesamt 109 Olympiademedaillen für die Olympiade-Spur sowie 45 Doktoranden, Postdocs und Professoren für die Forschungs-Spur, aus Fachgebieten von Quantenelektrodynamik über synthetische organische Chemie bis hin zur Evolutionsbiologie. Die Aufgaben durchliefen vier Phasen – Erstellung, Prüfung, Auflösung, Überarbeitung – mit unabhängiger Expertengegenprüfung.
Was der 25%-Wert der Forschungs-Spur Entwicklern verrät
Für Teams, die Modelle für reale wissenschaftliche Arbeit einsetzen, liegt das nützliche Signal nicht in den 77% Schlagzeilenwert, sondern in der Struktur der Fehler. OpenAI berichtet, dass Spitzenmodelle in den Transkripten Denk-, Logik- und Rechenfehler machten, Nischenkonzepte falsch verstanden und sachliche Ungenauigkeiten produzierten. Längere Denkzeit erhöhte die Genauigkeit bei sowohl GPT-5.2 als auch o3, was darauf hindeutet, dass manche Fehler eher durch Rechenleistung als durch fehlende Fähigkeiten bedingt sind.
Die genannten Einschränkungen markieren die Grenze der Aussage: FrontierScience arbeitet mit eng gefassten Problemstellungen, testet keine Hypothesenbildung und berührt weder Video noch andere Modalitäten oder reale Experimentiersysteme. Es misst Schlussfolgern bei von Experten verfassten Aufgaben, nicht wie Wissenschaft tatsächlich betrieben wird. Der Verlauf von GPQA – GPT-4 bei 39% im November 2023, GPT-5.2 bei 92% zwei Jahre später – ist der Grund, warum OpenAI erwartet, dass auch dieser Benchmark eines Tages an seine Grenzen stößt, und warum die Rasterbewertung der Forschungs-Spur zusätzlichen Spielraum schaffen soll.
Die praktische Bedeutung von FrontierScience ist konkret: Es liefert eine schrittweise Sicht darauf, wo das chemische oder physikalische Schlussfolgern eines Modells mitten in der Herleitung versagt, statt nur festzustellen, ob am Ende die richtige Antwort steht. Das ist genau die Auflösung, die angewandte Teams brauchen, wenn sie einem Modell bei einer Forschungsteilaufgabe vertrauen wollen – und der 25%-Wert ist eine deutliche Warnung davor, es bei offenen Aufgabenstellungen unbeaufsichtigt zu lassen.
Find this story relevant to you?
Contact us to find a unique solution
Brauchen Sie einen KI-Engineering-Partner, der auch liefern kann?
Wir helfen Unternehmen dabei, KI in Produkte und Prozesse zu integrieren, wertvolle Workflows zu automatisieren und die zugrunde liegenden Softwaresysteme zu modernisieren.
Weiterführende Beiträge
Weitere Analysen rund um Produktbereitstellung, operative KI und die Systemarbeit, die dafür sorgt, dass der Einsatz in der Praxis Bestand hat.