OpenAIs GeneBench-Pro stellt einen strikten Output-Vertrag ins Zentrum der Agent-Bewertung

Der Workspace und der JSON-Rückgabevertrag

Jedes GeneBench-Pro-Problem stellt einem Agenten einen isolierten Workspace bereit: einen kurzen Prompt, Datendateien und einen Standard-Bioinformatik-Stack mit Python, wissenschaftlichen Rechenbibliotheken und PLINK 2.0. Der Agent erschließt unübersichtliche Daten, wählt einen analytischen Ansatz, iteriert und liefert eine Antwort.

Auffällig ist, wie eng die Antwort eingegrenzt wird. Das Tumortherapie-Beispiel schreibt ein exaktes JSON-Objekt mit benannten Schlüsseln vor – therapy_class_code, benefit_rd_pp, toxicity_dropout_risk_pp, net_clinical_utility_pp – plus einen Reasoning-String. Der Prompt weist ausdrücklich an: das JSON nicht in Markdown einbetten, keinen Fließtext davor oder danach hinzufügen, keine Schlüssel auslassen.

Das ist ein maschinenlesbarer Vertrag, keine Freitextantwort. Er existiert, damit die Bewertung deterministisch erfolgen kann. OpenAI kontrolliert den gesamten Datenerzeugungsprozess und kann Korrektheit somit gegen bekannte Zielwerte bewerten – und, in den eigenen Worten des Unternehmens, 'die bei standardmäßiger rubrikbasierter Bewertung auftretende Variabilität durch Modellwahl und Verbositätseffekte' vermeiden. Die Output-Struktur ist eine bewusste Designentscheidung, die den Benchmark überprüfbar macht.

Synthetische Daten als Schutz vor mehrdeutiger Bewertung

OpenAI benennt klar, welche Fehlermodi vermieden werden sollen. Viele langfristig angelegte Biologie-Benchmarks greifen auf unübersichtliche historische Datensätze zurück, bei denen mehrere vertretbare analytische Entscheidungen existieren – wodurch die Bewertungsergebnisse eher die willkürlichen Präferenzen des Benchmark-Autors widerspiegeln als die tatsächliche Modellkompetenz. Das umgekehrte Problem ist eine Aufgabe, die numerisch so unempfindlich ist, dass selbst eine fehlerhafte Analyse noch bestanden wird.

Die Lösung hier ist vollständige Synthese: Jedes Problem simuliert eine bekannte kausale Struktur. Das erlaubt dem Team, die Komplexität zu justieren, sicherzustellen, dass vertretbare subjektive Entscheidungen dennoch zu akzeptierten Werten führen, und per Ablation zu verifizieren, dass plausible, aber falsche Analysen durchfallen. Trace-Audits prüfen auf Informationsleckagen und unbeabsichtigte Lösungswege.

Der Punkt ist: Ein saubere Output-Vertrag funktioniert nur, wenn die zugrunde liegende Antwort tatsächlich bekannt sein kann. Das JSON-Schema und die simulierte Ground Truth sind zwei Hälften desselben Mechanismus – die eine legt fest, was der Agent zurückgibt, die andere, was als korrekt gilt.

Solver-Verträge: warum die Formulierung des Prompts die Antwort verändert

Die aufschlussreichste Beobachtung stammt von Reviewer Cyrillus Tan vom New York Genome Center, der die Bewertungen begutachtet hat.

Die Begutachtung dieser Bewertungen zeigt, wie wichtig klare Solver-Verträge für agentenbasiertes wissenschaftliches Problemlösen sind. Unterschiedliche Prompt-Formulierungen oder Aufgabenspezifikationen können erheblich beeinflussen, welche Analysen als zulässig erscheinen.Montana Labs

Das ist ein Frontend-Problem im Gewand eines Wissenschaftsproblems. Die Spezifikation, die ein Agent liest – der Zielparameter, die Einheiten, die Rahmung der nachgelagerten Entscheidung – lenkt, welche analytischen Ansätze er als legitim betrachtet. Ein Benchmark, der 'wissenschaftliches Urteilsvermögen' messen will, misst unvermeidlich auch, wie die Aufgabe formuliert wurde.

Die Ergebnisse bestätigen, wo Agenten versagen. Reviewer Lex Flagel von Gencove stellte fest, dass Modelle das erforderliche Fachwissen und die Toolauswahl bewältigten, aber bei Datendiskrepanzen wie vertauschter Abstammung 'versagten': 'Sie sind bei Datenproblemen nicht vorsichtig genug.' Der Unterschied zwischen GPT-5.5 und GPT-5.6 Sol beim pharmakogenomischen Problem besteht im Wechsel von einem konventionellen Cox-Modell zu einem marginalen Cox-Strukturmodell für Neuanwender, das 818 markierte Bestandsnutzer ausschloss – ein Unterschied in der Methodenwahl, nicht in der Codekorrektheit.

Was eine starre Schnittstelle über die Zuverlässigkeit von Agenten verrät

Die Kernzahlen sind bescheiden und ehrlich: GPT-5.6 Sol besteht 28,7 % der Probleme auf höchster Reasoning-Stufe, 31,5 % im Pro-Modus – gegenüber unter 5 % für GPT-5 bei Start des ursprünglichen GeneBench. OpenAI erwartet eine Sättigung bis Jahresende und weist darauf hin, dass die Inferenzkosten bei wenigen Dollar pro Problem liegen, verglichen mit einem geschätzten menschlichen Arbeitsaufwand von 20–40 Stunden bzw. mehreren tausend Dollar.

Die dauerhafte Lehre für Teams, die wissenschaftliche Agenten entwickeln, ist jedoch struktureller Natur. GeneBench-Pro zeigt: Wer einen Agenten für folgenreiche Analysen bewerten – oder einsetzen – will, muss die Schnittstelle genauso sorgfältig konstruieren wie das Modell selbst. Ein striktes Rückgabeschema, ein vollständig spezifizierter Zielparameter und ein deterministischer Bewerter sind das, was OpenAI erlaubt, ein Versagen dem Reasoning zuzuschreiben statt der Formatierung oder Mehrdeutigkeit.

Die Konsequenz ist konkret: Solange Modelle 'weniger als ein Drittel' dieser inferenziellen Schleifen abschließen und bei der Vorsicht im Umgang mit Datenqualität stolpern, ist die Spezifikationsebene – der Solver-Vertrag zwischen Prompt und Output – der Ort, an dem sich heute entscheidet, ob Teilautomatisierung gelingt oder scheitert. Diesen Vertrag richtig zu gestalten, macht den Unterschied zwischen einem Benchmark, der Urteilsvermögen misst, und einem, der lediglich die Formulierung des Autors misst.