OpenAI und Paradigms EVMbench misst KI-Agenten beim Erkennen, Beheben und Ausnutzen von Smart-Contract-Fehlern

Was EVMbench tatsächlich testet

OpenAI hat EVMbench zusammen mit Paradigm entwickelt, um KI-Agenten anhand von drei getrennten Aufgaben der Smart-Contract-Sicherheit zu bewerten: dem Erkennen von Schwachstellen, deren Behebung und deren Ausnutzung. Der Benchmark stützt sich auf 117 kuratierte Schwachstellen aus 40 Audits, die größtenteils aus offenen Code4rena-Audit-Wettbewerben stammen.

Zusätzlich fließen Szenarien aus dem Sicherheitsaudit von Tempo ein, einer L1 für Stablecoin-Zahlungen mit hohem Durchsatz und niedrigen Kosten. OpenAI versteht dies als Erweiterung des Benchmarks auf zahlungsorientierten Contract-Code, in einem Bereich, in dem agentische Stablecoin-Zahlungen nach eigener Einschätzung weiter wachsen werden.

Die drei Modi werden unterschiedlich bewertet. Beim Erkennen wird der Recall gegenüber verifizierten Schwachstellen und deren Audit-Prämien gemessen. Beim Beheben muss die Ausnutzbarkeit beseitigt werden, ohne die Funktionalität zu beeinträchtigen – geprüft durch automatisierte Tests. Beim Ausnutzen werden vollständige Angriffe zum Leerräumen von Geldern auf einer isolierten Chain durchgeführt, bewertet per Transaktions-Replay und On-Chain-Verifizierung.

Die Lücke zwischen Angreifen und Beheben

Die auffälligste Zahl ist die Leistung im Exploit-Modus: GPT-5.3-Codex erreicht via Codex CLI 71,0 % – ein deutlicher Sprung gegenüber den 33,3 % von GPT-5 rund sechs Monate zuvor. Doch sowohl der Recall beim Erkennen als auch der Erfolg beim Beheben bleiben unter voller Abdeckung, und OpenAI räumt offen ein, dass ein großer Teil der Schwachstellen weiterhin schwer zu finden und zu beheben ist.

Die Erklärung für dieses Verhalten ist aufschlussreich. Agenten schneiden am besten ab, wenn das Ziel eindeutig ist – im Exploit-Modus iterieren sie so lange, bis die Gelder abgezogen sind. Im Erkennungsmodus brechen sie manchmal ab, nachdem sie ein einziges Problem gefunden haben, statt erschöpfend zu prüfen. Im Patch-Modus liegt die Schwierigkeit darin, einen subtilen Fehler zu entfernen, ohne die beabsichtigte Funktionalität zu zerstören.

Diese Asymmetrie ist aussagekräftiger als der Spitzenwert allein. Genau die defensiven Aufgaben, die OpenAI fördern möchte – umfassende Audits und sichere Fehlerbehebung – sind jene, bei denen die Agenten am schwächsten sind, während sie bei der offensiven Aufgabe glänzen.

Die Technik hinter der reproduzierbaren Bewertung

Um die Exploit-Ergebnisse verlässlich zu machen, hat OpenAI einen auf Rust basierenden Test-Harness geschrieben, der Contracts deployt, Agenten-Transaktionen deterministisch wiederholt und unsichere RPC-Methoden einschränkt. Die Exploit-Aufgaben laufen in einer isolierten lokalen Anvil-Instanz, nicht in Live-Netzwerken, und jede Schwachstelle ist historisch belegt und öffentlich dokumentiert.

Zusätzlich wurden die Exploit-Umgebungen einem Red-Teaming unterzogen, um mögliche Wege zu finden und zu schließen, über die ein Agent den Bewerter täuschen könnte. Dabei kamen automatisierte Task-Auditing-Agenten sowie die Fachkenntnis von Paradigm zum Einsatz, um die Solidität der Umgebung zu prüfen. Für den Patch-Modus wurde jede Schwachstelle darauf verifiziert, dass sie ausnutzbar und ohne kompilierungsbrechende Änderungen behebbar ist.

Die genannten Einschränkungen sind konkret formuliert, nicht bloß Standardfloskeln. Sequenzielles Transaktions-Replay schließt zeitabhängiges Verhalten aus dem Anwendungsbereich aus. Der saubere Anvil-Zustand ist kein Mainnet-Fork, es werden nur Single-Chain-Umgebungen unterstützt, und manche Fälle erfordern Mock-Contracts. Im Erkennungsmodus räumt OpenAI ein, nicht zuverlässig unterscheiden zu können, ob zusätzlich gemeldete Probleme echte, von Menschen übersehene Funde sind oder Falschmeldungen.

Warum ein Dual-Use-Benchmark mit Fördermitteln ausgeliefert wird

EVMbench ist ausdrücklich dual-use: Dieselbe Fähigkeit, mit der ein Contract auditiert wird, kann ihn auch leerräumen. OpenAI reagiert darauf, indem es die Aufgaben, Werkzeuge und das Bewertungsframework veröffentlicht und die Messung mit defensiven Maßnahmen verknüpft – etwa der Erweiterung der privaten Beta seines Sicherheitsagenten Aardvark, kostenlosen Scans für Open-Source-Maintainer und der Zusage von 10 Mio. US-Dollar an API-Credits über das Cybersecurity Grant Program für Verteidiger, insbesondere im Open-Source-Bereich und in kritischer Infrastruktur.

Für alle, die Smart Contracts einsetzen, ist die praktische Lehre: Die Lücke zwischen Exploit und Erkennung ist eine Warnung, keine Beruhigung. Ein Exploit-Score von 71 % gegenüber historischen Code4rena-Bugs zeigt, dass die Automatisierung auf Angreiferseite schneller voranschreitet als die Verlässlichkeit auf Verteidigerseite. Teams, die On-Chain-Assets sichern, sollten KI-gestützte Audits als Ergänzung behandeln, die weiterhin eine erschöpfende menschliche Überprüfung erfordert – denn der Benchmark selbst zeigt, dass Agenten gerade bei den Audits, auf die es ankommt, zu früh aufhören.