Il benchmark EVMbench di OpenAI e Paradigm misura gli agenti IA su individuazione, correzione e sfruttamento dei bug negli smart contract

Cosa misura davvero EVMbench

OpenAI ha costruito EVMbench insieme a Paradigm per valutare gli agenti IA su tre compiti distinti legati alla sicurezza degli smart contract: individuare le vulnerabilità, correggerle e sfruttarle. Il benchmark si basa su 117 vulnerabilità selezionate da 40 audit, in gran parte provenienti dalle competizioni di audit pubbliche Code4rena.

Include anche scenari tratti dall'audit di sicurezza di Tempo, una L1 progettata per pagamenti stablecoin ad alto throughput e basso costo. OpenAI descrive questa scelta come un'estensione del benchmark al codice dei contratti orientati ai pagamenti, un ambito in cui prevede una crescita dei pagamenti stablecoin gestiti da agenti.

Le tre modalità sono valutate con criteri diversi. Detect misura il recall rispetto alle vulnerabilità note e ai relativi premi di audit. Patch richiede di eliminare la possibilità di sfruttamento preservando la funzionalità, verificata tramite test automatizzati. Exploit esegue attacchi completi di prosciugamento fondi su una chain sandbox, valutati tramite replay delle transazioni e verifica on-chain.

Il divario tra violare e correggere

Il numero che fa notizia è la performance in modalità exploit: GPT-5.3-Codex tramite Codex CLI raggiunge il 71,0%, un netto salto rispetto al 33,3% di GPT-5 di circa sei mesi prima. Ma sia il recall in detect che il successo in patch restano ben lontani dalla copertura totale, e OpenAI ammette apertamente che una larga parte delle vulnerabilità resta difficile da trovare e correggere.

Vale la pena notare la spiegazione comportamentale. Gli agenti rendono al meglio quando l'obiettivo è inequivocabile — in modalità exploit iterano finché i fondi non sono prosciugati. In modalità detect a volte si fermano dopo aver trovato un solo problema, invece di condurre un audit esaustivo. In modalità patch, il punto critico è rimuovere un bug sottile senza rompere la funzionalità prevista.

Questa asimmetria conta più del punteggio complessivo. I compiti defensivi che OpenAI vuole incentivare — audit completo e correzione sicura — sono esattamente quelli in cui gli agenti sono più debilI, mentre il compito offensivo è quello in cui eccellono.

L'ingegneria dietro una valutazione riproducibile

Per rendere credibili i risultati in modalità exploit, OpenAI ha scritto un harness in Rust che distribuisce i contratti, riproduce le transazioni degli agenti in modo deterministico e limita i metodi RPC non sicuri. I task di exploit girano su un'istanza Anvil locale isolata, non su reti live, e ogni vulnerabilità è storica e documentata pubblicamente.

Hanno anche condotto attività di red team sugli ambienti di exploit per individuare e correggere possibili modi in cui un agente potrebbe ingannare il valutatore, affiancando agenti automatizzati di audit dei task alla competenza di dominio di Paradigm per verificare la solidità degli ambienti. Per la modalità patch, hanno verificato che ogni vulnerabilità fosse effettivamente sfruttabile e correggibile senza modifiche che rompessero la compilazione.

I limiti dichiarati sono specifici, non generici. Il replay sequenziale delle transazioni esclude i comportamenti dipendenti dal timing. Lo stato Anvil pulito non è un fork della mainnet, sono supportati solo ambienti su singola chain, e alcuni casi richiedono contratti mock. In modalità detect, OpenAI ammette di non poter stabilire con certezza se i problemi extra segnalati da un agente siano scoperte reali che gli umani hanno mancato o falsi positivi.

Perché un benchmark a doppio uso arriva insieme a fondi di sostegno

EVMbench è esplicitamente a doppio uso: la stessa capacità che consente di verificare un contratto può anche prosciugarlo. La risposta di OpenAI è rilasciare i task, gli strumenti e il framework di valutazione, affiancando alla misurazione impegni concreti sul fronte defensivo — l'espansione della beta privata del suo agente di sicurezza Aardvark, la scansione gratuita per i maintainer open source e l'impegno di 10 milioni di dollari in crediti API tramite il suo Cybersecurity Grant Program per chi si occupa di difesa, in particolare nell'open source e nelle infrastrutture critiche.

La lezione pratica per chiunque distribuisca smart contract è che il divario tra exploit e detect è un avvertimento, non una rassicurazione. Un punteggio del 71% nello sfruttamento di bug storici Code4rena segnala che l'automazione lato attaccante avanza più in fretta dell'affidabilità lato defensore. I team che proteggono asset on-chain dovrebbero considerare l'audit assistito dall'IA come un supporto che richiede ancora una revisione umana esaustiva — perché il benchmark stesso dimostra che gli agenti si fermano presto esattamente sugli audit che contano di più.