EVMbench, da OpenAI e da Paradigm, mede agentes de IA na detecção, correção e exploração de falhas em contratos inteligentes

O que o EVMbench realmente testa

A OpenAI criou o EVMbench em parceria com a Paradigm para avaliar agentes de IA em três tarefas distintas de segurança de contratos inteligentes: detectar vulnerabilidades, corrigi-las e explorá-las. O benchmark reúne 117 vulnerabilidades selecionadas de 40 auditorias, a maioria vinda de competições abertas de auditoria do Code4rena.

O benchmark também traz cenários da auditoria de segurança do Tempo, uma L1 construída para pagamentos em stablecoin de alto volume e baixo custo. A OpenAI apresenta isso como uma extensão do benchmark para código de contrato voltado a pagamentos, área em que espera crescimento de pagamentos em stablecoin feitos por agentes.

Os três modos são avaliados de formas diferentes. No modo de detecção, mede-se o recall contra vulnerabilidades confirmadas e suas recompensas de auditoria. No modo de correção, é preciso eliminar a exploitabilidade sem comprometer a funcionalidade, verificado por testes automatizados. No modo de exploração, ataques completos de drenagem de fundos são executados em uma chain isolada, avaliados por replay de transações e verificação on-chain.

O abismo entre quebrar e corrigir

O número que chama atenção é o desempenho no modo de exploração: o GPT-5.3-Codex, via Codex CLI, atinge 71,0%, um salto expressivo em relação aos 33,3% do GPT-5 cerca de seis meses antes. Mas o recall de detecção e o sucesso nas correções continuam abaixo da cobertura total, e a própria OpenAI reconhece que uma boa parte das vulnerabilidades ainda é difícil de encontrar e corrigir.

Vale destacar a explicação comportamental por trás disso. Os agentes se saem melhor quando o objetivo é inequívoco — no modo de exploração, eles iteram até drenar os fundos completamente. No modo de detecção, às vezes param depois de encontrar um único problema, em vez de fazer uma auditoria exaustiva. No modo de correção, o desafio é remover uma falha sutil sem quebrar a funcionalidade pretendida.

Essa assimetria importa mais do que o número principal. As tarefas defensivas que a OpenAI quer incentivar — auditoria completa e correção segura — são justamente aquelas em que os agentes são mais fracos, enquanto a tarefa ofensiva é onde eles se destacam.

A engenharia por trás de uma avaliação reprodutível

Para garantir a confiabilidade dos resultados de exploração, a OpenAI desenvolveu um harness em Rust que implanta os contratos, reproduz as transações dos agentes de forma determinística e restringe métodos RPC inseguros. As tarefas de exploração rodam em uma instância local isolada do Anvil, não em redes reais, e todas as vulnerabilidades são históricas e documentadas publicamente.

A equipe também fez red teaming nos ambientes de exploração para identificar e corrigir formas de um agente enganar o avaliador, além de usar agentes automatizados de auditoria de tarefas, combinados com a expertise de domínio da Paradigm, para checar a consistência dos ambientes. No modo de correção, verificaram que cada vulnerabilidade era explorável e corrigível sem alterações que quebrassem a compilação.

As limitações declaradas são específicas, não genéricas. O replay sequencial de transações deixa comportamentos dependentes de tempo fora do escopo. O estado limpo do Anvil não é um fork da mainnet, apenas ambientes de chain única são suportados, e alguns casos exigem contratos simulados (mocks). No modo de detecção, a OpenAI admite não conseguir determinar com segurança se problemas extras apontados por um agente são descobertas reais que humanos deixaram passar ou falsos positivos.

Por que um benchmark de uso duplo vem acompanhado de dinheiro em grants

O EVMbench é explicitamente de uso duplo: a mesma capacidade que audita um contrato pode drená-lo. A resposta da OpenAI foi liberar as tarefas, as ferramentas e o framework de avaliação, ao mesmo tempo em que combina a medição com compromissos defensivos — expandindo o beta privado do seu agente de segurança Aardvark, oferecendo varredura gratuita para mantenedores de projetos open source e destinando US$ 10 milhões em créditos de API pelo seu Programa de Grants de Cibersegurança para defensores, especialmente em código aberto e infraestrutura crítica.

Na prática, quem trabalha com contratos inteligentes deve entender essa diferença entre exploração e detecção como um alerta, não como tranquilidade. Um índice de 71% de exploração contra bugs históricos do Code4rena mostra que a automação do lado do atacante está avançando mais rápido do que a confiabilidade do lado defensivo. Times que protegem ativos on-chain devem tratar a auditoria assistida por IA como um complemento que ainda exige revisão humana exaustiva — porque o próprio benchmark mostra que os agentes param cedo demais justamente nas auditorias que mais importam.