EVMbench, da OpenAI e da Paradigm, mede agentes de AI (keep the English acronym) na deteção, correção e exploração de falhas em smart contracts

O que o EVMbench avalia na realidade

A OpenAI construiu o EVMbench em conjunto com a Paradigm para avaliar agentes de AI (keep the English acronym) em três tarefas distintas de segurança de smart contracts: detetar vulnerabilidades, corrigi-las e explorá-las. O benchmark baseia-se em 117 vulnerabilidades selecionadas a partir de 40 auditorias, a maioria proveniente de competições abertas de auditoria Code4rena.

Inclui ainda cenários retirados da auditoria de segurança do Tempo, uma L1 concebida para pagamentos em stablecoin de alto rendimento e baixo custo. A OpenAI enquadra isto como uma extensão do benchmark a código de contratos orientado para pagamentos, área onde prevê um crescimento dos pagamentos agênticos em stablecoin.

Os três modos são avaliados de forma diferente. A deteção mede a recall face a vulnerabilidades confirmadas e às respetivas recompensas de auditoria. A correção exige eliminar a explorabilidade sem comprometer a funcionalidade, verificado por testes automatizados. A exploração executa ataques completos de drenagem de fundos numa cadeia isolada, avaliados por reprodução de transações e verificação on-chain.

A distância entre atacar e corrigir

O número em destaque é o desempenho no modo de exploração: o GPT-5.3-Codex, através do Codex CLI, atinge 71,0%, um salto acentuado face aos 33,3% do GPT-5 registados cerca de seis meses antes. Mas tanto a recall na deteção como a taxa de sucesso na correção continuam abaixo da cobertura total, e a OpenAI reconhece abertamente que uma grande parte das vulnerabilidades continua difícil de encontrar e de corrigir.

A explicação comportamental merece destaque. Os agentes têm melhor desempenho quando o objetivo é inequívoco — no modo de exploração, iteram até drenarem os fundos. No modo de deteção, por vezes param depois de encontrar um único problema, em vez de auditarem de forma exaustiva. No modo de correção, o obstáculo é eliminar uma falha subtil sem quebrar a funcionalidade pretendida.

Essa assimetria é mais relevante do que a pontuação global. As tarefas defensivas que a OpenAI pretende incentivar — auditoria abrangente e correção segura — são precisamente aquelas em que os agentes são mais fracos, enquanto a tarefa ofensiva é onde se destacam.

A engenharia por detrás de uma avaliação reprodutível

Para garantir a fiabilidade dos resultados de exploração, a OpenAI escreveu um harness em Rust que implementa os contratos, reproduz as transações do agente de forma determinística e restringe métodos RPC inseguros. As tarefas de exploração correm numa instância local e isolada do Anvil, não em redes reais, e todas as vulnerabilidades são históricas e estão documentadas publicamente.

A equipa também submeteu os ambientes de exploração a testes de red-team para identificar e corrigir formas de o agente enganar o avaliador, e recorreu a agentes automatizados de auditoria de tarefas, em conjunto com a experiência de domínio da Paradigm, para confirmar a solidez dos ambientes. No modo de correção, verificaram que cada vulnerabilidade era explorável e corrigível sem alterações que quebrassem a compilação.

As limitações indicadas são específicas, não genéricas. A reprodução sequencial de transações deixa de fora comportamentos dependentes de tempo. O estado limpo do Anvil não corresponde a um fork da mainnet, só são suportados ambientes de uma única cadeia, e alguns casos exigem contratos simulados (mocks). No modo de deteção, a OpenAI admite não conseguir determinar com fiabilidade se problemas adicionais assinalados por um agente são descobertas reais que passaram ao lado dos humanos ou falsos positivos.

Porque é que um benchmark de uso duplo vem acompanhado de financiamento

O EVMbench é explicitamente de uso duplo: a mesma capacidade que audita um contrato pode drená-lo. A resposta da OpenAI é disponibilizar as tarefas, as ferramentas e o framework de avaliação, associando essa medição a compromissos defensivos — expandindo a beta privada do seu agente de segurança Aardvark, oferecendo análises gratuitas a mantenedores de open source e destinando 10 milhões de dólares em créditos de API através do seu Programa de Bolsas de Cibersegurança para defensores, sobretudo em open source e infraestruturas críticas.

A conclusão prática para quem implementa smart contracts é que a diferença entre exploração e deteção é um aviso, não um sinal de tranquilidade. Uma pontuação de 71% na exploração de falhas históricas do Code4rena indica que a automação do lado do atacante está a avançar mais rapidamente do que a fiabilidade do lado do defensor. As equipas que protegem ativos on-chain devem tratar a auditoria assistida por AI (keep the English acronym) como um complemento que continua a exigir revisão humana exaustiva — porque o próprio benchmark mostra que os agentes desistem cedo exatamente nas auditorias que mais importam.