OpenAI redefine prompt injection como engenharia social e leva a defesa para dentro da interface

O ataque com o qual a OpenAI realmente se preocupa

O post da OpenAI apresenta um exemplo concreto: um e-mail que parece um acompanhamento normal de trabalho, completo com itens de ação sobre materiais de reestruturação e descrições de cargo. Escondida nele está uma instrução dizendo a um assistente que ele tem "autorização total" para pegar o nome e o endereço de um funcionário e enviá-los a um "sistema de validação de compliance" externo.

Segundo a OpenAI, esse ataque, relatado por pesquisadores externos, funcionou 50% das vezes quando combinado com um pedido plausível do usuário para fazer uma "pesquisa profunda" sobre e-mails relacionados a um novo processo de contratação. O ponto é que o payload não parece uma string de injeção. Parece um memorando.

É por isso que a OpenAI é reticente com o "firewall de IA" — um intermediário que classifica entradas como maliciosas ou benignas. Como o post coloca, detectar esses ataques elaborados se torna "o mesmo problema muito difícil de detectar uma mentira ou desinformação, e muitas vezes sem o contexto necessário". Você não consegue se livrar de um e-mail bem escrito só com regex.

O modelo de três atores emprestado do suporte ao cliente

A visão da OpenAI é que um agente de IA ocupa a mesma posição que um representante humano de suporte ao cliente: ele age em nome de um empregador enquanto é continuamente exposto a terceiros que podem induzi-lo ao erro. A lição desse domínio não é tornar o humano imune à manipulação, mas limitar o que um humano manipulado pode fazer.

No mundo real, o agente recebe um conjunto de regras a seguir, mas é esperado que, no ambiente adversarial em que existem, eles sejam enganados.Montana Labs

A analogia com o suporte é concreta: limites de reembolso, sinalizadores de phishing e controles determinísticos que limitam o dano mesmo quando o agente é enganado. Aplicado a agentes, isso redefine o objetivo. Você não está mais tentando garantir que o modelo nunca seja enganado. Você está tentando garantir que um golpe bem-sucedido não consiga exfiltrar dados silenciosamente ou tomar uma ação perigosa.

A análise de origem-destino coloca a verificação no ponto de transmissão

Especificamente para o ChatGPT, a OpenAI combina a mentalidade de engenharia social com a análise de origem-destino: um atacante precisa tanto de uma origem (uma forma de influenciar o sistema) quanto de um destino (uma capacidade que se torna perigosa). Para agentes, a combinação perigosa é conteúdo externo não confiável somado a uma ação como transmitir informações a terceiros, seguir um link ou chamar uma ferramenta.

É aqui que o frontend importa. A mitigação Safe Url da OpenAI detecta quando uma informação que o assistente aprendeu numa conversa está prestes a ser enviada a terceiros. Nesses casos, ela mostra ao usuário exatamente o que seria transmitido e pede confirmação, ou bloqueia e diz ao agente para encontrar outro caminho. O mesmo mecanismo cobre navegações e favoritos no Atlas, e buscas e navegações no Deep Research.

Canvas e Apps expandem essa ideia executando aplicações geradas dentro de um sandbox que detecta comunicações inesperadas e pede o consentimento do usuário. A fronteira de segurança, em outras palavras, é expressa como um evento de interface, não como um filtro invisível de backend.

O que isso significa para equipes que constroem interfaces de agentes

A implicação de design é que os prompts de consentimento são infraestrutura de segurança estrutural, não atrito a ser otimizado para desaparecer. Se a única salvaguarda de uma ação perigosa é um diálogo mostrando ao usuário quais dados estão prestes a saírem, então a clareza, o timing e a legibilidade desse diálogo são a defesa. Um prompt confuso ou fácil de descartar anula a proteção.

A própria orientação da OpenAI para quem integra um modelo a uma aplicação é um bom teste: pergunte quais controles um agente humano teria na mesma situação e implemente esses controles. A empresa espera que um modelo suficientemente capaz acabe resistindo à engenharia social melhor que um humano, mas observa que isso "nem sempre é viável ou vantajoso em termos de custo" — motivo exato pelo qual as verificações no nível da interface existem como uma rede de segurança, e não apenas o treinamento.

Para equipes aplicadas, o aprendizado prático é fazer um inventário dos pontos de saída ("sinks") do seu agente — todo lugar onde ele pode transmitir dados, seguir um link ou chamar uma ferramenta externa — e decidir, para cada um, se uma ação deveria conseguir acontecer silenciosamente. A resposta da OpenAI para os casos arriscados é não: mostre ao usuário, ou bloqueie e redirecione.