A OpenAI reformula a injeção de prompts como engenharia social e transfere a defesa para a interface

O ataque com que a OpenAI está realmente preocupada

O artigo da OpenAI descreve um exemplo concreto: um email que parece um seguimento normal de trabalho, completo com itens de ação sobre reestruturação de materiais e descrições de funções. Escondida no meio está uma instrução a dizer a um assistente que tem "autorização total" para recolher o nome e endereço de um funcionário e submetê-los a um "sistema de validação de compliance" externo.

Segundo a OpenAI, este ataque, reportado por investigadores externos, funcionou 50% das vezes quando combinado com um pedido plausível do utilizador para fazer "investigação profunda" sobre emails relativos a um novo processo de contratação. O ponto é que a carga maliciosa não se parece com uma string de injeção. Parece um memorando.

É por isso que a OpenAI é céptica quanto ao "firewalling de AI" — um intermediário que classifica inputs como maliciosos ou benignos. Como o artigo coloca, detetar estes ataques sofisticados torna-se "o mesmo problema muito difícil de detetar uma mentira ou desinformação, e frequentemente sem o contexto necessário." Não se consegue resolver isto com uma regex à volta de um email bem escrito.

O modelo de três atores emprestado do apoio ao cliente

A perspetiva da OpenAI é que um agente de AI ocupa a mesma posição que um representante humano de apoio ao cliente: age em nome de um empregador enquanto está continuamente exposto a terceiros que o podem induzir em erro. A lição desse domínio não é tornar o humano imune à manipulação, mas limitar o que um humano manipulado pode fazer.

No mundo real, o agente recebe um conjunto de regras a seguir, mas espera-se que, no ambiente adversarial em que existem, sejam induzidos em erro.Montana Labs

A analogia com o apoio ao cliente é concreta: limites de reembolso, sinalizações de phishing e controlos deterministas que limitam os danos mesmo quando o agente é enganado. Aplicado a agentes, isto reformula o objetivo. Já não se trata de garantir que o modelo nunca é enganado. Trata-se de garantir que um engano bem-sucedido não pode extrair dados silenciosamente ou realizar uma ação perigosa.

A análise fonte-destino coloca a verificação no ponto de transmissão

Especificamente para o ChatGPT, a OpenAI combina a mentalidade de engenharia social com a análise fonte-destino: um atacante precisa tanto de uma fonte (uma forma de influenciar o sistema) como de um destino (uma capacidade que se torna perigosa). Para agentes, a combinação perigosa é conteúdo externo não fiável mais uma ação como transmitir informação a terceiros, seguir uma ligação ou chamar uma ferramenta.

É aqui que o frontend importa. A mitigação Safe Url da OpenAI deteta quando informação que o assistente aprendeu numa conversa está prestes a ser enviada a terceiros. Nesses casos, ou mostra ao utilizador exatamente o que seria transmitido e pede confirmação, ou bloqueia a ação e informa o agente para encontrar outro caminho. O mesmo mecanismo cobre navegações e marcadores no Atlas, e pesquisas e navegações no Deep Research.

O Canvas e as Apps estendem a ideia executando aplicações geradas numa sandbox que deteta comunicações inesperadas e pede o consentimento do utilizador. A fronteira de segurança, por outras palavras, é expressa como um evento de interface, não como um filtro invisível do backend.

O que isto significa para as equipas que constroem interfaces de agentes

A implicação de design é que os pedidos de consentimento são infraestrutura de segurança estrutural, não fricção a ser eliminada. Se a única salvaguarda de uma ação perigosa for uma caixa de diálogo que mostra ao utilizador que dados estão prestes a saír, então a clareza, o momento e a legibilidade dessa caixa de diálogo são a defesa. Um pedido confuso ou facilmente dispensável anula a proteção.

A própria orientação da OpenAI para quem integra um modelo numa aplicação é um teste útil: perguntar que controlos um agente humano teria na mesma situação e implementar esses mesmos controlos. A empresa espera que um modelo suficientemente capaz venha eventualmente a resistir melhor à engenharia social do que um humano, mas nota que isto "nem sempre é viável ou eficaz em termos de custo" — precisamente por isso é que as verificações ao nível da interface existem como salvaguarda, e não apenas o treino.

Para equipas aplicadas, a conclusão prática é fazer um inventário dos destinos do agente — cada local onde pode transmitir dados, seguir uma ligação ou chamar uma ferramenta externa — e decidir, para cada um, se uma ação deve poder acontecer silenciosamente. A resposta da OpenAI para os casos de risco é não: expor ao utilizador, ou bloquear e redirecionar.