Modelo Gemini 2.5 Computer Use do Google roda um loop de captura de tela para ação em agentes de navegador

O loop: captura de tela entra, ação de UI sai

O modelo é exposto através de uma nova ferramenta `computer_use` na Gemini API, e o Google deixa claro que ela foi pensada para rodar dentro de um loop, e não como uma chamada única. Cada turno alimenta o modelo com três coisas: o pedido do usuário, uma captura de tela do ambiente atual e um histórico das ações recentes.

O modelo responde com uma chamada de função representando uma única ação de UI — clicar, digitar, rolar. O código no lado do cliente executa essa ação, depois captura uma nova tela e a URL atual e envia tudo de volta como resposta da função, reiniciando o loop. Isso continua até a tarefa terminar, ocorrer um erro, surgir uma resposta de segurança ou o usuário interromper o processo.

Esse design merece atenção das equipes de frontend: o modelo não lê o DOM nem se conecta às entranhas de um app. Ele trabalha a partir de pixels e uma URL, a mesma superfície que um humano vê. As implementações de referência refletem isso — o Google orienta os desenvolvedores a montar o loop do agente localmente com Playwright ou em uma VM na nuvem via Browserbase.

Restrito ao navegador, não ao desktop

O Google é preciso sobre onde o modelo funciona. Ele é otimizado principalmente para navegadores web e mostra potencial no controle de UI mobile, mas ainda não é otimizado para controle no nível do sistema operacional desktop.

As demonstrações ficam dentro desse limite: extrair registros de pets de um formulário web e inseri-los em um CRM para agendar uma consulta, e arrastar notas adesivas entre categorias em um app web. Ambas são tarefas comuns de navegador — preencher formulários, manipular menus e filtros, operar por trás de logins — que o Google apresenta como a capacidade concreta que faltava quando os agentes só conseguiam falar com APIs estruturadas.

Segurança a cada passo roda fora do modelo

O Google cita três riscos específicos de agentes que controlam computadores: uso indevido intencional por parte dos usuários, comportamento inesperado do modelo, e injeções de prompt e golpes no ambiente web. Recursos de segurança são treinados dentro do modelo, mas a parte mais interessante para quem constrói é a checagem fora do modelo.

Serviço de segurança por etapa: um serviço de segurança externo ao modelo, em tempo de inferência, que avalia cada ação proposta pelo modelo antes de ela ser executada.Montana Labs

Além disso, os desenvolvedores podem usar instruções de sistema para fazer o agente recusar ou pedir confirmação do usuário antes de ações de alto risco. O próprio modelo também pode sinalizar que é preciso confirmação do usuário final — por exemplo, antes de fazer uma compra. O Google lista ações concretas que trata como de alto risco: comprometer a integridade do sistema, comprometer a segurança, contornar CAPTCHAs e controlar dispositivos médicos.

Testes de UI foram o primeiro caso de uso lançado pelo Google

Entre as primeiras aplicações, o Google destaca testes de UI em suas próprias equipes de produção, afirmando que isso pode tornar o desenvolvimento de software significativamente mais rápido. Versões do modelo já dão suporte ao Project Mariner, ao Firebase Testing Agent e a algumas capacidades agênticas no AI Mode do Search.

Esse enquadramento importa. Um agente que conduz um navegador real a partir de capturas de tela é um encaixe natural para testes de frontend ponta a ponta — percorrer fluxos clicando, enviar formulários, verificar se elementos interativos se comportam como esperado — sem seletores escritos à mão que quebram quando a UI muda. O caminho de referência com Playwright se alinha diretamente com a forma como muitas equipes já escrevem testes de navegador.

O que um agente guiado por pixels muda para o trabalho de frontend

Como o modelo opera sobre capturas de tela e URLs em vez das entranhas do app, ele trata qualquer frontend web como uma superfície testável e automatizável do jeito que ela está. Não existe uma camada de integração para construir contra seus componentes; o agente usa a interface do jeito que um usuário usaria.

A implicação prática é que a mesma UI renderizada agora serve dois públicos — usuários humanos e um agente que navega por ela visualmente. A ressalva do próprio Google continua valendo: as salvaguardas reduzem o risco, mas não o eliminam, e ele recomenda que os desenvolvedores testem seus sistemas a fundo antes do lançamento. Para equipes avaliando isso, o ganho de curto prazo tem menos a ver com agentes autônomos para usuários finais e mais com transformar fluxos web já existentes em execuções de teste rápidas e autodirigidas contra a interface real.