News · A Google integra a utilização de computador na Gemini 3.5 Flash como ferramenta nativa

Jun, 244 min de leitura
Frontend

A Google integra a utilização de computador na Gemini 3.5 Flash como ferramenta nativa

A funcionalidade que foi lançada como modelo Gemini 2.5 autónomo passa agora a estar integrada no modelo Flash principal, destinada a agentes de browser, mobile e desktop.

De um modelo separado a uma ferramenta nativa

A alteração estrutural é simples de descrever, mas tem um impacto significativo na prática. A utilização de computador estava até agora disponível apenas como modelo autónomo, o Gemini 2.5 computer use. Com este lançamento, passa a ser uma ferramenta nativa dentro da Gemini 3.5 Flash, juntando-se às ferramentas de function calling e grounding (Search, Maps) que a Flash já disponibilizava.

Isto é relevante porque muda a forma como se compõe um agente. Em vez de encaminhar os passos de interação com a interface para um modelo e os passos de raciocínio para outro, um developer pode pedir a uma única instância da Flash que veja, raciocine e aja — nas palavras da Google — em ambientes de browser, mobile e desktop dentro de um único ciclo de invocação de ferramentas. As costuras entre 'compreender a tarefa' e 'clicar no botão' desaparecem da superfície de integração.

As duas demonstrações são trabalho de frontend, não chatbots

A Google ilustra a funcionalidade com duas tarefas concretas, ambas relacionadas com engenharia de frontend. Na primeira, a 3.5 Flash analisa a aplicação Gemini e devolve uma lista categorizada de funcionalidades. Na segunda, audita a sua própria documentação em busca de problemas de acessibilidade.

Vale a pena interpretar estas tarefas como modelos a seguir. O inventário de funcionalidades numa interface real corresponde a trabalho de mapeamento de regressões e cobertura. A auditoria de acessibilidade é uma tarefa que as equipas de frontend frequentemente adiam, porque exige percorrer pacientemente uma interface já renderizada. Ambas são exatamente o tipo de trabalho repetitivo e de leitura de ecrã que um agente a operar num browser real pode tentar realizar, e ambas são precisamente aquilo para que a Google está a orientar os developers com o enquadramento de 'testes contínuos de software'.

A distinção que importa reter: trata-se de um agente a operar sobre a superfície renderizada de uma aplicação, e não sobre o seu código-fonte. Isto torna-o particularmente útil precisamente onde não se controla ou não é fácil instrumentar o frontend — aplicações de terceiros, widgets incorporados, fluxos multiplataforma.

A injeção de prompts é tratada como condição operacional, não como caso extremo

Qualquer agente que leia uma interface real pode ler texto colocado nessa interface por um atacante. A Google reconhece isto de forma direta e vai além de um simples aviso. Existe treino adversarial específico incorporado no modelo, além de dois sistemas de proteção empresarial opcionais: um que exige confirmação explícita do utilizador antes de ações sensíveis ou irreversíveis, e outro que interrompe automaticamente uma tarefa quando é detetada uma injeção indireta de prompt.

Seguindo uma abordagem de "defesa em profundidade", incentivamos os developers a combinar estas funcionalidades com sandboxing seguro, verificação humana no processo e controlos de acesso rigorosos.Montana Labs

O sinal honesto nesta frase é que o treino a nível do modelo não é apresentado como suficiente. As salvaguardas são opcionais e em camadas, o que significa que a responsabilidade por uma implementação segura continua a caber à equipa que constrói o agente. Se apontarmos a Flash para uma página que um adversário pode editar, o trabalho de sandboxing e controlo de acessos fica a nosso cargo.

O que uma ferramenta nativa de utilização de computador muda para as equipas que lançam automação de UI

A implicação prática é que a automação de interfaces deixa de ser uma escolha de modelo especializado e passa a ser uma opção a ativar dentro do modelo que já se estava provavelmente a usar para invocação de ferramentas. O acesso é feito através da Gemini API e da Gemini Enterprise Agent Platform, com um ambiente de demonstração alojado pela Browserbase para equipas que queiram experimentar antes de configurar o seu próprio sandbox.

Para os grupos de frontend e QA, o teste imediato é restrito e tem resposta clara: um agente a operar sobre a aplicação renderizada produz um inventário de funcionalidades ou um relatório de acessibilidade suficientemente fiável para se agir com base nele? A Google apresentou ambas as tarefas como exemplos de referência, o que as torna o benchmark justo a aplicar. A questão da infraestrutura — sandboxing, pontos de confirmação, bloqueios a injeções — é agora o fator que determina se isto é uma demonstração ou uma implementação real.

Find this story relevant to you?

Contact us to find a unique solution

Contact us

Precisa de um parceiro de engenharia de IA que saiba executar?

Ajudamos equipas em Portugal a integrar IA em produtos, automatizar processos de alto valor e modernizar os sistemas que suportam o negocio.

Get in touch

Leitura relacionada

Mais análises sobre entrega de produto, AI operacional e o trabalho de sistemas que faz com que a implementação funcione na prática.

Jul, 134 min de leitura
Frontend

A DNP colocou o ChatGPT Enterprise diante de dez departamentos e tratou a janela de chat como interface

Jul, 134 min de leitura
Frontend

A AdventHealth implementa o ChatGPT em nove estados ao tratar a adoção como o produto

Jul, 13Leitura de 4 min
Frontend

A AP+ utiliza a Codex para criar prototípagens de pagamento funcionais, e não apenas ecrãs clicáveis