Google integriert Computerbedienung als eingebautes Tool in Gemini 3.5 Flash

Vom eigenständigen Modell zum eingebauten Tool

Die strukturelle Änderung lässt sich einfach beschreiben, wirkt sich in der Praxis aber erheblich aus. Bisher war die Computerbedienung nur als eigenständiges Gemini 2.5 Computer-Use-Modell verfügbar. Mit diesem Release wird sie zu einem eingebauten Tool innerhalb von Gemini 3.5 Flash – neben den Funktionen für Function Calling und Grounding (Search, Maps), die Flash bereits bietet.

Das ist relevant, weil es verändert, wie man einen Agenten zusammensetzt. Statt UI-steuernde Schritte an ein Modell und Denkschritte an ein anderes weiterzuleiten, kann eine einzelne Flash-Instanz – in den Worten von Google – über Browser-, Mobil- und Desktop-Umgebungen hinweg sehen, denken und handeln, und zwar innerhalb einer einzigen Tool-Calling-Schleife. Die Übergänge zwischen „Aufgabe verstehen“ und „Button klicken“ verschwinden aus der Integrationsebene.

Die beiden Demos sind Frontend-Arbeit, keine Chatbots

Google veranschaulicht die Fähigkeit mit zwei konkreten Aufgaben, und beide sind klassische Frontend-Engineering-Tätigkeiten. Im ersten Beispiel analysiert 3.5 Flash die Gemini-App und liefert eine kategorisierte Liste von Funktionen. Im zweiten prüft es die eigene Dokumentation auf Barrierefreiheitsprobleme.

Man sollte diese Beispiele als Vorlagen verstehen. Die Feature-Inventarisierung gegen eine Live-UI entspricht Regressions-Mapping und Coverage-Arbeit. Barrierefreiheitsprüfungen werden von Frontend-Teams oft aufgeschoben, weil sie erfordern, eine gerenderte Oberfläche geduldig durchzugehen. Beide Aufgaben sind genau die Art von repetitiver, bildschirmlesender Arbeit, an die sich ein Agent mit echter Browsersteuerung wagen kann – und beide entsprechen exakt dem, worauf Google Entwickler mit seinem Konzept des „kontinuierlichen Software-Testens“ hinweisen möchte.

Der Unterschied, den man sich merken sollte: Dieser Agent operiert auf der gerenderten Oberfläche einer Anwendung, nicht auf ihrem Quellcode. Das macht ihn genau dort nützlich, wo man das Frontend nicht kontrolliert oder nicht einfach instrumentieren kann – bei Drittanbieter-Apps, eingebetteten Widgets, plattformübergreifenden Abläufen.

Prompt Injection wird als Betriebsbedingung behandelt, nicht als Sonderfall

Jeder Agent, der eine Live-UI liest, kann auch Text lesen, den ein Angreifer in diese UI eingeschleust hat. Google erkennt dies offen an und bietet mehr als nur einen Hinweis. Es gibt gezieltes adversariales Training, das fest ins Modell integriert ist, sowie zwei optionale Sicherheitssysteme für Unternehmen: eines, das vor sensiblen oder irreversiblen Aktionen eine ausdrückliche Nutzerbestätigung verlangt, und eines, das eine Aufgabe automatisch stoppt, wenn eine indirekte Prompt Injection erkannt wird.

Mit einem „Defense-in-Depth“-Ansatz empfehlen wir Entwicklern, diese Funktionen mit sicherem Sandboxing, Human-in-the-Loop-Überprüfung und strikten Zugriffskontrollen zu kombinieren.Montana Labs

Das ehrliche Signal in diesem Satz ist, dass Training auf Modellebene allein nicht als ausreichend angeboten wird. Die Sicherheitsmaßnahmen sind optional und mehrschichtig gestaltet, was bedeutet, dass die Verantwortung für einen sicheren Einsatz weiterhin beim Team liegt, das den Agenten baut. Wenn man Flash auf eine Seite ansetzt, die ein Angreifer bearbeiten kann, liegt die Arbeit für Sandboxing und Zugriffskontrolle bei einem selbst.

Was ein natives Computer-Use-Tool für Teams verändert, die UI-Automatisierung ausliefern

Die praktische Konsequenz ist, dass UI-Automatisierung keine spezialisierte Modellentscheidung mehr ist, sondern zu einem Funktionsschalter innerhalb des Modells wird, das man ohnehin schon für Tool-Calling verwendet. Der Zugang erfolgt über die Gemini API und die Gemini Enterprise Agent Platform, mit einer von Browserbase gehosteten Demo-Umgebung für Teams, die es ausprobieren möchten, bevor sie ihre eigene Sandbox aufbauen.

Für Frontend- und QA-Teams ist der kurzfristige Test klar umrissen und beantwortbar: Erzeugt ein Agent, der die gerenderte App steuert, ein Feature-Inventar oder einen Barrierefreiheitsbericht, dem man genug vertraut, um danach zu handeln? Google hat beide Aufgaben als Vorzeigebeispiele präsentiert, was sie zum fairen Maßstab macht. Die Infrastrukturfrage – Sandboxing, Bestätigungsschritte, Injection-Stopps – entscheidet nun darüber, ob es sich hierbei um eine Demo oder einen tatsächlichen produktiven Einsatz handelt.