Το μοντέλο Gemini 2.5 Computer Use της Google εκτελεί βρόχο screenshot-to-action για browser agents

Ο βρόχος: screenshot μέσα, ενέργεια UI έξω

Το μοντέλο είναι διαθέσιμο μέσω ενός νέου εργαλείου `computer_use` στο Gemini API, και η Google είναι ξεκάθαρη ότι προορίζεται να λειτουργεί μέσα σε έναν βρόχο και όχι ως μία μεμονωμένη κλήση. Σε κάθε γύρο, το μοντέλο τροφοδοτείται με τρία στοιχεία: το αίτημα του χρήστη, ένα στιγμιότυπο του τρέχοντος περιβάλλοντος και ένα ιστορικό των πρόσφατων ενεργειών.

Το μοντέλο απαντά με μια κλήση συνάρτησης που αντιπροσωπεύει μία ενέργεια UI — κλικ, πληκτρολόγηση, κύλιση. Ο κώδικας από την πλευρά του client εκτελεί αυτή την ενέργεια, στη συνέχεια συλλαμβάνει ένα νέο στιγμιότυπο και το τρέχον URL και τα στέλνει πίσω ως απάντηση συνάρτησης, ξεκινώντας εκ νέου τον βρόχο. Αυτό συνεχίζεται μέχρι να ολοκληρωθεί η εργασία, να προκύψει σφάλμα, ή μέχρι μια απόκριση ασφαλείας ή τον χρήστη να το διακόψουν.

Αυτός ο σχεδιασμός αξίζει προσοχή για τις ομάδες frontend: το μοντέλο δεν διαβάζει το DOM ούτε συνδέεται με τα εσωτερικά μιας εφαρμογής. Δουλεύει με pixel και ένα URL, την ίδια επιφάνεια που βλέπει και ένας άνθρωπος. Οι υλοποιήσεις αναφοράς αντικατοπτρίζουν αυτό — η Google καθοδηγεί τους developers να χτίσουν τον βρόχο του agent τοπικά με Playwright ή σε ένα cloud VM μέσω Browserbase.

Περιορισμένο στον browser, όχι στην επιφάνεια εργασίας

Η Google είναι σαφής ως προς το πού λειτουργεί το μοντέλο. Είναι κυρίως βελτιστοποιημένο για web browsers και δείχνει υποσχόμενα αποτελέσματα στον έλεγχο mobile UI, αλλά δεν είναι ακόμη βελτιστοποιημένο για έλεγχο σε επίπεδο desktop λειτουργικού συστήματος.

Οι επιδείξεις παραμένουν εντός αυτού του ορίου: εξαγωγή στοιχείων κατοικίδιων από μια web φόρμα και εισαγωγή τους σε ένα CRM για τον προγραμματισμό ραντεβού, και μεταφορά αυτοκόλλητων σημειώσεων σε κατηγορίες μέσα σε μια web εφαρμογή. Και οι δύο είναι συνηθισμένες εργασίες browser — συμπλήρωση φορμών, χειρισμός αναδυόμενων μενού και φίλτρων, λειτουργία πίσω από logins — τις οποίες η Google παρουσιάζει ως τη συγκεκριμένη δυνατότητα που έλειπε όταν οι agents μπορούσαν να επικοινωνούν μόνο με δομημένα API.

Ο έλεγχος ασφαλείας ανά βήμα τρέχει εκτός του μοντέλου

Η Google αναφέρει τρεις κινδύνους που σχετίζονται ειδικά με agents που ελέγχουν υπολογιστές: εσκεμμένη κακή χρήση από χρήστες, μη αναμενόμενη συμπεριφορά του μοντέλου, και prompt injections και απάτες μέσα στο web περιβάλλον. Χαρακτηριστικά ασφαλείας έχουν εκπαιδευτεί στο μοντέλο, αλλά το πιο ενδιαφέρον κομμάτι για τους developers είναι ο έλεγχος εκτός μοντέλου.

Υπηρεσία ασφαλείας ανά βήμα: Μια υπηρεσία ασφαλείας εκτός μοντέλου, σε στάδιο inference, η οποία αξιολογεί κάθε ενέργεια που προτείνει το μοντέλο πριν αυτή εκτελεστεί.Montana Labs

Επιπλέον, οι developers μπορούν να χρησιμοποιήσουν οδηγίες συστήματος ώστε ο agent να αρνείται ή να ζητά επιβεβαίωση από τον χρήστη πριν από ενέργειες υψηλού ρίσκου. Το ίδιο το μοντέλο μπορεί επίσης να επισημάνει ότι απαιτείται επιβεβαίωση από τον τελικό χρήστη — για παράδειγμα, πριν από μια αγορά. Η Google αναφέρει συγκεκριμένες ενέργειες που θεωρεί υψηλού κινδύνου: βλάβη στην ακεραιότητα του συστήματος, παραβίαση της ασφάλειας, παράκαμψη CAPTCHA και έλεγχο ιατρικών συσκευών.

Το UI testing είναι η πρώτη περίπτωση χρήσης που κυκλοφόρησε η Google

Ανάμεσα στις πρώτες εφαρμογές, η Google αναδεικνύει το UI testing στις δικές της παραγωγικές ομάδες, λέγοντας ότι μπορεί να κάνει την ανάπτυξη λογισμικού σημαντικά ταχύτερη. Εκδόσεις του μοντέλου τροφοδοτούν ήδη το Project Mariner, τον Firebase Testing Agent και ορισμένες agentic δυνατότητες στο AI Mode στην Αναζήτηση.

Αυτή η προσέγγιση έχει σημασία. Ένας agent που οδηγεί έναν πραγματικό browser από στιγμιότυπα οθόνης ταιριάζει φυσικά στο end-to-end frontend testing — κάνοντας κλικ σε ροές, υποβάλλοντας φόρμες, ελέγχοντας ότι τα διαδραστικά στοιχεία συμπεριφέρονται σωστά — χωρίς χειρόγραφους selectors που σπάνε όταν αλλάζει το UI. Η διαδρομή αναφοράς με Playwright ευθυγραμμίζεται άμεσα με τον τρόπο που πολλές ομάδες γράφουν ήδη browser tests.

Τι αλλάζει για τη δουλειά frontend ένας agent βασισμένος σε pixel

Επειδή το μοντέλο λειτουργεί με στιγμιότυπα οθόνης και URLs και όχι με τα εσωτερικά της εφαρμογής, αντιμετωπίζει κάθε web frontend ως μια δοκιμάσιμη και αυτοματοποιήσιμη επιφάνεια, όπως είναι. Δεν υπάρχει επίπεδο ενσωμάτωσης που να πρέπει να χτίσετε πάνω στα components σας· ο agent χρησιμοποιεί τη διεπαφή όπως θα την χρησιμοποιούσε ένας χρήστης.

Η πρακτική συνέπεια είναι ότι το ίδιο rendered UI εξυπηρετεί πλέον δύο ομάδες — ανθρώπους χρήστες και έναν agent που το πλοηγεί οπτικά. Η επιφύλαξη της ίδιας της Google εξακολουθεί να ισχύει: οι μηχανισμοί ασφαλείας μειώνουν τον κίνδυνο αλλά δεν τον εξαλείφουν, και προτρέπει τους developers να δοκιμάσουν διεξοδικά τα συστήματά τους πριν από την κυκλοφορία. Για τις ομάδες που αξιολογούν αυτή την τεχνολογία, το άμεσο όφελος αφορά λιγότερο αυτόνομους agents τελικών χρηστών και περισσότερο τη μετατροπή υπαρχόντων web ροών σε ταχείς, αυτο-οδηγούμενους δοκιμαστικούς κύκλους πάνω στην πραγματική διεπαφή.