Το Gemini Robotics της Google μετατρέπει τη φυσική γλώσσα σε ενέργειες ρομπότ

Τι κάνουν στην πραγματικότητα τα δύο μοντέλα

Η Google DeepMind ανακοίνωσε δύο μοντέλα στις 12 Μαρτίου. Το Gemini Robotics περιγράφεται ως μοντέλο vision-language-action (VLA): δέχεται ως είσοδο φυσική γλώσσα και εικόνες και παράγει ενέργειες που επιτρέπουν σε ένα ρομπότ να κινείται φυσικά και να εκτελεί εργασίες.

Το δεύτερο, το Gemini Robotics-ER, είναι ένα μοντέλο συλλογιστικής που βελτιώνει δεξιότητες όπως η αναγνώριση αντικειμένων και των μερών τους στον τρισδιάστατο χώρο. Ο διαχωρισμός αξίζει προσοχή -το ένα μοντέλο παράγει κίνηση, το άλλο χτίζει τη χωρική κατανόηση από την οποία εξαρτάται η κίνηση.

Οι επιδείξεις που επέλεξε η Google -δίπλωμα οριγκάμι, προετοιμασία γευμάτων, γράψιμο λέξεων με πλακίδια Scrabble- είναι σκόπιμα καθημερινές εργασίες χειρισμού αντικειμένων και όχι στημένα θεάματα. Καθεμία απαιτεί χειρισμό μικρών αντικειμένων με ανοχές που αφήνουν ελάχιστο περιθώριο λάθους.

Η προτροπή είναι η διεπαφή

Για όποιον σκέφτεται σε όρους frontend, το αξιοσημείωτο σημείο εδώ είναι η μορφή εισόδου. Η δηλωμένη διεπαφή προς το Gemini Robotics είναι η φυσική γλώσσα και οι εικόνες. Δεν γίνεται καμία αναφορά σε teach pendants, προγραμματισμό μέσω σημείων αναφοράς ή γλώσσες σχεδιασμού κίνησης στην ανακοίνωση -η γλώσσα είναι η επιφάνεια ελέγχου.

Αυτό καταρρίπτει μια οικεία διάκριση. Στον ιστό, ένα πλαίσιο συνομιλίας είναι ένα στρώμα ευκολίας πάνω από ένα API. Σε ένα ρομπότ, ένα πλαίσιο συνομιλίας που παράγει ενέργειες είναι το ίδιο το API. Το ίδιο πεδίο κειμένου που διπλώνει έναν γερανό οριγκάμι πιάνει και ένα πλακίδιο Scrabble· το frontend και ο ενεργοποιητής χωρίζονται μόνο από το μοντέλο.

Αυτό εγείρει επίσης ερωτήματα διεπαφής που τα βοηθητικά προγράμματα μόνο κειμένου δεν χρειάστηκε ποτέ να απαντήσουν σωστά. Όταν η έξοδος είναι φυσική κίνηση, η ασάφεια σε μια προτροπή έχει κόστος που κανένα κουμπί επανάληψης δεν καλύπτει πλήρως.

Τι δείχνει και τι δεν δείχνει ένα demo

Αυτή η ανάρτηση είναι μια καταχώρηση βίντεο, όχι τεχνική αναφορά. Ονομάζει δύο μοντέλα, περιγράφει τις εισόδους και τις εξόδους τους σε γενικές γραμμές και δείχνει εργασίες. Δεν δημοσιεύει ποσοστά επιτυχίας, λεπτομέρειες υλικού ή το φάσμα αντικειμένων στα οποία γενικεύουν τα μοντέλα.

Άρα η ειλικρινής ανάγνωση είναι περιορισμένη: η Google τοποθετεί το Gemini ως θεμέλιο για τη ρομποτική, με τη συλλογιστική για τον τρισδιάστατο χώρο να αποτελεί ξεχωριστό μοντέλο. Η ποικιλία εργασιών στο demo είναι ένδειξη της επιδιωκόμενης γενικευσιμότητας, αλλά ένα demo είναι επιμελημένο υλικό, όχι σημείο αναφοράς αξιολόγησης.

Γιατί η μετάβαση από γλώσσα σε ενέργεια έχει σημασία για τους developers

Η συγκεκριμένη προέκταση αυτής της ανακοίνωσης είναι ότι η Google αντιμετωπίζει ένα ρομπότ ως άλλη μία επιφάνεια που «μιλά» τη μορφή εισόδου του Gemini -κείμενο και εικόνες μπαίνουν, δομημένη έξοδος βγαίνει- όπου η έξοδος τυχαίνει να είναι φυσική ενέργεια αντί για ροή token.

Αν αυτή η προσέγγιση επιβεβαιωθεί πέρα από τις επιδείξεις, ο σχεδιασμός για τη ρομποτική πλησιάζει τον σχεδιασμό οποιασδήποτε γλωσσικής διεπαφής: γραφή σαφών οδηγιών, διαχείριση ασάφειας και απόφαση για το τι επιτρέπεται να επιχειρήσει το μοντέλο. Το χάσμα μεταξύ μιας προτροπής σε chatbot και της διοίκησης ενός ρομπότ στενεύει σε ζήτημα συνεπειών, όχι σχήματος API.