Το V-JEPA 2 της Meta εκπαιδεύει ένα μοντέλο κόσμου σε βίντεο για να καθοδηγήσει ενέργειες ρομπότ

Τι κυκλοφόρησε στην πραγματικότητα η Meta

Στις 11 Ιουνίου 2025, η Meta παρουσίασε το V-JEPA 2, ένα μοντέλο κόσμου εκπαιδευμένο σε βίντεο, το οποίο η εταιρεία παρουσιάζει ως τον διάδοχο του αρχικού V-JEPA που κυκλοφόρησε πέρυσι. Ο δηλωμένος στόχος είναι η φυσική συλλογιστική: να δοθεί σε πράκτορες ΤΝ ένα εσωτερικό μοντέλο για τον τρόπο με τον οποίο ο κόσμος θα αντιδράσει στις ενέργειές τους.

Η Meta παρουσιάζει τρεις ικανότητες ως τον πυρήνα ενός μοντέλου κόσμου — κατανόηση, πρόβλεψη και σχεδιασμό. Το πρώτο V-JEPA κάλυπτε την κατανόηση και την πρόβλεψη από βίντεο. Το V-JEPA 2 παρουσιάζεται ως βελτίωση και των δύο, σε σημείο που τα ρομπότ μπορούν να δράσουν βάσει των προβλέψεων του μοντέλου.

Παράλληλα με το μοντέλο, η Meta κυκλοφόρησε τρία νέα benchmarks που στοχεύουν να επιτρέψουν σε άλλους ερευνητές να μετρήσουν πόσο καλά τα δικά τους μοντέλα συλλογίζονται για τον φυσικό κόσμο από βίντεο. Αυτός ο συνδυασμός —ένα μοντέλο μαζί με τα εργαλεία αξιολόγησης μοντέλων στον ίδιο τομέα— είναι το πιο σημαντικό κομμάτι της κυκλοφορίας.

Η επίδειξη με το ρομπότ είναι περιορισμένη, και η Meta το αναγνωρίζει

Η συγκεκριμένη απόδειξη που προσφέρει η Meta είναι ένα εργαστηριακό αποτέλεσμα: ρομπότ που χρησιμοποιούν το V-JEPA 2 για να προσεγγίσουν αντικείμενα, να τα σηκώσουν και να τα τοποθετήσουν σε νέα θέση. Πρόκειται για τις κλασικές βασικές λειτουργίες του ρομποτικού χειρισμού, και η ανακοίνωση τις περιγράφει απλά, χωρίς να τις παρουσιάζει ως ολοκληρωμένα προϊόντα.

Η φράση που χρησιμοποιεί η Meta είναι ότι τα ρομπότ μπορούν να «αλληλεπιδρούν με άγνωστα αντικείμενα και περιβάλλοντα για να ολοκληρώσουν μια εργασία». Αυτή η διατύπωση έχει σημασία. Η γενίκευση σε άγνωστα αντικείμενα είναι το πιο δύσκολο κομμάτι του χειρισμού· ένα μοντέλο που έμαθε μοτίβα αλληλεπίδρασης από βίντεο και όχι από δεδομένα τηλεχειρισμού συγκεκριμένων εργασιών αποτελεί διαφορετική στρατηγική επιλογή από τις περισσότερες προσεγγίσεις ρομποτικής.

Ωστόσο, η πηγή σταματά στην προσέγγιση, τη λήψη και την τοποθέτηση αντικειμένων στα εργαστήρια της ίδιας της Meta. Δεν υπάρχει καμία δήλωση σχετικά με ποσοστά επιτυχίας, πολυπλοκότητα εργασιών ή ανάπτυξη εκτός ελεγχόμενων συνθηκών. Αν διαβαστεί με ακρίβεια, πρόκειται για μια πρώιμη επίδειξη ικανοτήτων που συνοδεύει την κυκλοφορία ενός μοντέλου.

Εκμάθηση φυσικής από βίντεο αντί από επισημασμένα δεδομένα ενεργειών

Εκπαιδεύσαμε το V-JEPA 2 χρησιμοποιώντας βίντεο, το οποίο βοήθησε το μοντέλο να μάθει σημαντικά μοτίβα του φυσικού κόσμου, όπως τον τρόπο με τον οποίο οι άνθρωποι αλληλεπιδρούν με αντικείμενα, τον τρόπο με τον οποίο τα αντικείμενα κινούνται στον φυσικό κόσμο και τον τρόπο με τον οποίο τα αντικείμενα αλληλεπιδρούν μεταξύ τους.Montana Labs

Η λογική πίσω από αυτή την προσέγγιση είναι ότι το παθητικό βίντεο είναι άφθονο και η φυσική είναι σταθερή, οπότε ένα μοντέλο μπορεί να απορροφήσει πώς κινούνται και συγκρούονται τα αντικείμενα χωρίς να χρειάζεται ρητή επισήμανση ή καθοδήγηση για κάθε ενέργεια. Οι αναλογίες με το μπαλάκι του τένις και το δισκάκι του χόκεϊ στην ανακοίνωση είναι ο τρόπος της Meta να περιγράψει την πρόβλεψη μελλοντικής κατάστασης και όχι την αναγνώριση της τρέχουσας κατάστασης.

Πρόκειται για διαφορετική γενεαλογία σε σχέση με τους πράκτορες που βασίζονται σε γλωσσικά μοντέλα και συλλογίζονται μέσω κειμένου. Εδώ το υπόστρωμα της συλλογιστικής είναι μια εκμαθημένη αναπαράσταση της οπτικής δυναμικής, και η φράση «σκέψη πριν από τη δράση» στον τίτλο αναφέρεται συγκεκριμένα στην πρόβλεψη αποτελεσμάτων πριν από την εκτέλεση μιας φυσικής ενέργειας.

Τα benchmarks είναι το κομμάτι που αξίζει να παρακολουθούν οι ομάδες εφαρμογών

Για όποιον χτίζει λύσεις πάνω στην ΤΝ φυσικού κόσμου, τα τρία benchmarks είναι πιο πρακτικά αξιοποιήσιμα από το ίδιο το μοντέλο. Η κυκλοφορία ενός μοντέλου είναι ένα μεμονωμένο τεχνούργημα· τα κοινά κριτήρια αξιολόγησης διαμορφώνουν τον τρόπο με τον οποίο ολόκληρος ένας κλάδος μετρά την πρόοδο, και όποιος ορίζει το benchmark τείνει να ορίζει τι θεωρείται επιτυχία.

Η Meta συνδέει ρητά αυτή την κίνηση με την επιτάχυνση της εξωτερικής έρευνας, προσφέροντας στην κοινότητα «τα καλύτερα μοντέλα και benchmarks». Οι ομάδες που αξιολογούν μοντέλα κόσμου για ρομποτική θα πρέπει να αντιμετωπίζουν αυτά τα benchmarks ως μια δήλωση για το τι σημαίνει φυσική συλλογιστική —μια δήλωση που μπορούν να υιοθετήσουν ή να αμφισβητήσουν, όχι να δεχτούν χωρίς κριτική.

Η συγκεκριμένη σημασία: το V-JEPA 2 δείχνει ότι η Meta ανταγωνίζεται στον τομέα του μοντέλου κόσμου από βίντεο σε δράση, και δημοσιεύοντας τα εργαλεία αξιολόγησης παράλληλα με το μοντέλο, προσπαθεί να θέσει τους όρους με βάση τους οποίους θα κρίνονται τα μοντέλα φυσικής συλλογιστικής όλων των άλλων. Αυτή η κίνηση καθορισμού προτύπων ξεπερνά σε σημασία την επίδειξη προσέγγισης-λήψης-τοποθέτησης με την οποία συνοδεύτηκε.