Η Meta προσθέτει προτροπές κειμένου και τρισδιάστατη ανακατασκευή από μία εικόνα στη σειρά Segment Anything

Από το κλικ σε ένα pixel στην πληκτρολόγηση 'κόκκινο καπέλο του μπέιζμπολ'

Η βασική αλλαγή στο SAM 3 είναι ο τρόπος με τον οποίο υποδεικνύετε στο μοντέλο τι να τμηματοποιήσει. Τα SAM 1 και SAM 2 βασίζονταν σε οπτικές προτροπές — δείχνατε κάτι μέσα στο πλάνο. Το SAM 3 δέχεται λεπτομερείς προτροπές κειμένου και, σύμφωνα με τη Meta, τμηματοποιεί κάθε αντικείμενο που ταιριάζει σε μια εικόνα ή ένα βίντεο.

Η Meta τοποθετεί αυτή την αλλαγή απέναντι σε μια συγκεκριμένη αδυναμία των προηγούμενων συστημάτων: μοντέλα με σταθερά σύνολα ετικετών μπορούσαν να χειριστούν μια γενική έννοια όπως 'λεωφορείο' ή 'αυτοκίνητο', αλλά δυσκολεύονταν με το 'κίτρινο σχολικό λεωφορείο'. Το SAM 3 παρουσιάζεται ως ικανό να διαχειριστεί αυτή τη μεγαλύτερη ποικιλία περιγραφών, και η Meta αναφέρει ότι μπορεί να συνδυαστεί με πολυτροπικά LLM για σύνθετες προτροπές όπως 'άνθρωποι που κάθονται, αλλά δεν φορούν κόκκινο καπέλο του μπέιζμπολ'.

Αυτό το παράδειγμα άρνησης έχει μεγαλύτερη σημασία από το επίθετο του χρώματος. Ο αποκλεισμός ενός υποσυνόλου εντός μιας σκηνής απαιτεί συλλογισμό σχετικά με τις σχέσεις μεταξύ αντικειμένων, όχι απλή αντιστοίχιση μιας φράσης σε μια μάσκα — γι' αυτό η Meta διοχετεύει αυτές τις περιπτώσεις μέσω ενός εξωτερικού MLLM και όχι μόνο μέσω του SAM 3.

Το στοίχημα της μίας εικόνας του SAM 3D, και το σύνολο δεδομένων που φτιάχτηκε για να το αξιολογήσει

Το SAM 3D αποτελείται από δύο μοντέλα ανοιχτού κώδικα: το SAM 3D Objects για ανακατασκευή αντικειμένων και σκηνών, και το SAM 3D Body για εκτίμηση σώματος και σχήματος ανθρώπου. Και τα δύο λειτουργούν από μία μόνο εικόνα, κάτι που αποτελεί τον πιο δύσκολο και πιο χρήσιμο περιορισμό — χωρίς να απαιτείται εξοπλισμός λήψης από πολλαπλές οπτικές γωνίες.

Η Meta υποστηρίζει ότι το SAM 3D Objects ξεπερνά σημαντικά τις υπάρχουσες μεθόδους, αλλά το πιο αποκαλυπτικό στοιχείο είναι ότι κατασκεύασαν το μέτρο σύγκρισης παράλληλα με το μοντέλο. Το SAM 3D Artist Objects είναι ένα σύνολο δεδομένων αξιολόγησης που δημιουργήθηκε με καλλιτέχνες, και περιγράφεται ως ένας πρωτοποριακός, πιο αυστηρός τρόπος μέτρησης της πρόοδου στην τρισδιάστατη ανακατασκευή.

Η κυκλοφορία ενός νέου benchmark μαζί με ένα νέο μοντέλο είναι μια δίκοπη κίνηση: αναγνωρίζει ότι τα προηγούμενα benchmarks τρισδιάστατης ανακατασκευής ήταν πολύ εύκολα για να έχουν ουσιαστική σημασία, ενώ ταυτόχρονα επιτρέπει στο εργαστήριο που κάνει την κυκλοφορία να ορίσει τους όρους της δικής του σύγκρισης. Η αξία της εξαρτάται από το αν την υιοθετήσουν και άλλες ομάδες εκτός της Meta.

Το Playground και η εσωτερική αλυσίδα προϊόντων

Η Meta διαθέτει και τα δύο μοντέλα μέσω του Segment Anything Playground, ενός εργαλείου ιστού χωρίς κώδικα όπου οι χρήστες ανεβάζουν μια εικόνα ή ένα βίντεο και δίνουν προτροπή με μια φράση κειμένου, ή ξεκινούν από πρότυπα. Αξίζει να σημειωθούν τα πρακτικά πρότυπα — pixelation προσώπων, πινακίδων κυκλοφορίας και οθονών — μαζί με πιο παιχνιδιάρικα όπως ίχνη κίνησης και εφέ προβολέα.

Οι συγκεκριμένες ενσωματώσεις σε προϊόντα δείχνουν πού σκοπεύει η Meta να αξιοποιήσει τα μοντέλα: εφέ ειδικά για αντικείμενα και πρόσωπα που έρχονται στην εφαρμογή βίντεο Edits, δημιουργικές εμπειρίες στο Vibes εντός της εφαρμογής Meta AI και του meta.ai, και μια λειτουργία View in Room στο Facebook Marketplace που τοποθετεί τρισδιάστατες ανακατασκευές αντικειμένων, όπως λάμπες ή τραπέζια, στον χώρο του αγοραστή.

Τι διαθέτει στην πραγματικότητα η Meta στους προγραμματιστές

Η κυκλοφορία δεν είναι ισοδύναμη μεταξύ των δύο μοντέλων, και οι λεπτομέρειες έχουν σημασία για όποιον σκοπεύει να χτίσει πάνω σε αυτά. Για το SAM 3, η Meta μοιράζεται τα βάρη του μοντέλου, ένα σύνολο δεδομένων benchmark για τμηματοποίηση ανοιχτού λεξιλογίου, και μια ερευνητική εργασία που περιγράφει πώς κατασκευάστηκε το μοντέλο. Για το SAM 3D, μοιράζεται checkpoints του μοντέλου και κώδικα εξαγωγής συμπερασμάτων, καθώς και ένα νέο benchmark τρισδιάστατης ανακατασκευής.

Αξίζει να σημειωθεί ότι η ανακοίνωση αναφέρει βάρη για το SAM 3, αλλά checkpoints και κώδικα εξαγωγής συμπερασμάτων για το SAM 3D — χωρίς καμία σαφή αναφορά σε κώδικα εκπαίδευσης για το SAM 3D ή σχετική ερευνητική εργασία. Οι ομάδες θα πρέπει να επιβεβαιώσουν τους ακριβείς όρους αδειοδότησης και τα διαθέσιμα στοιχεία πριν υποθέσουν πλήρη αναπαραγωγιμότητα στο σκέλος του 3D.

Η Meta συνεργάζεται επίσης με τη Roboflow, ώστε οι χρήστες να μπορούν να επισημειώνουν δεδομένα και να προσαρμόζουν το SAM 3 στις δικές τους εργασίες. Αυτή η συνεργασία δείχνει ότι η Meta αναμένει το SAM 3 να προσαρμόζεται και όχι να χρησιμοποιείται ως έχει — το βασικό μοντέλο αποτελεί σημείο εκκίνησης για τμηματοποίηση εξειδικευμένη ανά τομέα.

Το πραγματικό μήνυμα: η τμηματοποίηση ανοιχτού λεξιλογίου ως επισημειωμένο συστατικό

Για τις ομάδες εφαρμοσμένης ΤΝ, το ουσιαστικό συμπέρασμα είναι ότι το SAM 3 συμπτύσσει δύο βήματα — τον εντοπισμό ενός ονομαζόμενου αντικειμένου και τη δημιουργία μιας μάσκας pixel για αυτό — σε μία κλήση με προτροπή κειμένου, με μια διαδρομή fine-tuning μέσω της Roboflow όταν το ενσωματωμένο λεξιλόγιο δεν επαρκεί.

Αυτό αλλάζει την εξίσωση 'να το φτιάξουμε ή να το ενσωματώσουμε' για οτιδήποτε αφορά επεξεργασία βίντεο, απόκρυψη ευαίσθητων στοιχείων ή εξαγωγή στοιχείων περιεχομένου. Τα πρότυπα pixelation προσώπων και πινακίδων υποδηλώνουν ροές συμμόρφωσης και προστασίας προσωπικών δεδομένων· η λειτουργία View in Room στο Marketplace δείχνει ότι η τρισδιάστατη ανακατασκευή μεταβαίνει από ερευνητική επίδειξη σε μια λειτουργία που φτάνει πραγματικά στους καταναλωτές. Το ανοιχτό ερώτημα είναι αν τα συνοδευτικά benchmarks θα υιοθετηθούν ευρέως, ώστε οι ισχυρισμοί επιδόσεων της Meta να μπορούν να επαληθευτούν και εκτός Meta.