Η Meta επεκτείνει τη σειρά Segment Anything στον ήχο με το SAM Audio

Τι κάνει στην πραγματικότητα το SAM Audio

Στις 16 Δεκεμβρίου, η Meta κυκλοφόρησε το SAM Audio, το οποίο περιγράφεται ως το πρώτο ενιαίο μοντέλο ΤΝ που τμηματοποιεί ήχο μέσα από σύνθετα ηχητικά μείγματα. Η πρόταση αξίας είναι συγκεκριμένη: καταγράψτε ένα βίντεο ενός συγκροτήματος και απομονώστε την κιθάρα ή τη φωνή με ένα κλικ, φιλτράρετε τον θόρυβο της κυκλοφορίας από πλάνα που γυρίστηκαν σε εξωτερικό χώρο, ή αφαιρέστε το γάβγισμα ενός σκύλου από ολόκληρη μια ηχογράφηση podcast.

Το πλαίσιο έχει σημασία. Η Meta τοποθετεί το μοντέλο απέναντι σε έναν «κατακερματισμένο χώρο» εργαλείων μοναδικού σκοπού, όπου κάθε εργασία επεξεργασίας απαιτούσε παραδοσιακά το δικό της εξειδικευμένο λογισμικό. Ο ισχυρισμός του SAM Audio είναι ότι ένα μόνο μοντέλο καλύπτει το σύνολο των εργασιών διαχωρισμού που πραγματικά χρειάζονται οι χρήστες, αντί να προσφέρει ένα διαφορετικό εργαλείο για κάθε περίπτωση χρήσης.

Τρεις τύποι προτροπών, ένας από αυτούς νέος

Το SAM Audio δέχεται τρία είδη προτροπών. Η προτροπή κειμένου σας επιτρέπει να πληκτρολογήσετε «γάβγισμα σκύλου» ή «τραγουδιστική φωνή» για να εξάγετε έναν συγκεκριμένο ήχο. Η οπτική προτροπή σας επιτρέπει να κάνετε κλικ στο άτομο ή το αντικείμενο μέσα σε ένα βίντεο που παράγει έναν ήχο, συνδέοντας το ηχητικό κομμάτι με το οπτικό πλάνο. Η προτροπή χρονικού διαστήματος σας επιτρέπει να σημειώσετε τα χρονικά τμήματα όπου εμφανίζεται ο ζητούμενος ήχος.

Η Meta αποκαλεί την προτροπή χρονικού διαστήματος πρωτοπορία στον κλάδο. Είναι επίσης η πιο σημαντική από τεχνική άποψη από τις τρεις, καθώς αντιμετωπίζει το ίδιο το χρονολόγιο ως επιφάνεια επιλογής — το ηχητικό αντίστοιχο της σχεδίασης ενός πλαισίου οριοθέτησης πάνω σε μια περιοχή, αντί της περιγραφής του περιεχομένου της. Η Meta σημειώνει ότι οι τρεις μέθοδοι μπορούν να χρησιμοποιηθούν μόνες τους ή σε οποιονδήποτε συνδυασμό, κάτι που δικαιολογεί τον ισχυρισμό περί «ενιαίου» μοντέλου: οι επιλογές κειμένου, κλικ και χρονικού εύρους συνθέτονται σε μία ενιαία λειτουργία διαχωρισμού.

Το πρότυπο Segment Anything, μεταφερμένο σε νέα τροπικότητα

Το SAM Audio παρουσιάζεται ρητά ως η πιο πρόσφατη προσθήκη στη συλλογή Segment Anything της Meta. Η αρχική εργασία SAM καθιέρωσε μια διεπαφή βασισμένη σε προτροπές για την απομόνωση περιοχών σε εικόνες και βίντεο· αυτή η κυκλοφορία μεταφέρει το ίδιο μοντέλο αλληλεπίδρασης στον ήχο, όπου η «περιοχή» που τμηματοποιείται είναι μια πηγή ήχου μέσα σε ένα μείγμα.

Αυτή η συνέχεια είναι το ζητούμενο. Η Meta δεν κυκλοφορεί απλώς έναν διαχωριστή ήχου — επεκτείνει ένα συνεπές λεξιλόγιο προτροπών σε εικόνα, βίντεο και τώρα ήχο. Η οπτική προτροπή γεφυρώνει τα δύο: κάνοντας κλικ σε ένα αντικείμενο μέσα σε ένα πλάνο και εξάγοντας τον ήχο του, το βίντεο και το ηχητικό του κομμάτι αντιμετωπίζονται ως ένα ενιαίο, προσβάσιμο αντικείμενο.

Χρησιμοποιούμε ήδη το SAM Audio για να βοηθήσουμε στην κατασκευή της επόμενης γενιάς εργαλείων δημιουργικού περιεχομένου.Montana Labs

Διαθεσιμότητα και η επιλογή διανομής ανοιχτού μοντέλου

Η Meta έκανε το SAM Audio διαθέσιμο με δύο τρόπους από την πρώτη ημέρα: με δυνατότητα λήψης για απευθείας χρήση, και με δυνατότητα δοκιμής μέσω του Segment Anything Playground, μιας νέας πλατφόρμας όπου οποιοσδήποτε μπορεί να επιλέξει από τα ηχητικά και βίντεο στοιχεία της Meta ή να ανεβάσει τα δικά του. Η ανακοίνωση φέρει ετικέτα ανοιχτού κώδικα, σύμφωνα με τον τρόπο που η Meta έχει διανείμει προηγούμενα μοντέλα Segment Anything.

Η διπλή κυκλοφορία — πλατφόρμα δοκιμών σε συνδυασμό με βάρη προς λήψη — στοχεύει ταυτόχρονα δύο διαφορετικά είδη κοινού: περιστασιακούς χρήστες που δοκιμάζουν τα demo στοιχεία, και προγραμματιστές που θέλουν το μοντέλο στις δικές τους ροές εργασίας. Η Meta δηλώνει επίσης ξεκάθαρα ότι θεωρεί το SAM Audio το καλύτερο διαθέσιμο μοντέλο διαχωρισμού ήχου, έναν ισχυρισμό συγκριτικής αξιολόγησης που η κυκλοφορία για λήψη προσκαλεί άλλους να δοκιμάσουν.

Τι σηματοδοτεί η προτροπή χρονικού διαστήματος για τα εργαλεία ήχου

Το συγκεκριμένο στοίχημα που αξίζει παρακολούθησης είναι η προτροπή χρονικού διαστήματος. Οι προτροπές κειμένου και κλικ είναι γνωστές από την τμηματοποίηση εικόνων, αλλά η σημείωση χρονικών ευρών ως βασικό στοιχείο επιλογής είναι εγγενής στην εργασία ήχου και βίντεο — αντιστοιχεί άμεσα στον τρόπο με τον οποίο οι επεξεργαστές ήδη περιηγούνται σε χρονολόγια. Εάν αυτή η αλληλεπίδραση εξελιχθεί σε τυπικό είδος προτροπής, τα εργαλεία επεξεργασίας ήχου που βασίζονται στο SAM Audio θα μπορούσαν να συγκλίνουν σε ένα μοντέλο επιλογής που αντικατοπτρίζει τις ροές εργασίας κοπής και περιοχής που γνωρίζουν οι επεξεργαστές, αντί για τα εργαλεία μαζικής επεξεργασίας αρχείου-προς-αρχείο που καθόριζαν τον προηγούμενο διαχωρισμό πηγής ήχου.

Για ομάδες που αναπτύσσουν λογισμικό δημιουργικών μέσων, η βραχυπρόθεσμη συνέπεια είναι ένα ενιαίο μοντέλο προς λήψη που καλύπτει την απομόνωση, το φιλτράρισμα θορύβου και τον διαχωρισμό πηγής σε όλες τις περιπτώσεις χρήσης που αναφέρει η Meta — μουσική, podcasting, τηλεόραση, κινηματογράφο, έρευνα και προσβασιμότητα — με μια διεπαφή προτροπών που συνθέτει εισόδους κειμένου, κλικ και χρονικού εύρους, αντί να απαιτεί ένα ξεχωριστό εργαλείο για κάθε περίπτωση.