Η Meta ανοίγει διαδικασία συνεισφοράς δεδομένων για μοντέλα μετάφρασης υποεξυπηρετούμενων γλωσσών

Τι ζητά στην πράξη το πρόγραμμα συνεργασίας

Η Meta έχει δημοσιεύσει μια συγκεκριμένη προδιαγραφή συμμετοχής, όχι απλώς μια πρόθεση. Για να συμμετάσχουν στο Language Technology Partner Program, οι συνεισφέροντες καλούνται να προσκομίσουν πάνω από 10 ώρες ηχογραφήσεων ομιλίας με απομαγνητοφωνήσεις, πάνω από 200 προτάσεις γραπτού κειμένου, και σύνολα μεταφρασμένων προτάσεων σε διάφορες γλώσσες.

Αυτοί οι αριθμοί έχουν σημασία γιατί καθορίζουν το ελάχιστο όριο συμμετοχής. Η ομάδα FAIR της Meta συνεργάζεται στη συνέχεια με τους συνεργάτες για να ενσωματώσει τις γλώσσες σε μοντέλα αναγνώρισης ομιλίας και αυτόματης μετάφρασης, και τα μοντέλα που προκύπτουν διατίθενται ανοιχτού κώδικα και ελεύθερα σε όλους. Οι συνεργάτες αποκτούν επίσης πρόσβαση σε τεχνικά εργαστήρια που διοργανώνουν οι ερευνητικές ομάδες της Meta σχετικά με την ανάπτυξη πάνω στα μοντέλα ανοιχτού κώδικα.

Ο πρώτος επώνυμος συνεργάτης είναι η κυβέρνηση του Nunavut, στον Καναδά, η οποία μοιράζεται δεδομένα στις γλώσσες Ινουίτ Inuktitut και Inuinnaqtun. Πρόκειται για μια συμφωνία διαμοιρασμού δεδομένων σε κυβερνητικό επίπεδο και όχι για ένα crowdsourced σύνολο δεδομένων, γεγονός που δείχνει το είδος συνεργάτη που στοχεύει η Meta για γλώσσες με περιορισμένο ψηφιακό κείμενο.

Ένα benchmark επτά γλωσσών που μπορείτε να δοκιμάσετε σήμερα

Παράλληλα με το πρόγραμμα συνεργασίας, η Meta παρουσίασε ένα benchmark μετάφρασης ανοιχτού κώδικα, αποτελούμενο από προτάσεις που έχουν συνταχθεί από γλωσσολόγους ειδικούς. Είναι διαθέσιμο προς το παρόν σε επτά γλώσσες, και η Meta προσκαλεί εξωτερικές μεταφράσεις για την επέκτασή του, με όλο το υλικό να διατίθεται ανοιχτού κώδικα.

Για όποιον ενσωματώνει μετάφραση σε ένα frontend προϊόντος, ένα σύνολο αξιολόγησης είναι συχνά το στοιχείο που λείπει. Μπορείτε να παράγετε αποτελέσματα σε δεκάδες γλώσσες πολύ πριν μπορέσετε να μετρήσετε αν είναι όντως καλά. Ένα κοινό benchmark, γραμμένο από ειδικούς, δίνει στις ομάδες frontend και τοπικής προσαρμογής ένα κοινό σημείο αναφοράς για τη σύγκριση μοντέλων, αντί να βασίζονται σε βαθμολογίες που αναφέρουν οι ίδιοι οι προμηθευτές.

Οι επτά γλώσσες αποτελούν ένα μικρό αρχικό σύνολο σε σχέση με τη δηλωμένη φιλοδοξία της Meta για ένα πρωτοφανές πολυγλωσσικό benchmark, οπότε η πρακτική αξία του κλιμακώνεται ανάλογα με το πόσοι εξωτερικοί συνεισφέροντες θα προσθέσουν μεταφράσεις.

Το νήμα αναγνώρισης ομιλίας που τρέχει από πίσω

Αυτή η ανακοίνωση βασίζεται σε προηγούμενες κυκλοφορίες της Meta, στις οποίες παραπέμπει ρητά. Τη μηχανή No Language Left Behind (NLLB) του 2022, έναν μεταφραστή που δημιουργήθηκε με την UNESCO και το Hugging Face και ανακοινώθηκε κατά τη διάρκεια της εβδομάδας της Γενικής Συνέλευσης του ΟΗΕ τον περασμένο Σεπτέμβριο, και το έργο Massively Multilingual Speech (MMS), που επεκτείνει την απομαγνητοφώνηση ήχου σε πάνω από 1.100 γλώσσες.

Η λεπτομέρεια που αξίζει να σημειωθεί για όσους σχεδιάζουν διεπαφές είναι η zero-shot αναγνώριση ομιλίας του MMS από το 2024, η οποία, σύμφωνα με τη Meta, μπορεί να απομαγνητοφωνήσει ήχο σε γλώσσες που δεν έχει ξανασυναντήσει κατά την εκπαίδευση. Για φωνητικά frontend που εξυπηρετούν γλώσσες με περιορισμένους πόρους, αυτό αλλάζει τον υπολογισμό κόστους: ίσως μπορείτε να προσφέρετε απομαγνητοφώνηση σε μια γλώσσα προτού έχετε συγκεντρώσει ένα πλήρες σώμα δεδομένων εκπαίδευσης για αυτήν.

Τι σημαίνει αυτό αν χτίζετε πολυγλωσσικές διεπαφές

Η συγκεκριμένη συνέπεια αυτής της ανακοίνωσης είναι ότι η Meta ανταλλάσσει πρόσβαση σε μοντέλα με δεδομένα σε ένα καθορισμένο όριο. Αν το προϊόν σας εξυπηρετεί ομιλητές μιας υποεξυπηρετούμενης γλώσσας και διαθέτετε δεδομένα ομιλίας, κειμένου και μετάφρασης, το όριο των 10 ωρών και 200 προτάσεων είναι το «εισιτήριο» για να ενταχθούν αυτές οι γλώσσες σε μοντέλα ανοιχτού κώδικα που μπορείτε στη συνέχεια να ενσωματώσετε σε ένα frontend.

Ισχύει και το αντίστροφο: οι ομάδες που δεν μπορούν ή δεν επιθυμούν να συνεισφέρουν δεδομένα εξακολουθούν να επωφελούνται από τα αποτελέσματα ανοιχτού κώδικα και το benchmark επτά γλωσσών, καθώς και τα δύο διατίθενται ελεύθερα. Η πραγματική μόχλευση του προγράμματος βρίσκεται στις γλώσσες όπου κανένας εμπορικός προμηθευτής δεν έχει κίνητρο να επενδύσει, και όπου μια κυβέρνηση ή κοινότητα κατέχει το μοναδικό ουσιαστικό σύνολο δεδομένων.

Για τις ομάδες εφαρμοσμένης ανάπτυξης, η ειλικρινής ανάγνωση είναι ότι πρόκειται για μια ανακοίνωση συνεργασίας σε πρώιμο στάδιο, με έναν επώνυμο συνεργάτη και ένα μικρό benchmark, όχι για ένα ολοκληρωμένο προϊόν. Η αξία της εξαρτάται από το αν τα μοντέλα που θα κυκλοφορήσουν τελικά θα καλύπτουν τις γλώσσες που όντως μιλούν οι χρήστες σας.