Meta startet Daten-Pipeline für Übersetzungsmodelle wenig verbreiteter Sprachen

Was das Partnerprogramm konkret verlangt

Meta hat eine konkrete Aufnahme-Spezifikation veröffentlicht, keine bloße Absichtserklärung. Um dem Language Technology Partner Program beizutreten, sollen Mitwirkende mehr als 10 Stunden Sprachaufnahmen mit Transkriptionen, über 200 Sätze schriftlichen Texts sowie übersetzte Satzpaare in verschiedenen Sprachen beisteuern.

Diese Zahlen sind entscheidend, da sie die Mindestschwelle für die Teilnahme festlegen. Metas FAIR-Team arbeitet dann mit den Partnern zusammen, um die Sprachen in Spracherkennungs- und maschinelle Übersetzungsmodelle zu integrieren, wobei die entstehenden Modelle als Open Source frei verfügbar gemacht werden. Partner erhalten außerdem Zugang zu technischen Workshops von Metas Forschungsteams zum Aufbau auf den Open-Source-Modellen.

Der erste namentlich genannte Partner ist die Regierung von Nunavut, Kanada, die Daten in den Inuit-Sprachen Inuktitut und Inuinnaqtun beisteuert. Das ist eine Datenpartnerschaft auf Regierungsebene und kein Crowdsourcing-Datensatz — ein Hinweis darauf, welche Art von Partner Meta für Sprachen mit begrenztem digitalem Textbestand sucht.

Ein Sieben-Sprachen-Benchmark, den Sie schon heute abfragen können

Neben dem Partnerprogramm hat Meta einen Open-Source-Benchmark für maschinelle Übersetzung veröffentlicht, der aus von Sprachexperten verfassten Sätzen besteht. Er ist derzeit in sieben Sprachen verfügbar, und Meta lädt Außenstehende ein, weitere Übersetzungen beizutragen — alles als Open Source veröffentlicht.

Für alle, die Übersetzung in ein Produkt-Frontend integrieren, fehlt oft genau ein Evaluierungsdatensatz. Man kann Ausgaben in Dutzenden Sprachen erzeugen, lange bevor man messen kann, ob sie überhaupt gut sind. Ein gemeinsamer, von Experten erstellter Benchmark gibt Frontend- und Lokalisierungsteams einen einheitlichen Referenzpunkt zum Vergleich von Modellen, statt sich auf Herstellerangaben verlassen zu müssen.

Sieben Sprachen sind ein kleiner Anfangsbestand angesichts Metas erklärtem Anspruch auf einen beispiellosen mehrsprachigen Benchmark — der praktische Nutzen wächst also mit der Zahl externer Beiträge.

Der Spracherkennungs-Faden im Hintergrund

Diese Ankündigung baut auf früheren Meta-Veröffentlichungen auf, die explizit zitiert werden: die 2022 vorgestellte No Language Left Behind (NLLB) Engine, ein gemeinsam mit UNESCO und Hugging Face entwickelter Übersetzer, der im September letzten Jahres während der UN-Generalversammlungswoche angekündigt wurde, sowie das Massively Multilingual Speech (MMS) Projekt, das Audiotranskription auf über 1.100 Sprachen skaliert.

Für Interface-Entwickler ist besonders die 2024 vorgestellte Zero-Shot-Spracherkennung von MMS relevant: Laut Meta kann sie Audio in Sprachen transkribieren, die während des Trainings nie gesehen wurden. Für sprachgesteuerte Frontends, die ressourcenarme Sprachen bedienen, verändert das die Kostenrechnung: Transkription in einer Sprache lässt sich möglicherweise anbieten, bevor überhaupt ein vollständiger Trainingskorpus dafür vorliegt.

Was das für den Bau mehrsprachiger Interfaces bedeutet

Die konkrete Implikation dieser Ankündigung ist, dass Meta Modellzugang gegen Daten zu einem festgelegten Schwellenwert tauscht. Wenn Ihr Produkt Sprecher einer wenig unterstützten Sprache bedient und Sie über Sprach-, Text- und Übersetzungsdaten verfügen, ist die Schwelle von 10 Stunden und 200 Sätzen der Preis dafür, diese Sprachen in Open-Source-Modelle einzubringen, die Sie dann in ein Frontend einbetten können.

Das Umgekehrte gilt ebenso: Teams, die keine Daten beisteuern können oder wollen, profitieren trotzdem von den Open-Source-Ergebnissen und dem Sieben-Sprachen-Benchmark, da beide frei verfügbar sind. Der eigentliche Hebel des Programms liegt bei Sprachen, in die kein kommerzieller Anbieter zu investieren bereit ist und bei denen eine Regierung oder Gemeinschaft den einzig relevanten Datensatz besitzt.

Für angewandte Teams lautet die ehrliche Einschätzung: Dies ist eine Ankündigung einer frühen Kooperationsphase mit einem namentlich genannten Partner und einem kleinen Benchmark, kein fertiges Produkt. Der Wert hängt davon ab, ob die letztlich veröffentlichten Modelle die Sprachen abdecken, die Ihre Nutzer tatsächlich sprechen.