A Meta abre um pipeline de contribuição de dados para modelos de tradução de línguas sub-representadas

O que o programa de parceiros pede, na prática

A Meta publicou uma especificação de admissão concreta, não apenas uma intenção. Para integrar o Language Technology Partner Program, pede-se aos contribuidores que disponibilizem mais de 10 horas de gravações de voz com transcrições, mais de 200 frases de texto escrito e conjuntos de frases traduzidas em várias línguas.

Estes números são importantes porque definem o limiar mínimo de participação. A equipa FAIR da Meta trabalha depois com os parceiros para integrar as línguas nos modelos de reconhecimento de voz e tradução automática, sendo os modelos resultantes disponibilizados como open source e de acesso gratuito. Os parceiros têm ainda acesso a workshops técnicos conduzidos pelas equipas de investigação da Meta sobre como desenvolver a partir destes modelos open source.

O primeiro colaborador identificado é o Governo do Nunavut, no Canadá, que está a partilhar dados nas línguas inuítes inuktitut e inuinnaqtun. Trata-se de um acordo de partilha de dados a nível governamental, e não de um conjunto de dados recolhido de forma colaborativa, o que indica o tipo de parceiro que a Meta procura para línguas com presença digital escrita limitada.

Um benchmark de sete línguas já disponível para consulta

Em paralelo com o programa de parceiros, a Meta lançou um benchmark open source de tradução automática composto por frases elaboradas por especialistas em linguística. Está atualmente disponível em sete línguas, e a Meta convida terceiros a submeter traduções para o expandir, sendo tudo disponibilizado em regime open source.

Para quem está a integrar tradução num frontend de produto, um conjunto de avaliação é muitas vezes a peça que falta. É possível gerar resultados em dezenas de línguas muito antes de conseguir medir se a qualidade é boa. Um benchmark partilhado e elaborado por especialistas dá às equipas de frontend e localização um ponto de referência comum para comparar modelos, em vez de depender de resultados reportados pelos próprios fornecedores.

Sete línguas é um conjunto inicial reduzido face à ambição declarada pela Meta de criar um benchmark multilingue sem precedentes, pelo que o valor prático deste recurso cresce com o número de contribuidores externos que acrescentam traduções.

O fio de reconhecimento de voz por trás do anúncio

Este anúncio assenta em lançamentos anteriores da Meta, explicitamente referidos. O motor No Language Left Behind (NLLB) de 2022, um tradutor desenvolvido com a UNESCO e a Hugging Face anunciado durante a semana da Assembleia Geral das Nações Unidas em setembro passado, e o projeto Massively Multilingual Speech (MMS), que escala a transcrição de áudio para mais de 1100 línguas.

O detalhe que vale a pena assinalar para quem constrói interfaces é o reconhecimento de voz zero-shot do MMS, de 2024, que a Meta afirma conseguir transcrever áudio em línguas que nunca viu durante o treino. Para frontends orientados por voz que servem línguas com poucos recursos, isto altera a equação de custos: pode ser possível oferecer transcrição numa língua antes mesmo de se ter reunido um corpus de treino completo para essa língua.

O que isto significa para quem constrói interfaces multilingues

A implicação concreta deste anúncio é que a Meta está a trocar acesso a modelos por dados, a partir de um limiar definido. Se o seu produto serve falantes de uma língua sub-representada e a sua equipa detém dados de voz, texto e tradução, o requisito de 10 horas e 200 frases é o preço de entrada para levar essas línguas a modelos open source que depois pode integrar num frontend.

O inverso também se verifica: as equipas que não podem ou não querem contribuir com dados continuam a beneficiar dos resultados open source e do benchmark de sete línguas, já que ambos são disponibilizados gratuitamente. O verdadeiro impacto do programa está nas línguas em que nenhum fornecedor comercial tem incentivo para investir, e onde um governo ou uma comunidade detém o único conjunto de dados relevante.

Para equipas de aplicação prática, a leitura honesta é que se trata de um anúncio de colaboração numa fase inicial, com um único parceiro identificado e um benchmark ainda pequeno, e não de um produto acabado. O valor dependerá de os modelos que vierem a ser lançados cobrirem, ou não, as línguas que os vossos utilizadores realmente falam.