Meta Estende a Linha Segment Anything ao Som Com o SAM Audio

O que o SAM Audio faz na prática

A 16 de dezembro, a Meta lançou o SAM Audio, descrito como o primeiro modelo de AI unificado que segmenta som a partir de misturas de áudio complexas. A proposta é concreta: gravar o vídeo de uma banda e isolar a guitarra ou a voz com um clique, filtrar o ruído do trânsito de imagens filmadas ao ar livre, ou remover o latido de um cão de toda a gravação de um podcast.

O enquadramento é relevante. A Meta posiciona o modelo contra um 'espaço fragmentado' de ferramentas de propósito único, em que cada tarefa de edição exigia historicamente o seu próprio software especializado. A promessa do SAM Audio é que um único modelo trata todo o leque de tarefas de separação que as pessoas realmente têm em mente, em vez de disponibilizar uma ferramenta diferente para cada caso de uso.

Três tipos de prompts, um deles inédito

O SAM Audio aceita três tipos de prompts. O prompting por texto permite escrever 'cão a latir' ou 'voz a cantar' para extrair um som específico. O prompting visual permite clicar na pessoa ou objeto de um vídeo que está a produzir um som, associando a faixa de áudio ao respetivo fotograma. O prompting por intervalo permite marcar os segmentos temporais em que o áudio pretendido ocorre.

A Meta descreve o prompting por intervalo como uma inovação inédita no setor. É também o mais relevante do ponto de vista de engenharia entre os três, porque trata a própria linha do tempo como superfície de seleção — o equivalente sonoro de desenhar um retângulo de seleção sobre uma região em vez de descrever o seu conteúdo. A Meta refere que os três métodos podem ser usados isoladamente ou em qualquer combinação, e é aí que a promessa de 'unificado' ganha substância: seleções por texto, clique e intervalo temporal combinam-se numa única operação de separação.

O padrão Segment Anything, transposto para uma nova modalidade

O SAM Audio é explicitamente enquadrado como o mais recente acrescento à coleção Segment Anything da Meta. O trabalho original do SAM estabeleceu uma interface orientada por prompts para isolar regiões em imagens e vídeo; este lançamento transpõe o mesmo modelo de interação para o áudio, onde a 'região' segmentada é uma fonte sonora dentro de uma mistura.

Essa linhagem é o ponto central. A Meta não está apenas a lançar um separador de áudio — está a estender um vocabulário de prompting consistente através de imagem, vídeo e agora som. O prompting visual faz a ponte entre os dois: clicar num objeto num fotograma e obter o respetivo áudio trata o vídeo e a sua banda sonora como um único objeto endereçável.

Já estamos a usar o SAM Audio para ajudar a construir a próxima geração de ferramentas de media criativos.Montana Labs

Disponibilidade e a opção de distribuição em modelo aberto

A Meta disponibilizou o SAM Audio de duas formas desde o primeiro dia: para descarregar e usar diretamente, e para experimentar através do Segment Anything Playground, uma nova plataforma onde qualquer pessoa pode escolher entre os recursos de áudio e vídeo da Meta ou carregar os seus próprios. O anúncio inclui a etiqueta de Código Aberto, em linha com a forma como a Meta distribuiu os modelos Segment Anything anteriores.

O lançamento duplo — playground alojado mais pesos para descarregar — visa dois públicos distintos em simultâneo: utilizadores casuais a testar os recursos de demonstração, e criadores que querem integrar o modelo nos seus próprios fluxos de trabalho. A Meta também afirma claramente acreditar que o SAM Audio é o melhor modelo de separação de áudio disponível, uma afirmação de referência que o lançamento para download convida outros a testar.

O que o prompting por intervalo indica para as ferramentas de áudio

A aposta específica que vale a pena acompanhar é o prompting por intervalo. Os prompts de texto e de clique já são familiares da segmentação de imagem, mas marcar intervalos temporais como primitiva de seleção é nativo do trabalho em áudio e vídeo — corresponde diretamente à forma como os editores já navegam nas linhas do tempo. Se esta interação se tornar um tipo de prompt padrão, as ferramentas de edição de áudio construídas sobre o SAM Audio poderão convergir para um modelo de seleção que espelha os fluxos de corte e região que os editores já conhecem, em vez das ferramentas de processamento em lote de ficheiro a ficheiro que definiram a separação de fontes anterior.

Para as equipas que desenvolvem software de media criativos, a implicação a curto prazo é a existência de um único modelo para descarregar que cobre isolamento, filtragem de ruído e separação de fontes em todos os casos de uso enumerados pela Meta — música, podcasting, televisão, cinema, investigação e acessibilidade — com uma interface de prompting que combina entradas de texto, clique e intervalo temporal em vez de exigir uma ferramenta distinta para cada uma.