A Meta Adiciona Prompts de Texto e Reconstrução 3D a Partir de Imagem Única à Linha Segment Anything

De clicar num pixel a escrever "boné de basebol vermelho"

A mudança central no SAM 3 está na forma como se indica ao modelo o que segmentar. O SAM 1 e o SAM 2 dependiam de prompts visuais — apontava-se para algo na imagem. O SAM 3 aceita prompts de texto detalhados e, segundo a Meta, segmenta todos os objetos correspondentes numa imagem ou vídeo.

A Meta enquadra isto como resposta a uma fragilidade específica dos sistemas anteriores: modelos com conjuntos de etiquetas fixos conseguiam lidar com um conceito genérico como "autocarro" ou "carro", mas falhavam perante "autocarro escolar amarelo". O SAM 3 é apresentado como capaz de lidar com essa cauda mais longa de descrições, e a Meta afirma que pode ser combinado com LLMs multimodais para prompts compostos como "pessoas sentadas, mas que não usam boné de basebol vermelho".

Esse exemplo de negação é mais relevante do que o adjetivo de cor. Excluir um subconjunto dentro de uma cena exige raciocinar sobre relações entre objetos, e não apenas associar uma frase a uma máscara — razão pela qual a Meta encaminha esses casos através de um MLLM externo, em vez de depender apenas do SAM 3.

A aposta do SAM 3D numa única imagem, e o conjunto de dados criado para a avaliar

O SAM 3D é composto por dois modelos open source: o SAM 3D Objects, para reconstrução de objetos e cenas, e o SAM 3D Body, para estimativa de corpo e forma humana. Ambos funcionam a partir de uma única imagem, uma restrição mais exigente e mais útil — sem necessidade de sistemas de captura multi-perspetiva.

A Meta afirma que o SAM 3D Objects supera significativamente os métodos existentes, mas o detalhe mais revelador é que construíram a régua de medição em paralelo com o modelo. O SAM 3D Artist Objects é um conjunto de dados de avaliação elaborado com artistas, descrito como uma abordagem inédita e mais rigorosa para medir o progresso na reconstrução 3D.

Lançar um novo benchmark juntamente com um novo modelo é uma decisão de dois gumes: reconhece que os benchmarks 3D anteriores eram demasiado fáceis para serem significativos, mas também permite que o próprio laboratório que lança o modelo defina os termos da sua comparação. O valor real depende de outras equipas adotarem esse benchmark.

O Playground e o pipeline de produtos internos

A Meta está a disponibilizar ambos os modelos através do Segment Anything Playground, uma ferramenta web sem necessidade de código onde os utilizadores carregam uma imagem ou vídeo e indicam um prompt de texto, ou partem de modelos predefinidos. Vale a pena destacar os modelos predefinidos práticos — pixelizar rostos, matrículas e ecrãs — a par de outros mais lúdicos, como rastos de movimento e efeitos de spotlight.

As integrações de produtos identificadas mostram onde a Meta pretende que estes modelos demonstrem o seu valor: efeitos específicos para objetos e pessoas a chegar à aplicação de vídeo Edits, experiências de criação no Vibes na aplicação Meta AI e no meta.ai, e uma funcionalidade View in Room no Facebook Marketplace, que coloca reconstruções 3D de itens como candeeiros ou mesas no espaço do comprador.

O que a Meta está realmente a disponibilizar aos desenvolvedores

O lançamento é desigual entre os dois modelos, e os detalhes importam para quem planeia construir sobre eles. Para o SAM 3, a Meta está a partilhar os pesos do modelo, um conjunto de dados de benchmark para segmentação de vocabulário aberto, e um artigo científico que descreve como o modelo foi construído. Para o SAM 3D, está a partilhar checkpoints do modelo e código de inferência, além de um novo benchmark de reconstrução 3D.

É de notar que o anúncio menciona pesos para o SAM 3, mas checkpoints e código de inferência para o SAM 3D — sem qualquer menção explícita a código de treino ou a um artigo científico para o SAM 3D. As equipas devem confirmar o licenciamento exato e os materiais disponíveis antes de assumir reprodutibilidade total no lado 3D.

A Meta está também a estabelecer uma parceria com a Roboflow para que os utilizadores possam anotar dados e afinar o SAM 3 para as suas próprias tarefas. Essa parceria indica que a Meta espera que o SAM 3 seja adaptado, e não usado tal como está — o modelo base é um ponto de partida para segmentação específica de domínio.

O verdadeiro sinal: segmentação de vocabulário aberto como componente etiquetável

Para equipas aplicadas, a conclusão prática é que o SAM 3 condensa duas etapas — detetar um objeto identificado por nome e produzir uma máscara de pixels para o mesmo — numa única chamada acionada por texto, com um caminho de afinação através da Roboflow quando o vocabulário incorporado não é suficiente.

Isto altera o cálculo entre construir do zero ou integrar uma solução existente, para tudo o que envolva edição de vídeo, redação de conteúdos ou extração de elementos. Os modelos predefinidos de pixelização de rostos e matrículas sugerem pipelines de conformidade e privacidade; a funcionalidade View in Room do Marketplace mostra a reconstrução 3D a passar de demonstração de investigação para um fluxo de consumo já em produção. A questão em aberto é saber se os benchmarks associados serão adotados de forma suficientemente ampla para tornar as afirmações de desempenho da Meta verificáveis fora da própria Meta.