Meta adiciona prompts de texto e reconstrução 3D a partir de imagem única à linha Segment Anything

De clicar num pixel a digitar 'boné de baseball vermelho'

A mudança central no SAM 3 é a forma como você diz ao modelo o que segmentar. SAM 1 e SAM 2 dependiam de prompts visuais — você apontava para algo no quadro. O SAM 3 aceita prompts de texto detalhados e, segundo a Meta, segmenta todo objeto correspondente em uma imagem ou vídeo.

A Meta contrapõe isso a uma fraqueza específica dos sistemas anteriores: modelos com conjuntos fixos de rótulos conseguiam lidar com um conceito genérico como 'ônibus' ou 'carro', mas travavam em 'ônibus escolar amarelo'. O SAM 3 é apresentado como capaz de lidar com essa cauda mais longa de descrições, e a Meta diz que ele pode ser combinado com LLMs multimodais para prompts compostos como 'pessoas sentadas, mas sem boné de baseball vermelho'.

Esse exemplo de negação importa mais do que o adjetivo de cor. Excluir um subconjunto dentro de uma cena exige raciocinar sobre relações entre objetos, não apenas casar uma frase com uma máscara — e é por isso que a Meta direciona esses casos para um MLLM externo em vez de deixar só com o SAM 3.

A aposta do SAM 3D em imagem única, e o dataset criado para avaliá-la

O SAM 3D são dois modelos open source: SAM 3D Objects, para reconstrução de objetos e cenas, e SAM 3D Body, para estimativa de corpo e forma humana. Os dois funcionam a partir de uma única imagem, o que é a restrição mais difícil e mais útil — sem necessidade de rig de captura multi-ângulo.

A Meta afirma que o SAM 3D Objects supera significativamente os métodos existentes, mas o detalhe mais revelador é que eles construíram a régua de medição junto com o modelo. O SAM 3D Artist Objects é um dataset de avaliação montado com artistas, descrito como uma forma inédita e mais rigorosa de medir o progresso da reconstrução 3D.

Lançar um novo benchmark junto com um novo modelo é uma jogada de dois lados: reconhece que os benchmarks 3D anteriores eram fáceis demais para serem relevantes, mas também deixa o laboratório que lança o modelo definir os termos da própria comparação. O valor disso depende de outras equipes adotarem o benchmark.

O Playground e o pipeline de produtos internos

A Meta está expondo os dois modelos através do Segment Anything Playground, uma ferramenta web sem código em que os usuários enviam uma imagem ou vídeo e escrevem um prompt de texto, ou partem de templates prontos. Os templates práticos merecem destaque — pixelizar rostos, placas de carro e telas — junto com os mais lúdicos, como rastros de movimento e efeitos de holofote.

As integrações de produto anunciadas mostram onde a Meta pretende que os modelos provem seu valor: efeitos específicos para objetos e pessoas chegando ao app de edição de vídeo Edits, experiências de criação no Vibes dentro do app Meta AI e do meta.ai, e um recurso de visualização no ambiente no Facebook Marketplace, que coloca reconstruções 3D de itens como lâmpadas ou mesas no espaço do comprador.

O que a Meta está realmente liberando para desenvolvedores

O lançamento é desigual entre os dois modelos, e os detalhes importam para quem planeja construir em cima deles. Para o SAM 3, a Meta está compartilhando os pesos do modelo, um dataset de benchmark de segmentação de vocabulário aberto e um artigo de pesquisa descrevendo como o modelo foi construído. Para o SAM 3D, está compartilhando checkpoints do modelo e código de inferência, além de um novo benchmark de reconstrução 3D.

Vale notar que o anúncio menciona pesos para o SAM 3, mas checkpoints e código de inferência para o SAM 3D — sem menção explícita a código de treinamento ou artigo do SAM 3D. Equipes devem verificar o licenciamento exato e os artefatos disponíveis antes de assumir reprodutibilidade total no lado 3D.

A Meta também está fazendo parceria com a Roboflow para que usuários possam anotar dados e fazer fine-tuning do SAM 3 para suas próprias tarefas. Essa parceria indica que a Meta espera que o SAM 3 seja adaptado, e não usado direto da caixa — o modelo base é um ponto de partida para segmentação específica de domínio.

O real sinal: segmentação de vocabulário aberto como componente rotulado

Para equipes de aplicação prática, o ponto concreto é que o SAM 3 junta duas etapas — detectar um objeto nomeado e gerar uma máscara de pixel para ele — em uma única chamada guiada por texto, com um caminho de fine-tuning via Roboflow quando o vocabulário nativo não é suficiente.

Isso muda o cálculo de construir versus integrar para qualquer coisa envolvendo edição de vídeo, redação de conteúdo sensível ou extração de assets. Os templates de pixelizar rostos e placas sugerem pipelines de compliance e privacidade; o recurso de visualização no ambiente do Marketplace mostra a reconstrução 3D saindo de demo de pesquisa para fluxo de consumo já em produção. A pergunta que fica é se os benchmarks que acompanham o lançamento serão adotados amplamente o suficiente para tornar as afirmações de desempenho da Meta verificáveis fora da própria Meta.