Meta aggiunge prompt testuali e ricostruzione 3D da immagine singola alla linea Segment Anything

Dal cliccare un pixel allo scrivere 'berretto da baseball rosso'

Il cambiamento centrale in SAM 3 riguarda il modo in cui indichi al modello cosa segmentare. SAM 1 e SAM 2 si basavano su prompt visivi — indicavi qualcosa nel fotogramma. SAM 3 accetta prompt testuali dettagliati e, secondo Meta, segmenta ogni oggetto corrispondente in un'immagine o in un video.

Meta inquadra questo aspetto rispetto a un limite specifico dei sistemi precedenti: i modelli con set di etichette fissi riuscivano a gestire un concetto generico come 'autobus' o 'auto', ma andavano in difficoltà con 'scuolabus giallo'. SAM 3 viene presentato come capace di gestire quella coda più lunga di descrizioni, e Meta dichiara che può essere abbinato a LLM multimodali per prompt composti come 'persone sedute, ma senza berretto da baseball rosso'.

Quell'esempio con la negazione conta più dell'aggettivo di colore. Escludere un sottoinsieme all'interno di una scena richiede di ragionare sulle relazioni tra oggetti, non solo di far corrispondere una frase a una maschera — ed è per questo che Meta instrada questi casi attraverso un MLLM esterno invece che affidarli solo a SAM 3.

La scommessa di SAM 3D sull'immagine singola, e il dataset costruito per valutarla

SAM 3D è composto da due modelli open source: SAM 3D Objects per la ricostruzione di oggetti e scene, e SAM 3D Body per la stima del corpo e della forma umana. Entrambi funzionano partendo da una sola immagine, un vincolo più difficile e più utile — non serve nessun rig di acquisizione multi-vista.

Meta sostiene che SAM 3D Objects superi in modo significativo i metodi esistenti, ma il dettaglio più rivelatore è che hanno costruito il metro di paragone insieme al modello. SAM 3D Artist Objects è un dataset di valutazione assemblato con degli artisti, descritto come un approccio inedito e più rigoroso per misurare i progressi nella ricostruzione 3D.

Lanciare un nuovo benchmark insieme a un nuovo modello è una mossa a doppio taglio: da un lato riconosce che i benchmark 3D precedenti erano troppo semplici per essere significativi, dall'altro permette al laboratorio che pubblica il modello di definire i termini del proprio stesso confronto. Il valore reale dipende dal fatto che altri team esterni adottino o no il benchmark.

Il Playground e la pipeline prodotto interna

Meta rende disponibili entrambi i modelli tramite Segment Anything Playground, uno strumento web no-code dove gli utenti caricano un'immagine o un video e scrivono un prompt testuale, oppure partono da template predefiniti. I template pratici meritano attenzione — pixelare volti, targhe e schermi — insieme a quelli più ludici come le scie di movimento e gli effetti spotlight.

Le integrazioni prodotto nominate mostrano dove Meta intende far rendere davvero i modelli: effetti specifici per oggetti e persone in arrivo sull'app video Edits, esperienze di creazione in Vibes sull'app Meta AI e su meta.ai, e una funzione View in Room su Facebook Marketplace che colloca ricostruzioni 3D di oggetti come lampade o tavoli nello spazio dell'acquirente.

Cosa sta effettivamente rilasciando Meta agli sviluppatori

Il rilascio è disomogeneo tra i due modelli, e i dettagli contano per chiunque pensi di costruirci sopra. Per SAM 3, Meta condivide i pesi del modello, un dataset benchmark per la segmentazione a vocabolario aperto e un paper di ricerca che descrive come è stato costruito il modello. Per SAM 3D, condivide i checkpoint del modello e il codice di inferenza più un nuovo benchmark per la ricostruzione 3D.

È da notare che l'annuncio menziona i pesi per SAM 3 ma checkpoint e codice di inferenza per SAM 3D — senza alcun riferimento esplicito al codice di training di SAM 3D o a un paper. I team dovrebbero verificare le licenze esatte e i materiali disponibili prima di dare per scontata la piena riproducibilità sul lato 3D.

Meta collabora anche con Roboflow per permettere agli utenti di annotare i dati e fare fine-tuning di SAM 3 per i propri task specifici. Questa partnership segnala che Meta si aspetta che SAM 3 venga adattato e non usato così com'è — il modello base è un punto di partenza per una segmentazione specifica per dominio.

Il segnale reale: la segmentazione a vocabolario aperto come componente etichettato

Per i team che lavorano su applicazioni concrete, il punto chiave è che SAM 3 unisce due passaggi — rilevare un oggetto nominato e produrre una maschera a livello di pixel per esso — in un'unica chiamata guidata da prompt testuale, con un percorso di fine-tuning tramite Roboflow quando il vocabolario integrato non basta.

Questo cambia il calcolo tra costruire da zero o integrare per tutto ciò che riguarda editing video, redazione di contenuti o estrazione di asset. I template per pixelare volti e targhe suggeriscono pipeline di compliance e privacy; la funzione View in Room su Marketplace mostra la ricostruzione 3D passare da demo di ricerca a flusso consumer già in produzione. La domanda aperta è se i benchmark che accompagnano il rilascio verranno adottati in modo abbastanza ampio da rendere verificabili, fuori da Meta, le affermazioni sulle prestazioni fatte da Meta.