Meta erweitert die Segment-Anything-Reihe um Text-Prompts und 3D aus Einzelbildern

Vom Anklicken eines Pixels zum Eintippen von „roter Baseballkappe“

Die zentrale Neuerung von SAM 3 liegt darin, wie man dem Modell mitteilt, was segmentiert werden soll. SAM 1 und SAM 2 setzten auf visuelle Prompts – man zeigte auf etwas im Bild. SAM 3 akzeptiert detaillierte Textprompts und segmentiert laut Meta jedes passende Objekt in einem Bild oder Video.

Meta stellt dies einer konkreten Schwäche früherer Systeme gegenüber: Modelle mit festen Label-Sets kamen mit groben Konzepten wie „Bus“ oder „Auto“ zurecht, scheiterten aber an „gelber Schulbus“. SAM 3 soll genau diesen langen Schwanz an Beschreibungen abdecken, und laut Meta lässt es sich mit multimodalen LLMs für zusammengesetzte Prompts kombinieren, etwa „sitzende Personen, aber nicht mit roter Baseballkappe“.

Dieses Negationsbeispiel ist wichtiger als das Farbadjektiv. Eine Teilmenge innerhalb einer Szene auszuschließen erfordert das Verständnis von Beziehungen zwischen Objekten – nicht nur das Zuordnen einer Phrase zu einer Maske. Deshalb leitet Meta solche Fälle über ein externes MLLM statt allein über SAM 3.

SAM 3Ds Wette auf Einzelbilder – und der Datensatz, der sie bewertet

SAM 3D besteht aus zwei Open-Source-Modellen: SAM 3D Objects für die Rekonstruktion von Objekten und Szenen sowie SAM 3D Body für die Schätzung von Körperform und -haltung. Beide arbeiten mit nur einem einzigen Bild – die schwierigere und zugleich nützlichere Einschränkung, da kein Multi-View-Aufnahmesystem erforderlich ist.

Meta behauptet, SAM 3D Objects übertreffe bestehende Methoden deutlich, doch aufschlussreicher ist, dass gleichzeitig mit dem Modell auch der Maßstab dafür entwickelt wurde. SAM 3D Artist Objects ist ein mit Künstlern erstellter Evaluationsdatensatz, den Meta als einzigartig und als präzisere Methode zur Messung von Fortschritten bei der 3D-Rekonstruktion beschreibt.

Einen neuen Benchmark zusammen mit einem neuen Modell zu veröffentlichen, ist ein zweischneidiges Vorgehen: Es räumt ein, dass frühere 3D-Benchmarks zu einfach waren, um aussagekräftig zu sein, erlaubt dem veröffentlichenden Labor aber zugleich, die Bedingungen des eigenen Vergleichs selbst festzulegen. Der Wert hängt davon ab, ob externe Teams den Benchmark übernehmen.

Der Playground und die hauseigene Produktpipeline

Meta macht beide Modelle über den Segment Anything Playground zugänglich, ein no-code Web-Tool, in dem Nutzer ein Bild oder Video hochladen und mit einer Textphrase arbeiten oder von Vorlagen ausgehen können. Bemerkenswert sind die praktischen Vorlagen – etwa das Verpixeln von Gesichtern, Kennzeichen und Bildschirmen – neben spielerischen wie Bewegungsspuren und Spotlight-Effekten.

Die genannten Produktintegrationen zeigen, wo Meta die Modelle konkret einsetzen will: objekt- und personenspezifische Effekte kommen in die Video-App Edits, Erstellungsfunktionen in Vibes auf der Meta-AI-App und meta.ai, sowie eine „View in Room“-Funktion im Facebook Marketplace, die 3D-Rekonstruktionen von Gegenständen wie Lampen oder Tischen in den Raum des Käufers projiziert.

Was Meta Entwicklern tatsächlich zur Verfügung stellt

Der Umfang der Veröffentlichung unterscheidet sich zwischen den beiden Modellen deutlich, und diese Details sind entscheidend für alle, die darauf aufbauen wollen. Für SAM 3 stellt Meta Model-Weights, einen Benchmark-Datensatz für offene Vokabelsegmentierung sowie ein Forschungspapier zur Verfügung, das die Entwicklung des Modells beschreibt. Für SAM 3D werden Model-Checkpoints und Inferenzcode sowie ein neuer 3D-Rekonstruktions-Benchmark bereitgestellt.

Bemerkenswert ist, dass die Ankündigung für SAM 3 von Weights spricht, für SAM 3D jedoch nur von Checkpoints und Inferenzcode – ohne expliziten Hinweis auf Trainingscode oder ein Forschungspapier zu SAM 3D. Teams sollten die genauen Lizenzbedingungen und bereitgestellten Artefakte prüfen, bevor sie von voller Reproduzierbarkeit auf der 3D-Seite ausgehen.

Meta arbeitet außerdem mit Roboflow zusammen, damit Nutzer Daten annotieren und SAM 3 für eigene Aufgaben feinabstimmen können. Diese Partnerschaft signalisiert, dass Meta erwartet, dass SAM 3 angepasst statt unverändert eingesetzt wird – das Basismodell ist ein Ausgangspunkt für domänenspezifische Segmentierung.

Das eigentliche Signal: Offene Vokabelsegmentierung als eigenständige Komponente

Für angewandte Teams ist die konkrete Erkenntnis, dass SAM 3 zwei Schritte – das Erkennen eines benannten Objekts und die Erzeugung einer Pixelmaske dafür – zu einem einzigen textbasierten Aufruf zusammenfasst, mit einem Feinabstimmungspfad über Roboflow, falls das integrierte Vokabular nicht ausreicht.

Das verändert die Abwägung zwischen Eigenbau und Integration für alles, was mit Videobearbeitung, Anonymisierung oder Asset-Extraktion zu tun hat. Die Vorlagen zum Verpixeln von Gesichtern und Kennzeichen deuten auf Compliance- und Datenschutz-Workflows hin; die „View in Room“-Funktion im Marketplace zeigt, wie 3D-Rekonstruktion von der Forschungsdemo zu einem produktiven Verbraucherfeature wird. Offen bleibt, ob die begleitenden Benchmarks breit genug übernommen werden, um Metas Leistungsversprechen auch außerhalb von Meta überprüfbar zu machen.