Meta erweitert seine Segment-Anything-Reihe um Audio mit SAM Audio

Was SAM Audio tatsächlich leistet

Am 16. Dezember veröffentlichte Meta SAM Audio, beschrieben als das erste einheitliche KI-Modell, das Klänge aus komplexen Audiomischungen heraustrennt. Das Versprechen ist konkret: Ein Video einer Band aufnehmen und mit einem Klick die Gitarre oder den Gesang isolieren, Verkehrslärm aus im Freien gedrehtem Material herausfiltern oder das Bellen eines Hundes aus einer ganzen Podcast-Aufnahme entfernen.

Der Rahmen ist entscheidend. Meta positioniert das Modell gegenüber einem „fragmentierten Markt“ aus Einzweck-Tools, bei dem bislang jede Bearbeitungsaufgabe eine eigene Spezialsoftware erforderte. Der Anspruch von SAM Audio: Ein einziges Modell bewältigt die gesamte Bandbreite an Trennaufgaben, die Nutzer tatsächlich im Kopf haben, statt für jeden Anwendungsfall ein separates Tool zu liefern.

Drei Prompt-Arten, eine davon neu

SAM Audio akzeptiert drei Arten von Prompts. Mit Text-Prompts tippen Sie etwa „Hund bellt“ oder „Gesangsstimme“ ein, um einen bestimmten Klang zu extrahieren. Mit visuellen Prompts klicken Sie auf die Person oder das Objekt im Video, das den Klang erzeugt, und verknüpfen so die Audiospur mit dem Bild. Mit Zeitspannen-Prompts markieren Sie die Zeitabschnitte, in denen der gesuchte Klang vorkommt.

Meta bezeichnet Zeitspannen-Prompts als Branchenneuheit. Es ist zugleich die technisch interessanteste der drei Methoden, da sie die Zeitachse selbst als Auswahlfläche behandelt — das Audio-Äquivalent zum Ziehen eines Auswahlrahmens über einen Bildbereich, statt dessen Inhalt zu beschreiben. Meta betont, dass sich die drei Methoden einzeln oder in beliebiger Kombination nutzen lassen — genau hier zeigt sich, was der Anspruch „einheitlich“ tatsächlich bedeutet: Text-, Klick- und Zeitspannen-Auswahlen lassen sich zu einer einzigen Trennoperation kombinieren.

Das Segment-Anything-Prinzip, übertragen auf eine neue Modalität

SAM Audio wird ausdrücklich als jüngster Zuwachs zu Metas Segment-Anything-Reihe eingeordnet. Die ursprüngliche SAM-Arbeit etablierte eine promptgesteuerte Schnittstelle zum Isolieren von Bereichen in Bildern und Videos; diese Veröffentlichung überträgt dasselbe Interaktionsmodell auf Audio, wo die zu segmentierende „Region“ eine Klangquelle innerhalb eines Mixes ist.

Genau diese Herkunft ist der entscheidende Punkt. Meta liefert nicht nur einen Audio-Separator — das Unternehmen erweitert ein durchgängiges Prompt-Vokabular über Bild, Video und nun auch Ton. Visuelle Prompts bilden die Brücke: Ein Objekt im Bild anzuklicken und dessen Audio herauszulösen, behandelt Video und Tonspur als ein einziges adressierbares Objekt.

Wir nutzen SAM Audio bereits, um die nächste Generation kreativer Medien-Tools mitzuentwickeln.Montana Labs

Verfügbarkeit und die Entscheidung für offene Modellverbreitung

Meta stellte SAM Audio ab dem ersten Tag auf zwei Wegen zur Verfügung: zum direkten Herunterladen und nutzbar über den Segment Anything Playground, eine neue Plattform, auf der jeder aus Metas Audio- und Video-Assets wählen oder eigenes Material hochladen kann. Die Ankündigung trägt ein Open-Source-Label, passend zur bisherigen Verbreitungsweise früherer Segment-Anything-Modelle.

Die doppelte Veröffentlichung — Hosted-Playground plus herunterladbare Gewichte — richtet sich zugleich an zwei unterschiedliche Zielgruppen: Gelegenheitsnutzer, die die Demo-Assets ausprobieren, und Entwickler, die das Modell in ihre eigenen Pipelines einbinden möchten. Meta erklärt außerdem unverblümt, SAM Audio für das derzeit beste verfügbare Audio-Trennmodell zu halten — eine Benchmark-Behauptung, zu deren Überprüfung die Download-Version einlädt.

Was Zeitspannen-Prompts für Audio-Werkzeuge bedeuten

Der eigentlich beobachtenswerte Wetteinsatz sind die Zeitspannen-Prompts. Text- und Klick-Prompts sind aus der Bildsegmentierung bekannt, doch das Markieren von Zeitbereichen als Auswahlprinzip ist der Audio- und Videobearbeitung eigen — es entspricht genau der Art, wie Editoren bereits heute Zeitleisten durchsuchen. Setzt sich diese Interaktionsform als Standard-Prompt-Typ durch, könnten auf SAM Audio aufbauende Audio-Bearbeitungswerkzeuge zu einem Auswahlmodell konvergieren, das den vertrauten Schnitt-und-Bereich-Workflows von Editoren entspricht — statt der Datei-für-Datei-Batch-Tools, die die frühere Quellentrennung prägten.

Für Teams, die kreative Mediensoftware entwickeln, bedeutet das kurzfristig: ein einziges herunterladbares Modell, das Isolation, Rauschfilterung und Quellentrennung über die von Meta genannten Anwendungsfälle abdeckt — Musik, Podcasting, Fernsehen, Film, Forschung und Barrierefreiheit — mit einer Prompt-Schnittstelle, die Text-, Klick- und Zeitspannen-Eingaben kombiniert, statt für jeden Fall ein eigenes Tool zu benötigen.