OpenAI teilt Echtzeit-Sprache in drei Modelle auf: Reasoning, Übersetzung und Transkription

Drei Modelle statt eines einzigen Voice-Endpoints

OpenAI hat drei Audio-Modelle für die API angekündigt statt eines einzelnen verbesserten Voice-Endpoints. GPT‑Realtime‑2 wird als das erste Sprachmodell mit Reasoning auf GPT‑5‑Niveau beschrieben. GPT‑Realtime‑Translate übernimmt die Live-Übersetzung aus über 70 Ausgangssprachen in 13 Zielsprachen und hält dabei mit dem Tempo des Sprechers Schritt. GPT‑Realtime‑Whisper ist ein Streaming-Speech-to-Text-Modell, das mitschreibt, während die Person spricht.

Die Aufteilung ist deshalb relevant, weil sie widerspiegelt, wie OpenAI die Aufgabe strukturiert: Absicht verstehen, zwischen Sprachen übersetzen und Text erzeugen werden als getrennte Funktionen behandelt. Ein Entwickler, der einen Support-Flow baut, der nur Live-Transkription benötigt, muss nicht mehr über ein vollwertiges Reasoning-Modell gehen, und eine Übersetzungsfunktion kann auf das dedizierte Übersetzungsmodell zurückgreifen, statt ein Allzweckmodell entsprechend zu prompten.

Reasoning-Aufwand wird zum Latenz-Regler

GPT‑Realtime‑2 bietet einstellbaren Reasoning-Aufwand in den Stufen minimal, niedrig, mittel, hoch und xhoch, wobei niedrig die Standardeinstellung ist. Das ist die operativ bedeutsamste Neuerung dieses Releases: Teams können damit Latenz gegen Denktiefe abwägen – und das pro Interaktion. So bleiben einfache Anfragen schnell, während für komplexe Anliegen mehr Reasoning-Leistung reserviert werden kann.

OpenAI verknüpft die höheren Einstellungen mit konkreten Eval-Verbesserungen. Laut eigenen Angaben erzielt GPT‑Realtime‑2 (hoch) bei Big Bench Audio ein um 15,2 % besseres Ergebnis als GPT‑Realtime‑1.5, und GPT‑Realtime‑2 (xhoch) schneidet bei Audio MultiChallenge für das Befolgen von Anweisungen um 13,8 % besser ab. Die Formulierung ist vorsichtig gewählt – es handelt sich um die höchsten Einstellungen, während niedrig der Standard ist – sodass die in den Benchmarks beschriebenen Reasoning-Vorteile nicht das widerspiegeln, was die meisten Sitzungen standardmäßig nutzen werden.

Auch das Kontextfenster wächst von 32K auf 128K, was OpenAI eher mit längeren, kohärenteren Sitzungen und mehrstufigen Aufgabenabläufen begründet als mit reiner Modellqualität.

Gestaltung gegen die unangenehme Stille bei der Tool-Nutzung

Mehrere der neuen Funktionen adressieren ein spezifisches Problem bei Sprachassistenten: die Funkstille, während das System im Hintergrund arbeitet. Preambles lassen das Modell kurze Phrasen wie „Moment, ich prüfe das“ sagen, bevor es antwortet. Parallele Tool-Aufrufe können mit Kommentaren wie „ich schaue in Ihrem Kalender nach“ hörbar gemacht werden. Und ein robusteres Fehlerverhalten erlaubt es dem Modell, zu sagen „Ich habe damit gerade Schwierigkeiten“, statt stillschweigend zu scheitern.

Das sind Interaktionsdesign-Entscheidungen, die als API-Funktionen sichtbar gemacht werden. Sie tragen der Erkenntnis Rechnung, dass ein Sprachassistent, der mitten im Gespräch Tools aufruft, laufende Arbeit signalisieren muss – so wie es ein Mensch tun würde –, denn Stille wirkt wie ein Verbindungsabbruch und nicht wie ein beschäftigter Assistent.

Die drei Nutzungsmuster, auf die OpenAI setzt

OpenAI benennt drei Muster, die Entwickler nach eigener Beobachtung umsetzen: Voice-to-Action, Systems-to-Voice und Voice-to-Voice. Als Beispiel wird Zillow genannt, das einen Assistenten baut, der Anfragen wie die Suche nach Häusern innerhalb eines BuyAbility-Budgets und die Terminplanung für Besichtigungen umsetzen kann. Deutsche Telekom entwickelt einen Support, bei dem Kunden in ihrer bevorzugten Sprache sprechen, während das Modell übersetzt. Priceline arbeitet darauf hin, ganze Reisen per Sprache zu verwalten, einschließlich Übersetzung, sobald Reisende vor Ort sind.

Das Systems-to-Voice-Muster wird anhand eines proaktiven Reisebeispiels veranschaulicht:

Ihr Anschlussflug ist verspätet, aber Sie können Ihren Anschlussflug trotzdem noch erreichen. Ich habe das neue Gate gefunden, die schnellste Route durch das Terminal berechnet, und Ihr Gepäck wird weiterhin rechtzeitig umgeladen.Montana Labs

Dieses Beispiel leistet mehr als Transkription oder Übersetzung – es verwandelt Backend-Kontext in unaufgeforderte gesprochene Hinweise. Deshalb betont OpenAI, dass sich die Muster innerhalb eines einzigen Produkts wie dem von Priceline kombinieren lassen.

Was die Aufteilung für Teams bedeutet, die Sprachassistenten bauen

Die konkrete Konsequenz dieses Releases ist, dass OpenAI Entwickler dazu auffordert, Voice-Apps als Kompositionen aus einzelnen Modellen und einstellbaren Parametern zu konzipieren – nicht als einen einzigen Aufruf an einen Black-Box-Assistenten. Die Wahl zwischen Realtime‑2, Translate und Whisper, das Festlegen einer Reasoning-Aufwandsstufe und die Entscheidung, ob Preambles und hörbare Tool-Kommentare aktiviert werden, sind nun explizite Design-Entscheidungen, die Latenz, Kosten und das Verhalten des Assistenten bei schwierigen Anfragen bestimmen.

Für angewandte Teams verschiebt sich die praktische Arbeit darauf, jede Interaktion dem passenden Modell und der passenden Reasoning-Stufe zuzuordnen – standardmäßig mit niedrigem Aufwand zu starten, nur bei Bedarf zu eskalieren und die Transparenz- und Recovery-Funktionen zu nutzen, um Gespräche auch dann zusammenzuhalten, wenn Tools langsam sind oder ausfallen.