OpenAI überführt die Realtime API in die allgemeine Verfügbarkeit – mit SIP-Telefonie, MCP und einem günstigeren Sprache-zu-Sprache-Modell

Was neu ist: ein Modell statt einer Pipeline

OpenAI hat die Realtime API aus der öffentlichen Beta, in der sie sich seit Oktober 2024 befand, herausgeführt und allgemein verfügbar gemacht. Gleichzeitig erscheint ein neues Sprache-zu-Sprache-Modell namens gpt-realtime mit zwei exklusiven Stimmen, Cedar und Marin. Die bestehenden acht Stimmen werden aktualisiert und übernehmen dieselben Qualitätsverbesserungen.

Der architektonische Kern des Releases ist die eigentliche Neuerung: Statt ein Spracherkennungsmodell mit einem Sprachmodell und einem Sprachsynthese-Modell zu verketten, verarbeitet und erzeugt die Realtime API Audio direkt über ein einziges Modell und eine einzige API. OpenAI argumentiert, dass dies die Latenz reduziert und Nuancen erhält – nicht-verbale Signale wie Lachen, Sprachwechsel mitten im Satz oder Tonalitätswechsel zwischen „knapp und professionell“ und „freundlich und einfühlsam“ –, die eine Pipeline mit vorgeschalteter Transkription tendenziell einebnet. Für Teams, die Sprachagenten bauen, ist das der Unterschied zwischen dem Rekonstruieren eines Gesprächs aus Text-Tokens und dem durchgängigen Erhalt des Audiosignals.

Die Benchmark-Werte, die die Produktionsreife untermauern

OpenAI stützt die Einordnung als „produktionsreif“ mit drei Benchmark-Vergleichen gegenüber dem Modell von Dezember 2024. Bei Big Bench Audio, das Reasoning-Fragen aus Big Bench Hard in die Audio-Domäne übertragt, erreicht gpt-realtime 82,8 % gegenüber vormals 65,6 %. Bei einer Audio-Version von MultiChallenge – einem Test zum Befolgen von Anweisungen über mehrere Gesprächsrunden – liegt der Wert bei 30,5 % gegenüber 20,6 %. Bei ComplexFuncBench, aus Text-Prompts in Sprache umgewandelt, erreichen Funktionsaufrufe 66,5 % gegenüber 49,7 %.

Der MultiChallenge-Wert sollte man ehrlich einordnen: 30,5 % sind ein deutlicher Sprung gegenüber 20,6 %, bedeuten aber immer noch, dass das Modell bei der Mehrheit dieser bewusst schwierigen Mehrschritt-Fälle danebenliegt. Das ist relevant, weil genau hier – beim Befolgen von Anweisungen – Sprachautomatisierung häufig scheitert: beim wortgetreuen Vorlesen von Haftungsausschlüssen, beim Wiederholen von alphanumerischen Codes oder beim Verweigern von Handlungen, die ein System-Prompt untersagt. OpenAI weist zudem auf eine verbesserte Erkennung alphanumerischer Folgen wie Telefonnummern und Fahrzeug-Identifikationsnummern in Spanisch, Chinesisch, Japanisch und Französisch hin – die wenig glanzvolle, aber entscheidende Genauigkeitsarbeit, die darüber bestimmt, ob ein Support-Anruf tatsächlich zum Abschluss kommt.

Die Infrastruktur, die aus einem Modell einen Agenten macht: SIP, MCP und asynchrone Aufrufe

Die folgenreichsten Neuerungen für die Automatisierung sind nicht die Sprachqualität, sondern die Integrationsschnittstellen. Die SIP-Unterstützung verbindet Sessions direkt mit dem öffentlichen Telefonnetz, PBX-Systemen und Tischtelefonen – ein Sprachagent kann also reale Anrufe entgegennehmen oder tätigen, ohne eine separate Telefonieebene. Die Unterstützung entfernter MCP-Server erlaubt es, eine Session auf eine Server-URL zu richten (das Dokumentationsbeispiel nutzt Stripes gehosteten MCP-Endpunkt) und Tool-Aufrufe automatisch abwickeln zu lassen – der Server-Wechsel verändert damit die Fähigkeiten des Agenten.

Asynchrone Funktionsaufrufe adressieren ein spezifisches Problem bei Live-Sprache: Ein lang laufender Tool-Aufruf hat bisher das Gespräch ins Stocken gebracht. gpt-realtime spricht nun weiter, während es auf Ergebnisse wartet, und laut OpenAI ist dieses Verhalten nativ und erfordert keine Codeänderungen. Zusammen mit wiederverwendbaren Prompts – gespeicherten Bündeln aus Entwicklernachrichten, Tools, Variablen und Beispiel-Dialogrunden, die über mehrere Sessions hinweg mitgenommen werden – sind das die Bausteine, die eine Demo von einem produktiv eingesetzten Agenten unterscheiden. Josh Weisberg von Zillow fasste den Nutzen in Produktbegriffen zusammen:

Das neue Sprache-zu-Sprache-Modell in OpenAIs Realtime API zeigt stärkeres Reasoning und natürlichere Sprache – dadurch kann es komplexe, mehrstufige Anfragen bearbeiten, etwa Angebote nach Lifestyle-Bedürfnissen einzugrenzen oder Gespräche zur Kaufkraft mit Tools wie unserem BuyAbility-Score zu begleiten.Montana Labs

Preisgestaltung und Kontextsteuerung für lange Sessions

gpt-realtime ist 20 % günstiger als gpt-4o-realtime-preview: 32 US-Dollar pro Million Audio-Input-Tokens (0,40 US-Dollar für zwischengespeicherte Eingaben) und 64 US-Dollar pro Million Audio-Output-Tokens. Zusätzlich zur Preissenkung hat OpenAI eine feingranulare Kontextsteuerung für Gespräche eingeführt, mit der Entwickler Token-Limits setzen und mehrere Gesprächsrunden gleichzeitig kürzen können – ein direkter Hebel gegen die ausufernden Kosten einer Sprachsession, die sich nie zurücksetzt.

Diese Kombination zeigt, wo OpenAI den eigentlichen Engpass sieht. Sprachminuten sind teuer, wenn sich mit jeder Gesprächsrunde Audio-Tokens anhäufen, und ein Callcenter oder Assistent, der viele Minuten läuft, kann so schnell unwirtschaftlich werden. Die Senkung des Preises pro Token bei gleichzeitiger Möglichkeit, den Kontext zu kürzen, ist eine ehrlichere Lösung als eine reine Preissenkung, weil sie das Wachstum der Kontextlänge angeht, das lange Sprachanrufe überhaupt erst teuer macht.

Die konkrete Konsequenz: Telefonie-Automatisierung läuft jetzt direkt beim Modellanbieter

Mit nativer SIP-Telefonie in der API hat OpenAI eine Ebene übernommen, die Entwickler von Sprachagenten bisher selbst aus separaten Telefonie- und Sprachanbietern zusammensetzen mussten. Ein Team kann jetzt eine Telefonnummer anbinden, entfernte MCP-Tools verbinden und ein einziges Sprache-zu-Sprache-Modell mit asynchronen Tool-Aufrufen betreiben – ohne eine Transkriptions-Pipeline dazwischen. Die Sicherheitsvorkehrungen spiegeln wider, dass dies für den realen Einsatz gedacht ist: aktive Klassifizierer können Sessions stoppen, die gegen Content-Regeln verstoßen, nur voreingestellte Stimmen sind zulässig, um Identitätsmissbrauch zu verhindern, Entwickler müssen Nutzer über den KI-Einsatz informieren, und die Datenresidenz in der EU wird unterstützt.

Für angewandte Teams bedeutet das in der Praxis: Die Build-versus-Buy-Abwägung bei der Sprachautomatisierung verschiebt sich nun in Richtung Kauf des gesamten Stacks aus einer API – mit dem Kompromiss, dass Anrufweiterleitung, Tools und Sprachqualität nun an OpenAIs Roadmap gekoppelt sind, ebenso wie an die Obergrenze von 30,5 % beim Befolgen schwieriger Mehrschritt-Anweisungen. Genau diesen Wert sollte man an eigenen Skripten überprüfen, bevor man eine Live-Telefonleitung damit verbindet.