OpenAI porta la Realtime API alla disponibilità generale con chiamate SIP, MCP e un modello speech-to-speech più economico

Cosa cambia: un modello unico al posto di una pipeline

OpenAI ha fatto uscire la Realtime API dalla beta pubblica avviata nell'ottobre 2024, rendendola disponibile a tutti con un nuovo modello speech-to-speech chiamato gpt-realtime e due voci esclusive, Cedar e Marin. Le otto voci già esistenti vengono aggiornate per ereditare gli stessi miglioramenti di qualità.

Il cuore dell'annuncio è la scelta architetturale: invece di concatenare un modello di trascrizione, un modello linguistico e un modello di sintesi vocale, la Realtime API elabora e genera audio direttamente tramite un unico modello e un'unica API. Secondo OpenAI questo riduce la latenza e preserva le sfumature — segnali non verbali come risate, cambi di lingua a metà frase, variazioni di tono tra 'brillante e professionale' e 'gentile ed empatico' — che una pipeline basata sulla trascrizione tende ad appiattire. Per i team che costruiscono agenti vocali, è la differenza tra ricostruire una conversazione a partire da token di testo e mantenere il segnale audio intatto dall'inizio alla fine.

I numeri dei benchmark che giustificano l'etichetta

OpenAI sostiene la definizione di modello pronto per la produzione con tre confronti sui benchmark rispetto al modello di dicembre 2024. Su Big Bench Audio, che adatta le domande di ragionamento di Big Bench Hard al dominio audio, gpt-realtime ottiene 82,8% contro il precedente 65,6%. Su una versione audio di MultiChallenge — un test di aderenza alle istruzioni su più turni — ottiene 30,5% contro 20,6%. Su ComplexFuncBench, convertito da prompt testuali a voce, il function calling raggiunge 66,5% contro 49,7%.

Il dato di MultiChallenge va letto con onestà: 30,5% è un salto significativo rispetto al 20,6%, ma significa comunque che il modello gestisce male la maggioranza di questi casi multi-turno deliberatamente complessi. Non è un dettaglio, perché l'aderenza alle istruzioni è esattamente il punto in cui l'automazione vocale si rompe — leggere un disclaimer parola per parola, ripetere sequenze alfanumeriche, o rifiutarsi di fare qualcosa che un system prompt vieta. OpenAI segnala anche un miglior riconoscimento di sequenze alfanumeriche come numeri di telefono e VIN in spagnolo, cinese, giapponese e francese, un lavoro poco appariscente sulla precisione che però decide se una chiamata di assistenza va effettivamente a buon fine.

L'infrastruttura che trasforma un modello in un agente: SIP, MCP e chiamate asincrone

Le aggiunte più rilevanti per l'automazione non riguardano la qualità della voce, ma le superfici di integrazione. Il supporto SIP collega le sessioni direttamente alla rete telefonica pubblica, ai centralini PBX e ai telefoni fissi — quindi un agente vocale può rispondere o effettuare chiamate reali senza un livello di telefonia separato. Il supporto per server MCP remoti permette a una sessione di puntare a un URL di server (l'esempio nella documentazione usa l'endpoint MCP ospitato da Stripe) e far gestire automaticamente le chiamate agli strumenti, così cambiare server significa cambiare le capacità dell'agente.

Il function calling asincrono risolve una specifica falla della voce in tempo reale: una chiamata a uno strumento che richiede tempo bloccava la conversazione. Ora gpt-realtime continua a parlare mentre aspetta i risultati, e OpenAI dice che questo comportamento è nativo, senza bisogno di modifiche al codice. Insieme ai prompt riutilizzabili — insiemi salvati di messaggi per sviluppatori, strumenti, variabili ed esempi di turni conservati tra sessioni diverse — questi sono gli elementi che separano una demo da un agente effettivamente distribuito. Josh Weisberg di Zillow ha inquadrato il vantaggio in termini di prodotto:

Il nuovo modello speech-to-speech nella Realtime API di OpenAI mostra un ragionamento più solido e un parlato più naturale, permettendogli di gestire richieste complesse e articolate su più passaggi, come restringere gli annunci in base allo stile di vita o guidare discussioni sulla sostenibilità economica con strumenti come il nostro punteggio BuyAbility.Montana Labs

Prezzi e controllo del contesto pensati per le sessioni lunghe

gpt-realtime costa il 20% in meno rispetto a gpt-4o-realtime-preview: 32 dollari per milione di token audio in ingresso (0,40 dollari per l'input in cache) e 64 dollari per milione di token audio in uscita. Oltre al taglio dei prezzi, OpenAI ha introdotto un controllo granulare del contesto della conversazione che permette agli sviluppatori di impostare limiti di token e troncare più turni contemporaneamente — una leva diretta sul costo incontrollato di una sessione vocale che non si azzera mai.

Questa combinazione rivela quale fosse, secondo OpenAI, il vero ostacolo. I minuti vocali diventano costosi quando ogni turno accumula token audio, e un call center o un assistente che resta attivo per molti minuti può rapidamente diventare antieconomico. Tagliare il prezzo per token e allo stesso tempo dare agli sviluppatori la possibilità di potare il contesto è una soluzione più onesta del solo taglio dei prezzi, perché attacca direttamente la crescita della lunghezza del contesto che rende costose le chiamate vocali lunghe.

L'implicazione concreta: l'automazione telefonica ora vive dentro il fornitore del modello

Con le chiamate SIP native nell'API, OpenAI ha assorbito un livello che chi costruisce agenti vocali prima assemblava a partire da fornitori separati di telefonia e voce. Un team può ora collegare un numero di telefono, connettere strumenti MCP remoti e far girare un unico modello speech-to-speech con chiamate asincrone agli strumenti — senza una pipeline di trascrizione nel mezzo. L'impostazione sulla sicurezza riflette il fatto che questo è pensato per implementazioni reali: classificatori attivi possono interrompere le sessioni che violano le regole sui contenuti, solo le voci predefinite sono consentite per impedire l'impersonificazione, gli sviluppatori devono dichiarare agli utenti che stanno parlando con un'IA, ed è supportata la residenza dei dati nell'UE.

Per i team applicativi, la lettura pratica è che il calcolo costruire-o-comprare per l'automazione vocale si è appena spostato verso l'acquisto dell'intero stack da un'unica API — con il compromesso che instradamento delle chiamate, strumenti e qualità della voce sono ora legati alla roadmap di OpenAI e al suo tetto del 30,5% sull'aderenza alle istruzioni nei casi multi-turno più difficili. Questo è il numero da verificare rispetto ai propri scenari prima di collegarci una linea telefonica reale.