A OpenAI divide a voz em tempo real em três modelos: raciocínio, tradução e transcrição

Três modelos em vez de um único endpoint de voz

A OpenAI anunciou três modelos de áudio na API em vez de um único endpoint de voz melhorado. O GPT‑Realtime‑2 é descrito como o primeiro modelo de voz com raciocínio de nível GPT‑5. O GPT‑Realtime‑Translate faz tradução em tempo real de mais de 70 línguas de entrada para 13 línguas de saída, acompanhando o ritmo do interlocutor. O GPT‑Realtime‑Whisper é um modelo de conversão de fala em texto em streaming, que transcreve à medida que a pessoa fala.

Esta divisão é relevante porque reflete a forma como a OpenAI enquadra o trabalho: compreender a intenção, traduzir entre línguas e produzir texto são tratados como funções separáveis. Um desenvolvedor que construa um fluxo de apoio ao cliente que só precise de transcrição em tempo real já não tem de passar por um modelo de raciocínio completo, e uma experiência de tradução pode recorrer ao modelo de tradução dedicado em vez de instruir um modelo genérico.

O esforço de raciocínio passa a ser um regulador de latência

O GPT‑Realtime‑2 expõe um esforço de raciocínio ajustável em cinco níveis — mínimo, baixo, médio, alto e xhigh —, sendo o baixo o valor predefinido. Este é o controlo mais relevante a nível operacional deste lançamento: permite às equipas equilibrar latência e ponderação em cada interação, mantendo as respostas simples rápidas e reservando o raciocínio mais intenso para pedidos complexos.

A OpenAI associa os níveis mais altos a ganhos concretos em avaliações. Segundo a empresa, o GPT‑Realtime‑2 (alto) obtém uma pontuação 15,2% superior no Big Bench Audio em comparação com o GPT‑Realtime‑1.5, e o GPT‑Realtime‑2 (xhigh) obtém uma pontuação 13,8% superior no Audio MultiChallenge para seguimento de instruções. A ressalva é clara — estes são os níveis mais elevados, e o baixo é o predefinido —, pelo que os ganhos de raciocínio descritos nos benchmarks não correspondem ao que a maioria das sessões usará por defeito.

A janela de contexto também aumenta de 32K para 128K, algo que a OpenAI apresenta como uma vantagem para sessões mais longas e coerentes e fluxos de tarefas com múltiplas etapas, e não como um indicador direto de qualidade do modelo.

Pensado para evitar os silêncios incómodos do uso de ferramentas

Várias das novas funcionalidades resolvem um problema específico dos agentes de voz: o silêncio enquanto o sistema trabalha. Os preâmbulos permitem que o modelo diga frases curtas como "deixe-me verificar isso" antes de responder. As chamadas de ferramentas em paralelo podem tornar-se audíveis com narração, como "a verificar a sua agenda". E um comportamento de recuperação mais robusto permite que o modelo diga "estou a ter dificuldades com isso agora" em vez de falhar em silêncio.

Estas são decisões de design de interação apresentadas como capacidades da API. Reconhecem que um agente de voz que chama ferramentas a meio da conversa precisa de sinalizar que está a trabalhar, tal como faria uma pessoa, porque o silêncio é interpretado como uma chamada avariada, e não como um assistente ocupado.

Os três padrões de utilização em que a OpenAI está a apostar

A OpenAI identifica três padrões que vê os desenvolvedores a construir: voz-para-ação, sistemas-para-voz e voz-para-voz. A Zillow é referida como estando a construir um assistente capaz de agir sobre pedidos como encontrar casas dentro de um orçamento de BuyAbility e agendar visitas. A Deutsche Telekom está a construir um serviço de apoio ao cliente em que os clientes falam na língua que preferirem enquanto o modelo traduz. A Priceline está a trabalhar para gerir viagens completas por voz, incluindo tradução quando os viajantes já se encontram no destino.

O padrão sistemas-para-voz é ilustrado com um exemplo proativo de viagens:

O seu voo de chegada está atrasado, mas ainda consegue apanhar a ligação. Encontrei a nova porta de embarque, tracei a rota mais rápida pelo terminal, e prevê-se que a sua bagagem seja transferida sem problemas.Montana Labs

Este exemplo vai além da transcrição ou tradução — transforma contexto do backend em orientação falada não solicitada, e é por isso que a OpenAI nota que estes padrões se podem combinar num único produto, como o da Priceline.

O que esta divisão significa para as equipas que constroem agentes de voz

A implicação concreta deste lançamento é que a OpenAI pede aos desenvolvedores que estruturem as aplicações de voz como composições de modelos distintos e definições ajustáveis, em vez de uma única chamada a um assistente de caixa negra. Escolher entre o Realtime‑2, o Translate e o Whisper, definir um nível de esforço de raciocínio, e decidir se ativam os preâmbulos e a narração audível das ferramentas são agora decisões de design explícitas, que determinam a latência, o custo e o comportamento do agente quando um pedido se torna difícil.

Para as equipas que aplicam estas tecnologias na prática, o trabalho passa por associar cada interação ao modelo e ao nível de raciocínio certos — partindo de um esforço baixo por defeito, escalando apenas quando o pedido o justifica, e usando as funcionalidades de transparência e recuperação para manter as conversas intactas quando as ferramentas são lentas ou falham.