OpenAI leva a Realtime API à disponibilidade geral, com chamadas SIP, MCP e um modelo de fala para fala mais económico

O que foi lançado: um modelo em vez de um pipeline

A OpenAI retirou a Realtime API da beta pública em que entrou em outubro de 2024 e tornou-a geralmente disponível, lançando-a com um novo modelo de fala para fala chamado gpt-realtime e duas vozes exclusivas, Cedar e Marin. As oito vozes existentes estão a ser atualizadas para herdar as mesmas melhorias de qualidade.

A afirmação arquitetónica é o pilar do lançamento: em vez de encadear um modelo de fala para texto com um modelo de linguagem e depois com um modelo de texto para fala, a Realtime API processa e gera áudio diretamente através de um único modelo e API. A OpenAI defende que isto reduz a latência e preserva nuances — sinais não verbais como risos, mudanças de idioma a meio de uma frase e variações de tom entre 'direto e profissional' e 'gentil e empático' — que um pipeline centrado em transcrição tende a apagar. Para equipas que constroem agentes de voz, esta é a diferença entre reconstruir uma conversa a partir de tokens de texto e manter o sinal de áudio intacto do início ao fim.

As diferenças nos benchmarks que justificam chamá-lo pronto para produção

A OpenAI sustenta o enquadramento de 'pronto para produção' com três comparações de benchmarks face ao seu modelo de dezembro de 2024. No Big Bench Audio, que adapta as questões de raciocínio do Big Bench Hard ao domínio do áudio, o gpt-realtime obtém 82,8% contra os anteriores 65,6%. Numa versão em áudio do MultiChallenge — um teste de seguimento de instruções em múltiplas interações — obtém 30,5% face a 20,6%. No ComplexFuncBench, convertido de comandos de texto para fala, as chamadas de funções atingem 66,5% contra 49,7%.

O número do MultiChallenge merece ser lido com honestidade: 30,5% é um salto significativo em relação a 20,6%, mas ainda significa que o modelo falha na maioria destes casos deliberadamente difíceis de múltiplas interações. Isto é relevante porque o cumprimento de instruções é precisamente onde a automação de voz falha — ler scripts de aviso legal palavra por palavra, repetir sequências alfanuméricas ou recusar-se a fazer algo que um prompt de sistema proíbe. A OpenAI destaca ainda melhorias na deteção de sequências alfanuméricas, como números de telefone e VINs, em espanhol, chinês, japonês e francês, o que é o trabalho de precisão pouco glamoroso que determina se uma chamada de suporte é efetivamente concluída.

A infraestrutura que transforma um modelo num agente: SIP, MCP e chamadas assíncronas

As adições mais relevantes para a automação não são a qualidade da voz, mas as superfícies de integração. O suporte SIP liga as sessões diretamente à rede telefónica pública, a sistemas PBX e a telefones de mesa — ou seja, um agente de voz pode atender ou fazer chamadas reais sem uma camada de telefonia separada. O suporte a servidores MCP remotos permite que uma sessão aponte para o URL de um servidor (o exemplo da documentação usa o endpoint MCP alojado pela Stripe) e que as chamadas de ferramentas sejam tratadas automaticamente, pelo que trocar o servidor troca as capacidades do agente.

As chamadas de função assíncronas resolvem um problema específico da voz em direto: uma chamada de ferramenta demorada costumava bloquear a conversa. O gpt-realtime continua agora a falar enquanto espera pelos resultados, e a OpenAI afirma que este comportamento é nativo, sem exigir alterações de código. Combinado com prompts reutilizáveis — conjuntos guardados de mensagens de desenvolvedor, ferramentas, variáveis e exemplos de interações transportados entre sessões — estes são os componentes que separam uma demonstração de um agente em produção. Josh Weisberg, da Zillow, resumiu o benefício em termos de produto:

O novo modelo de fala para fala da Realtime API da OpenAI apresenta raciocínio mais forte e fala mais natural — permitindo-lhe gerir pedidos complexos e de múltiplas etapas, como filtrar anúncios por estilo de vida ou orientar discussões sobre acessibilidade financeira com ferramentas como o nosso índice BuyAbility.Montana Labs

Preços e controlo de contexto pensados para sessões longas

O gpt-realtime tem um preço 20% inferior ao gpt-4o-realtime-preview: 32 USD por milhão de tokens de áudio de entrada (0,40 USD para entrada em cache) e 64 USD por milhão de tokens de áudio de saída. Além da redução, a OpenAI adicionou um controlo detalhado do contexto da conversa que permite aos desenvolvedores definir limites de tokens e truncar várias interações de uma só vez — uma forma direta de controlar o custo descontrolado de uma sessão de voz que nunca é reiniciada.

Esta combinação revela aquilo que a OpenAI considerava ser o obstáculo. Os minutos de voz tornam-se dispendiosos quando cada interação acumula tokens de áudio, e um centro de contacto ou assistente que funcione durante muitos minutos pode rapidamente deixar de ser economicamente viável. Reduzir o preço por token e, ao mesmo tempo, dar aos desenvolvedores a capacidade de reduzir o contexto é uma solução mais honesta do que apenas baixar o preço, porque ataca o crescimento do contexto que, em primeiro lugar, torna as chamadas de voz longas dispendiosas.

A implicação concreta: a automação de telefonia passa a residir no fornecedor do modelo

Com as chamadas SIP nativas na API, a OpenAI absorveu uma camada que os criadores de agentes de voz antes montavam a partir de fornecedores distintos de telefonia e de fala. Uma equipa pode agora associar um número de telefone, ligar ferramentas MCP remotas e executar um único modelo de fala para fala com chamadas de ferramentas assíncronas — sem um pipeline de transcrição no meio. A postura de segurança reflete que esta solução se destina a implementações reais: classificadores ativos podem interromper sessões que violem as regras de conteúdo, apenas as vozes predefinidas são permitidas para evitar imitações, os desenvolvedores têm de informar os utilizadores de que estão a interagir com AI (mantém-se o acrónimo em inglês), e é suportada a residência de dados na UE.

Para equipas aplicadas, a leitura prática é que o cálculo entre construir e comprar para a automação de voz se inclinou agora para comprar toda a pilha tecnológica a uma única API — com a contrapartida de que o encaminhamento de chamadas, as ferramentas e a qualidade da voz ficam agora dependentes do roteiro da OpenAI e do seu limite de 30,5% no seguimento de instruções em interações longas e complexas. É esse número que vale a pena validar face aos vossos próprios scripts antes de ligar uma linha telefónica real a este sistema.