Frontend agnóstico ao modelo da Intercom: como o Fin lança novas modalidades sem reescrever o sistema

Uma superfície para o cliente concebida para sobreviver a qualquer modelo

Segundo o relato da OpenAI, a Intercom lançou o Fin quatro meses depois da disponibilização do GPT-4, no início de 2023, e o agente resolve atualmente milhões de pedidos de clientes por mês. Mas o detalhe que perdura aqui é estrutural, não cronológico.

O sistema do Fin é descrito como modular por conceção, suportando chat, email e voz, cada um com diferentes compromissos entre latência e complexidade. A arquitetura permite à Intercom encaminhar cada pedido para o modelo mais adequado e trocar de modelos sem reengenharia do sistema subjacente. Isso significa que a superfície voltada para o cliente permanece estável enquanto a camada de modelos por baixo se renova.

A OpenAI refere que a arquitetura do Fin está na sua terceira grande iteração, com uma quarta já em desenvolvimento. Para uma equipa de produto, esse ritmo só é sustentável se o contrato de interface entre o frontend e o modelo for deliberadamente flexível. A Intercom parece ter assumido esse custo antecipadamente.

A voz obrigou-os a expandir o significado de 'qualidade' no frontend

O Fin Voice, alimentado pela Realtime API, é onde as implicações para o frontend se tornam concretas. Os agentes de texto podem ser avaliados pela taxa de resolução e pelo cumprimento de instruções. Uma conversa telefónica não pode.

A OpenAI relata que a Intercom expandiu as suas avaliações para captar dimensões específicas da voz: personalidade, tom, gestão de interrupções e ruído de fundo. Estes não são critérios de seleção de modelo no sentido habitual — são propriedades de uma interação em tempo real com pessoas. Construir para isso significa que o sistema de avaliação tem de modelar o canal, e não apenas a resposta.

Este é um alerta útil para quem lança frontends multimodais: cada modalidade acrescenta superfície de avaliação. Adicionar voz a um produto de chat não é uma alteração de interface; é um novo conjunto de eixos de qualidade que os testes existentes nunca foram concebidos para detetar.

A migração de 48 horas foi uma propriedade do frontend, não do modelo

A OpenAI cita o Principal Machine Learning Scientist Pedro Tabacof sobre o lançamento do GPT-4.1:

Quando o GPT‑4.1 saiu, tivemos resultados de avaliação em 48 horas e um plano de lançamento logo a seguir. Vimos imediatamente que o GPT‑4.1 tinha uma boa combinação de inteligência e latência para as necessidades dos nossos clientes.Montana Labs

A rapidez veio da máquina envolvente. A Intercom testa modelos candidatos com transcrições de interações de suporte reais, verifica offline o cumprimento de instruções em várias etapas, a adesão à voz da marca e a fiabilidade nas chamadas de funções, e depois executa testes A/B em produção comparando taxas de resolução e satisfação do cliente. O prazo de 48 horas é o resultado desse processo, não algo que um novo modelo oferece de forma gratuita.

A OpenAI afirma que a migração do GPT-4 para o GPT-4.1 em todo o Fin Tasks aconteceu em poucos dias, com o GPT-4.1 a apresentar uma redução de custos de 20% em relação ao GPT-4o e a maior fiabilidade segundo uma medida estrita de Pass@k — que só considera uma tarefa concluída se tiver sido bem-sucedida nas cinco execuções independentes. O perfil de latência e custo foi importante porque molda diretamente o que o cliente sente do outro lado da interação.

Quando um modelo mais económico lhes permitiu eliminar complexidade da interface

O momento mais instrutivo do relato da OpenAI é o Fin Tasks — o sistema que executa reembolsos, alterações de conta e resolução de problemas técnicos. A Intercom assumiu inicialmente que precisaria de uma stack baseada em modelos de raciocínio. Os testes mostraram que o cumprimento de instruções do GPT-4.1 oferecia a mesma fiabilidade com menor latência e custo.

O Principal Machine Learning Engineer Pratik Bothra descreve o ganho como arquitetural: o perfil permitiu-lhes mudar de direção e remover complexidade. É o oposto do padrão habitual, em que novas capacidades acumulam mais orquestração no frontend. Aqui, uma avaliação rigorosa permitiu à Intercom simplificar.

A lição específica para equipas que constroem AI (keep the English acronym) orientada ao cliente: a arquitetura deve conseguir eliminar camadas com a mesma facilidade com que as adiciona. O frontend da Intercom era suficientemente flexível para encaminhar para um modelo mais simples depois de as avaliações o comprovarem — transformando um ganho de custo e latência num ganho de manutenção. A interface capaz de absorver um novo modelo sem reescrita é a mesma que consegue eliminar uma etapa de raciocínio desnecessária sem precisar de a refazer.