Intercoms modellunabhängiges Frontend: Wie Fin neue Modalitäten ohne Neuentwicklung ausrollt

Eine Kundenoberfläche, die jedes einzelne Modell überlebt

Laut OpenAI hat Intercom Fin innerhalb von vier Monaten nach der Verfügbarkeit von GPT-4 Anfang 2023 gestartet, und der Agent löst inzwischen jeden Monat Millionen von Kundenanfragen. Das entscheidende Detail dabei ist jedoch struktureller, nicht zeitlicher Natur.

Fins System wird als von Grund auf modular beschrieben und unterstützt Chat, E-Mail und Sprache, jeweils mit unterschiedlichen Kompromissen bei Latenz und Komplexität. Die Architektur erlaubt es Intercom, eine Anfrage an das jeweils passende Modell weiterzuleiten und Modelle auszutauschen, ohne das zugrunde liegende System neu zu bauen. Das bedeutet: Die kundenseitige Oberfläche bleibt stabil, während sich die Modellebene darunter ständig verändert.

OpenAI weist darauf hin, dass Fins Architektur bereits die dritte große Iteration durchläuft, wobei die vierte schon in Entwicklung ist. Für ein Produktteam ist ein solches Tempo nur zu bewältigen, wenn die Schnittstelle zwischen Frontend und Modell bewusst locker gehalten wird. Intercom hat diesen Preis offenbar von Anfang an einkalkuliert.

Sprache zwang sie, den Qualitätsbegriff im Frontend neu zu fassen

Bei Fin Voice, angetrieben von der Realtime API, werden die Konsequenzen für das Frontend konkret. Text-Agenten lassen sich an Lösungsrate und Befolgung von Anweisungen messen. Ein Telefongespräch nicht.

OpenAI berichtet, dass Intercom seine Evaluierungen um sprachspezifische Dimensionen erweitert hat: Persönlichkeit, Tonfall, Umgang mit Unterbrechungen und Hintergrundgeräusche. Das sind keine klassischen Kriterien zur Modellauswahl - es sind Eigenschaften einer Live-Interaktion mit echten Menschen. Das erfordert, dass die Evaluierungsumgebung den Kanal selbst abbildet, nicht nur die Antwort.

Das ist eine nützliche Erinnerung für alle, die multimodale Frontends bauen: Jede Modalität erweitert die Fläche für Evaluierung. Sprache zu einem Chat-Produkt hinzuzufügen ist keine UI-Änderung - es ist ein völlig neuer Satz von Qualitätsdimensionen, für die bestehende Tests nie ausgelegt waren.

Die 48-Stunden-Migration war eine Eigenschaft des Frontends, nicht des Modells

OpenAI zitiert Principal Machine Learning Scientist Pedro Tabacof zum Rollout von GPT-4.1:

Als GPT-4.1 erschien, hatten wir binnen 48 Stunden Evaluierungsergebnisse und gleich danach einen Rollout-Plan. Uns war sofort klar, dass GPT-4.1 die richtige Mischung aus Intelligenz und Latenz für die Bedürfnisse unserer Kunden bietet.Montana Labs

Die Geschwindigkeit kam aus der Infrastruktur im Hintergrund. Intercom testet Kandidatenmodelle anhand von Transkripten echter Support-Interaktionen, prüft offline die Befolgung mehrstufiger Anweisungen, die Einhaltung der Markenstimme und die Zuverlässigkeit von Funktionsaufrufen und führt anschließend Live-A/B-Tests durch, die Lösungsraten und Kundenzufriedenheit vergleichen. Die 48-Stunden-Marke ist das Ergebnis dieser Pipeline, kein Geschenk eines neuen Modells.

OpenAI erklärt, dass die Migration von GPT-4 zu GPT-4.1 über alle Fin Tasks hinweg innerhalb von Tagen erfolgte, wobei GPT-4.1 im Vergleich zu GPT-4o eine Kostensenkung von 20 % zeigte und bei einem strengen Pass@k-Maß die höchste Zuverlässigkeit erreichte - eine Aufgabe zählt dabei nur als abgeschlossen, wenn sie in allen fünf unabhängigen Durchläufen erfolgreich war. Latenz und Kosten spielten eine Rolle, weil sie unmittelbar prägen, was der Kunde am anderen Ende der Interaktion wahrnimmt.

Als ein günstigeres Modell erlaubte, Komplexität aus der Oberfläche zu entfernen

Der aufschlussreichste Wendepunkt in OpenAIs Bericht ist Fin Tasks - das System, das Rückerstattungen, Kontoänderungen und technische Fehlerbehebung ausführt. Intercom ging zunächst davon aus, dafür einen auf einem Reasoning-Modell basierenden Stack zu benötigen. Tests zeigten jedoch, dass die Befolgung von Anweisungen durch GPT-4.1 dieselbe Zuverlässigkeit bei geringerer Latenz und niedrigeren Kosten lieferte.

Principal Machine Learning Engineer Pratik Bothra beschreibt den Gewinn als architektonisch: Das Profil erlaubte es ihnen, umzuschwenken und Komplexität abzubauen. Das ist das Gegenteil des üblichen Musters, bei dem neue Fähigkeiten immer mehr Orchestrierung auf das Frontend häufen. Hier ermöglichte eine sorgfältige Evaluierung Intercom, zu vereinfachen.

Die konkrete Lehre für Teams, die kundenorientierte KI bauen: Ihre Architektur sollte Ebenen genauso leicht abbauen wie hinzufügen können. Intercoms Frontend war flexibel genug, um auf ein einfacheres Modell umzuleiten, sobald die Evaluierungen es bestätigten - und machte so aus einem Kosten- und Latenzvorteil einen Vorteil bei der Wartbarkeit. Die Schnittstelle, die ein neues Modell ohne Neuentwicklung aufnehmen kann, ist dieselbe Schnittstelle, die eine unnötige Reasoning-Stufe ohne Neuentwicklung wieder abwerfen kann.