Jul, 144 Min. Lesezeit
KI-Produkte
News · OpenAI und Penda Health testen einen Warn-Copiloten über 40.000 Klinikbesuche in Nairobi hinweg
Jul, 84 Min. Lesezeit
KI-ProdukteOpenAI und Penda Health testen einen Warn-Copiloten über 40.000 Klinikbesuche in Nairobi hinweg
Ein LLM-Sicherheitsnetz im Hintergrund senkte dokumentierte Diagnose- und Behandlungsfehler – doch die Studie zeigt, dass die Umsetzung in der Praxis genauso wichtig war wie das Modell selbst.
Eine Warnschicht, kein autonomer Agent
Penda Health hat AI Consult als Copiloten entwickelt, der im Hintergrund der elektronischen Patientenakte läuft, die das Klinikpersonal bereits nutzt. Während eine Ärztin oder ein Arzt den Besuch dokumentiert, werden anonymisierte Notizen an bestimmten Punkten an die OpenAI API gesendet, und das System liefert eines von drei Signalen zurück: ein grünes Häkchen ohne Anlass zur Sorge, eine gelbe Glocke, die die Ärztin oder der Arzt öffnen kann, und ein rotes Pop-up, das vor dem Fortfahren angesehen werden muss.
Bemerkenswert ist, was das System bewusst nicht tut. Es weist auf mögliche Fehler hin, die ein Mensch überprüfen soll, greift aber selbst nicht in die Akte ein. Das Beispiel aus der Ankündigung ist konkret: Ein vollständiges Blutbild zeigt eine mikrozytäre Anämie (Hb 9,90, MCV 58,30), doch als Diagnose steht nur eine bakterielle Tonsillitis. AI Consult wies auf die unbehandelte Anämie hin, und die behandelnde Ärztin ergänzte die Diagnose um eine Eisenmangelanämie.
Hinter dem System steckte GPT-4o aus dem August 2024. OpenAI stellt klar, dass die Modellfähigkeit nicht der limitierende Faktor war – eine bemerkenswerte Einordnung, zumal die Prompts zusätzlich an den kenianischen epidemiologischen Kontext, lokale klinische Leitlinien und Pendas eigene Standardverfahren angepasst wurden.
Die eigentliche Geschichte steckt in der 'Rot ungeklärt'-Quote
Bei 39.849 Besuchen, aufgeteilt zwischen Klinikpersonal mit und ohne das Tool, fanden ärztliche Prüferinnen und Prüfer in der KI-Gruppe 16 % weniger Diagnosefehler und 13 % weniger Behandlungsfehler, während Fehler bei der Anamnese um 32 % zurückgingen. Bei Besuchen, die einen roten Alarm ausgelöst hätten, waren die Effekte noch größer: 31 % weniger Diagnosefehler, 18 % weniger Behandlungsfehler.
Eine frühere Version des Copiloten, bei der das Klinikpersonal aktiv eine zweite Meinung anfordern musste, wurde jedoch kaum genutzt, da sie den Patientenkontakt unterbrach. Und selbst die überarbeitete Version blieb zunächst hinter den Erwartungen zurück. Penda erfasste eine Kennzahl namens 'Rot ungeklärt'-Quote – den Anteil der Besuche mit ungelösten roten Warnungen. Während der Einführungsphase lag sie in beiden Gruppen bei 35–40 %, das heißt, das Klinikpersonal mit dem Tool ignorierte rote Warnungen oft vollständig.
Diese Zahl sank erst auf 20 %, nachdem Penda gezielt in die Einführung investiert hatte: Peer-Botschafter erklärten das Tool, individuelles Coaching basierte auf Nutzungsdaten, und Kliniken, die es gut einsetzten, wurden anerkannt. Die Technologie blieb in beiden Phasen unverändert. Verändert hat sich das menschliche Programm rund um sie.
Was die Ergebnisdaten zeigen – und was nicht
Die Fehlerreduktionen basieren auf der ärztlichen Prüfung der Dokumentation. Als Penda die Patientinnen und Patienten selbst befragte – über Nachfassanrufe nach acht Tagen zur Frage, ob es ihnen besser gehe – lag der Unterschied bei 3,8 % ohne Besserung in der KI-Gruppe gegenüber 4,3 % ohne das Tool, was laut Ankündigung statistisch nicht signifikant war. Auch die Raten, anderswo Behandlung zu suchen, waren ähnlich.
OpenAI bleibt hier zurückhaltend, statt zu übertreiben. Von 12 Meldungen zur Patientensicherheit (7 in der KI-Gruppe, 5 ohne) betraf keine einen durch AI-Consult-Empfehlungen verursachten Schaden. Penda führt nun gemeinsam mit PATH eine separate randomisierte kontrollierte Studie durch, die gezielt Patientenergebnisse misst – ein implizites Eingeständnis, dass weniger dokumentierte Fehler ein Anhaltspunkt sind, aber kein Beweis für eine bessere Gesundheit.
Ein sekundärer Befund spricht gegen die Annahme wachsender Abhängigkeit vom Tool: Die Auslösung roter Warnungen sank von 45 % der Besuche zu Studienbeginn auf 35 % am Ende, was darauf hindeutet, dass das Klinikpersonal begann, häufige Fehler zu vermeiden, bevor das Tool überhaupt darauf hinwies.
Die Konsequenz: Die Lücke zwischen Modell und Umsetzung ist heute ein Betriebsproblem
Die klarste Erkenntnis aus Pendas Arbeit ist, dass ein leistungsfähiges Spitzenmodell notwendig, aber bei weitem nicht ausreichend war. Die Lücke, die OpenAI benennt – zwischen dem, was Modelle können, und wie sie eingesetzt werden – wurde hier durch Workflow-Integration, lokale Prompt-Anpassung, ethische Genehmigungen von vier kenianischen Institutionen und ein anhaltendes Coaching-Programm geschlossen, das die 'Rot ungeklärt'-Quote halbierte.
Für Teams, die klinische oder anderweitig kritische Copiloten einsetzen, liegt die übertragbare Lehre nicht in der Zahl 16 %. Sie liegt darin, zu messen, wie oft Menschen tatsächlich auf Warnungen reagieren, und dann in das Change-Management zu investieren, das diese Zahl steigert – genau dort lag der eigentliche Nutzen. Ein Tool, das rote Warnungen auslöst, die niemand beachtet, bringt dasselbe Ergebnis wie gar kein Tool.
Penda bezeichnet AI Consult als frühen Archetyp und nicht als endgültige Form, mit Blick auf sprachbasierte Dokumentation und bestätigte Agentenaktionen in der Akte. Das sind Verbesserungen auf Modellseite. Diese Studie legt nahe, dass die schwierigere, weniger glanzvolle Arbeit weiterhin auf der Umsetzungsseite liegen wird.
Find this story relevant to you?
Contact us to find a unique solution
Brauchen Sie einen KI-Engineering-Partner, der auch liefern kann?
Wir helfen Unternehmen dabei, KI in Produkte und Prozesse zu integrieren, wertvolle Workflows zu automatisieren und die zugrunde liegenden Softwaresysteme zu modernisieren.
Weiterführende Beiträge
Weitere Analysen rund um Produktbereitstellung, operative KI und die Systemarbeit, die dafür sorgt, dass der Einsatz in der Praxis Bestand hat.
Jul, 134 Min. Lesezeit
KI-Produkte
Die Bildauswahl-Automatisierung von Expedia ist der konkrete Baustein hinter der KI-Marketinggeschichte des Unternehmens
Jul, 134 Min. Lesezeit
KI-Produkte