Jul, 14Ανάγνωση 4 λεπτών
Προϊόντα ΤΝ
News · Το OpenAI και η Penda Health δοκιμάζουν έναν copilot ειδοποιήσεων σε 40.000 επισκέψεις κλινικών στο Ναϊρόμπι
Jul, 84 λεπτά ανάγνωση
Προϊόντα ΤΝΤο OpenAI και η Penda Health δοκιμάζουν έναν copilot ειδοποιήσεων σε 40.000 επισκέψεις κλινικών στο Ναϊρόμπι
Ένα δίχτυ ασφαλείας βασισμένο σε LLM που λειτουργεί στο παρασκήνιο μείωσε τα καταγεγραμμένα διαγνωστικά και θεραπευτικά σφάλματα — όμως η μελέτη δείχνει ότι η δουλειά της υλοποίησης μέτρησε τόσο όσο και το ίδιο το μοντέλο.
Ένα επίπεδο ειδοποιήσεων, όχι αυτόνομος πράκτορας
Η Penda Health δημιούργησε το AI Consult ως έναν copilot που λειτουργεί στο παρασκήνιο του ηλεκτρονικού φακέλου υγείας που ήδη χρησιμοποιούν οι κλινικοί της. Καθώς ένας κλινικός καταγράφει μια επίσκεψη, ανωνυμοποιημένες σημειώσεις αποστέλλονται στο API του OpenAI σε καίρια σημεία, και το σύστημα επιστρέφει ένα από τρία σήματα: ένα πράσινο τσεκάρισμα χωρίς ανησυχία, ένα κίτρινο κουδούνι που ο κλινικός μπορεί να επιλέξει να ανοίξει, και ένα κόκκινο αναδυόμενο μήνυμα που πρέπει να δει πριν συνεχίσει.
Η επιλογή σχεδιασμού που αξίζει να σημειωθεί είναι αυτό που το σύστημα δεν κάνει. Εντοπίζει πιθανά σφάλματα προς επιβεβαίωση από άνθρωπο, χωρίς να προχωράει σε καμία ενέργεια επί του φακέλου. Το παράδειγμα που παρουσιάζεται στην ανακοίνωση είναι συγκεκριμένο: μια πλήρης αιμοσφαιρίνη που δείχνει μικροκυτταρική αναιμία (HGB 9.90, MCV 58.30) με διάγνωση μόνο βακτηριακής αμυγδαλίτιδας. Το AI Consult επισήμανε την αναιμία που δεν είχε αντιμετωπιστεί, και ο κλινικός προσέθεσε την αναιμία λόγω σιδηροπενίας στις διαγνώσεις.
Το μοντέλο πίσω από αυτό ήταν το GPT-4o από τον Αύγουστο του 2024. Το OpenAI είναι ξεκάθαρο ότι η ικανότητα του μοντέλου δεν ήταν ο περιοριστικός παράγοντας — μια αξιοσημείωτη διατύπωση, δεδομένου ότι οι προτροπές είχαν επίσης προσαρμοστεί με βάση το κενυατικό επιδημιολογικό πλαίσιο, τις τοπικές κλινικές οδηγίες και τις δικές της τυπικές διαδικασίες της Penda.
Το ποσοστό «παραμονής στο κόκκινο» είναι η πραγματική ιστορία
Σε 39.849 επισκέψεις χωρισμένες μεταξύ κλινικών με και χωρίς το εργαλείο, οι ιατρικοί αξιολογητές διαπίστωσαν ότι η ομάδα με ΤΝ είχε 16% λιγότερα διαγνωστικά σφάλματα και 13% λιγότερα θεραπευτικά σφάλματα, με τα σφάλματα λήψης ιστορικού μειωμένα κατά 32%. Τα αποτελέσματα ήταν μεγαλύτερα στις επισκέψεις που θα προκαλούσαν κόκκινη ειδοποίηση: 31% λιγότερα διαγνωστικά σφάλματα, 18% λιγότερα θεραπευτικά σφάλματα.
Ωστόσο, μια προηγούμενη έκδοση του copilot, που απαιτούσε από τους κλινικούς να ζητούν ενεργά δεύτερη γνώμη, είχε περιορισμένη υιοθέτηση επειδή διέκοπτε την αλληλεπίδραση με τον ασθενή. Και ακόμη και η αναθεωρημένη έκδοση είχε αρχικά χαμηλότερη απόδοση. Η Penda παρακολουθούσε μια μετρική που ονομάζει ποσοστό «παραμονής στο κόκκινο» — το ποσοστό επισκέψεων με ανεπίλυτες κόκκινες ειδοποιήσεις. Κατά την περίοδο εξοικείωσης, αυτό κυμαινόταν στο 35–40% και στις δύο ομάδες, που σημαίνει ότι οι κλινικοί με το εργαλείο συχνά αγνοούσαν εντελώς τις κόκκινες ειδοποιήσεις.
Αυτός ο αριθμός μειώθηκε στο 20% μόνο αφού η Penda επένδυσε σε ενεργή υλοποίηση: συνάδελφοι-πρεσβευτές που εξηγούσαν το εργαλείο, εξατομικευμένη καθοδήγηση βάσει παρακολούθησης χρήσης, και αναγνώριση για τις κλινικές που το χρησιμοποιούσαν σωστά. Η τεχνολογία παρέμεινε σταθερή στις δύο περιόδους. Αυτό που άλλαξε ήταν το ανθρώπινο πρόγραμμα γύρω από αυτήν.
Τι δείχνουν και τι δεν δείχνουν τα δεδομένα αποτελεσμάτων
Οι μειώσεις σφαλμάτων βαθμολογούνται μέσω αξιολόγησης της τεκμηρίωσης από ιατρούς. Όταν η Penda εξέτασε τους ίδιους τους ασθενείς — μέσω τηλεφωνικών κλήσεων παρακολούθησης οκτώ ημερών ρωτώντας αν αισθάνονταν καλύτερα — η διαφορά ήταν 3,8% μη βελτιωμένοι στην ομάδα με ΤΝ έναντι 4,3% χωρίς, κάτι που η ανακοίνωση αναφέρει ότι δεν ήταν στατιστικά σημαντικό. Τα ποσοστά αναζήτησης φροντίδας αλλού ήταν επίσης παρόμοια.
Το OpenAI είναι προσεκτικό εδώ και δεν υπερβάλλει. Από τις 12 αναφορές ασφάλειας ασθενών (7 στην ομάδα με ΤΝ, 5 χωρίς), καμία δεν αφορούσε βλάβη που προκλήθηκε από τις συστάσεις του AI Consult. Η Penda διεξάγει τώρα μια ξεχωριστή τυχαιοποιημένη ελεγχόμενη δοκιμή με την PATH ειδικά για τη μέτρηση των αποτελεσμάτων στους ασθενείς, μια σιωπηρή παραδοχή ότι τα λιγότερα καταγεγραμμένα σφάλματα είναι ένδειξη, όχι απόδειξη καλύτερης υγείας.
Ένα δευτερεύον εύρημα αντιστρατεύεται την ιδέα ότι οι κλινικοί γίνονται εξαρτημένοι: οι κόκκινες ειδοποιήσεις μειώθηκαν από το 45% των επισκέψεων στην αρχή της μελέτης στο 35% στο τέλος, υποδηλώνοντας ότι οι κλινικοί ξεκίνησαν να αποφεύγουν κοινά λάθη προτού το εργαλείο τα επισημάνει.
Το συμπέρασμα: το κενό υλοποίησης του μοντέλου είναι πλέον ζήτημα λειτουργίας
Το σαφέστερο δίδαγμα από τη δουλειά της Penda είναι ότι ένα ικανό μοντέλο αιχμής ήταν αναγκαίο αλλά κάθε άλλο παρά επαρκές. Το κενό που περιγράφει το OpenAI — μεταξύ αυτού που τα μοντέλα μπορούν να κάνουν και του πώς χρησιμοποιούνται — κλείστηκε εδώ μέσω της ενσωμάτωσης στη ροή εργασίας, της τοπικής προσαρμογής προτροπών, των εγκρίσεων δεοντολογίας από τέσσερις κενυατικούς φορείς, και μιας διαρκούς προσπάθειας καθοδήγησης που υποδιπλασίασε το ποσοστό «παραμονής στο κόκκινο».
Για ομάδες που αναπτύσσουν κλινικούς ή υψηλού ρίσκου copilot, το επαναλήψιμο δίδαγμα δεν είναι το ποσοστό 16%. Είναι ότι η μέτρηση της συχνότητας με την οποία οι άνθρωποι ενεργούν βάσει των ειδοποιήσεων, και στη συνέχεια η επένδυση στη διαχείριση αλλαγής για να αυξηθεί αυτός ο αριθμός, είναι το σημείο από όπου προήλθε πραγματικά το παρατηρούμενο όφελος. Ένα εργαλείο που εκπέμπει κόκκινες ειδοποιήσεις τις οποίες κανείς δεν λαμβάνει υπόψη παράγει τα ίδια αποτελέσματα με την απουσία εργαλείου.
Η Penda αποκαλεί το AI Consult πρώιμο αρχέτυπο και όχι τελική μορφή, υποδεικνύοντας κατεύθυνση προς τεκμηρίωση με προτεραιότητα στη φωνή και επιβεβαιωμένες ενέργειες πράκτορα στον φάκελο. Αυτές είναι βελτιώσεις στην πλευρά του μοντέλου. Η μελέτη αυτή υποδηλώνει ότι η πιο δύσκολη, λιγότερο εντυπωσιακή δουλειά θα παραμείνει στην πλευρά της υλοποίησης.
Find this story relevant to you?
Contact us to find a unique solution
Χρειάζεστε συνεργάτη AI engineering που μπορεί να παραδώσει;
Βοηθάμε ομάδες στην Ελλάδα να ενσωματώσουν AI, να δημιουργήσουν AI-powered προϊόντα, να αυτοματοποιήσουν κρίσιμες ροές εργασίας και να εκσυγχρονίσουν τα συστήματα που τα στηρίζουν.
Σχετικά άρθρα
Περισσότερη ανάλυση για την παράδοση προϊόντων, τη λειτουργική ΤΝ και τη δουλειά στα συστήματα που κάνει την ανάπτυξη να αντέχει στην πράξη.
Jul, 134 λεπτά ανάγνωσης
Προϊόντα ΤΝ
Ο αυτοματισμός επιλογής εικόνων της Expedia είναι το συγκεκριμένο κομμάτι πίσω από την ιστορία της για το μάρκετινγκ με ΤΝ
Jul, 134 λεπτά ανάγνωσης
Προϊόντα ΤΝ