Jul, 13Ανάγνωση 4 λεπτών
Frontend
News · Το LifeSciBench της OpenAI βαθμολογεί απαντήσεις ελεύθερης μορφής σε επιστημονικά ερωτήματα με βάση 19.020 κριτήρια αξιολόγησης από ειδικούς
Jul, 84 λεπτά ανάγνωσης
FrontendΤο LifeSciBench της OpenAI βαθμολογεί απαντήσεις ελεύθερης μορφής σε επιστημονικά ερωτήματα με βάση 19.020 κριτήρια αξιολόγησης από ειδικούς
Το benchmark εγκαταλείπει τις καθαρές φόρμες πολλαπλής επιλογής για αιτήματα ανοιχτού τύπου προς έναν συνεργάτη, και τα βαθμολογεί γραμμή προς γραμμή — τα αποτελέσματα αποκαλύπτουν πού κολλάνε ακόμη τα κορυφαία μοντέλα.
Το αίτημα αντικαθιστά την ερώτηση
Οι περισσότερες αξιολογήσεις στις βιοεπιστήμες, όπως τις περιγράφει η OpenAI, ανάγουν την έρευνα σε προβλήματα ανάκλησης γεγονότων ή σε καθαρές προβλέψεις με δομημένες μορφές και τακτοποιημένες απαντήσεις αναφοράς. Το LifeSciBench απορρίπτει αυτή τη λογική. Καθένα από τα 750 tasks του έχει σχεδιαστεί ώστε να μοιάζει με κάτι που θα έλεγε στην πραγματικότητα ένας επιστήμονας σε έναν ικανό συνάδελφο: ένα επιστημονικό ερώτημα, τυχόν σχετικό πλαίσιο ή συνοδευτικό υλικό, και μια απάντηση ελεύθερης μορφής.
Το παράδειγμα που έχει δημοσιευθεί καθιστά τη μορφή αυτή απτή. Μια ομάδα που προετοιμάζεται για συνάντηση Τύπου B με τον FDA ζητά μια «αμείλικτη κριτική» σχετικά με το αν το πακέτο τους AAV9 micro-dystrophin στηρίζει επιταχυνόμενη έγκριση με βάση δείκτη υποκατάστασης. Το ερώτημα παρέχει αριθμητικά δεδομένα Western blot από βιοψία, μετρήσεις ανοσοφθορισμού, μεταβολή NSAA στις 48 εβδομάδες, ανεπιθύμητα συμβάντα ασφάλειας και κριτήρια επιλεξιμότητας, και στη συνέχεια ζητά από το μοντέλο να ελέγξει το πακέτο στοιχείο προς στοιχείο. Δεν υπάρχει απάντηση τσεκ-λίστας — το αποτέλεσμα αναμένεται να διαβάζεται σαν σημείωμα κριτή.
Πρόκειται για μια σκόπιμη σχεδιαστική επιλογή. Διαμορφώνοντας την είσοδο ως ένα αίτημα εργασίας και όχι ως ερώτημα διαγωνίσματος, το LifeSciBench μετρά αν ένα μοντέλο μπορεί να λειτουργήσει μέσα στο ακατάστατο μπροστινό μέρος της έρευνας — ελλιπή στοιχεία, αντικρουόμενα αποτελέσματα, αποφάσεις υπό αβεβαιότητα — αντί για την «απολυμασμένη» εκδοχή που δοκιμάζουν συνήθως τα benchmarks.
Βαθμολόγηση που αντικατοπτρίζει τον τρόπο που κρίνουν οι επιστήμονες μεταξύ τους
Το άλλο μισό αυτού του σχεδιασμού είναι τα κριτήρια αξιολόγησης. Σε όλο το benchmark, τα κριτήρια που έχουν αναπτύξει ειδικοί ανέρχονται σε 19.020 — κατά μέσο όρο 25 ανά task. Το παράδειγμα DMD βαθμολογείται με βάση έξι σταθμισμένα κριτήρια που συνολικά αποδίδουν 100 πόντους, με 24 πόντους για τον εντοπισμό προβλημάτων ποσοτικοποίησης του assay (κοινό επίτοπο MANEX1A, μη έγκυρα πρότυπα πλήρους μήκους δυστροφίνης), 22 πόντους για την εξήγηση του γιατί το επίπεδο έκφρασης δεν αποτελεί αυτόματα έγκυρο κλινικό δείκτη υποκατάστασης, και μόλις 8 πόντους για την επισήμανση κενών στην επιλογή ασθενών και στο μέγεθος δείγματος.
Ο λόγος που αναφέρει η OpenAI είναι ότι ένα σωστό συμπέρασμα σε υψηλό επίπεδο μπορεί να κριθεί ελλιπές — αν μια απάντηση παραβλέψει έναν σημαντικό περιορισμό του assay ή αν δεν επισημάνει μια καθοριστική βιολογική λεπτομέρεια. Αντίστροφα, μια μερική απάντηση μπορεί να περιέχει συλλογιστική υψηλής ποιότητας χωρίς να λύνει το task. Το benchmark αναφέρει δύο μετρικές για να αποτυπώσει αυτό: το ποσοστό επιτυχίας, δηλαδή το ποσοστό των tasks που ξεπερνούν το όριο 70% σε επίπεδο task, και τη βαθμολογία, τη μέση ανταμοιβή κριτηρίων που αποδίδει μερική πίστωση.
Τα στοιχεία επικύρωσης δείχνουν ότι η μορφή αυτή ισχύει. Η ανατροφοδότηση προήλθε από 453 κριτές που δεν συμμετείχαν στη συγγραφή των tasks· το 97% κατείχε διδακτορικό τίτλο, με μέση εμπειρία 12 ετών και 14 δημοσιεύσεις σε επιστημονικά περιοδικά με κριτές. Η συμφωνία ξεπέρασε το 96% σε κάθε κατηγορία, με το 90,4% να συμφωνεί απόλυτα ότι τα tasks αντικατοπτρίζουν πραγματική εργασία.
Το κενό στο υλικό τεκμηρίωσης
Το πιο αποκαλυπτικό αποτέλεσμα βρίσκεται στο σημείο επαφής ανάμεσα στο ερώτημα και το συνοδευτικό υλικό του. Το LifeSciBench περιλαμβάνει 1.062 συνοδευτικά αρχεία — διαγράμματα, PDF, πίνακες, αρχεία ακολουθιών, αρχεία δομής και χημικά αρχεία, αναφορές ιστού — και το 53% των tasks απαιτεί την ερμηνεία ή τη σύνθεση τουλάχιστον ενός από αυτά.
Η απόδοση πέφτει απότομα όταν τα μοντέλα πρέπει να διαβάσουν αυτά τα αρχεία και όχι απλώς το κείμενο του ερωτήματος. Το GPT-Rosalind πέφτει από 45,1% σε tasks μόνο με κείμενο σε 28,1% όταν εμπλέκονται αρχεία ή URL· το GPT-5.5 παρουσιάζει την ίδια εικόνα, από 29,9% σε 21,9%. Η OpenAI αποδίδει το κενό στη δυσκολία των μοντέλων να εξάγουν πληροφορία από σύνθετα διαγράμματα ή μεγάλα αρχεία ακολουθιών και να την ενσωματώσουν στην τελική απάντηση.
Οι μορφές ακριβούς αποτελέσματος είναι ακόμη χειρότερες. Το GPT-Rosalind φτάνει μόλις το 14,8% σε αριθμητικά tasks και 24,0% σε αποτελέσματα ακολουθίας ή δομής, με τα tasks δημιουργίας κατασκευασμάτων στο 27,3% και ελάχιστη βελτίωση σε σχέση με το GPT-5.5. Πρόκειται για αποτελέσματα που θα χρησιμοποιούνταν απευθείας — σχεδιασμό δότη CRISPR/HDR, σχεδιασμό siRNA — όπου ένα μικρό σφάλμα μορφοποίησης ή υπολογισμού ρίχνει μια απάντηση κάτω από το όριο.
Η μερική πίστωση δεν είναι ένα αξιοποιήσιμο τελικό προϊόν
Το GPT-Rosalind ανεβάζει το συνολικό ποσοστό ακριβής επιτυχίας από 25,7% σε 36,1%, με τα μεγαλύτερα κέρδη στην επιστημονική επικοινωνία (από 56,3% σε 71,1%, ωστόσο με n=9) και στη μετάφραση (από 36,8% σε 57,7%). Πρόκειται για κατηγορίες με σαφές όριο τεκμηρίωσης που ανταμείβουν την οργάνωση και την εξήγηση. Ο σχεδιασμός, η βελτιστοποίηση και η πρόβλεψη (30,7%) καθώς και η ανάλυση (30,3%) παραμένουν οι πιο δύσκολες κατηγορίες.
Η ειδική σημασία του σχεδιασμού αυτού του benchmark, που συνδυάζει κριτήρια αξιολόγησης με ποσοστό ακριβής επιτυχίας, είναι αυτό που αποκαλύπτει για το χάσμα ανάμεσα στις δύο βαθμολογίες. Σε περίπου 14% των tasks, τα μοντέλα κέρδισαν σημαντική πίστωση κριτηρίων ενώ αποτύγχαναν στο όριο ακριβής επιτυχίας· για το GPT-Rosalind, 109 tasks βαθμολογήθηκαν με ποσοστό επιτυχίας κάτω από 20% αλλά κέρδισαν τουλάχιστον 50% ανταμοιβή κριτηρίων. Ένα μοντέλο μπορεί να αναδείξει τα σωστά στοιχεία και να γράψει μια εύλογη μερική απάντηση, και έπειτα να χάσει έναν μοναδικό περιορισμό, να χρησιμοποιήσει λάθος δεδομένα, ή να αποτύχει να συνδέσει τη συλλογιστική του με μια αξιοποιήσιμη απόφαση.
Για όποιον χτίζει πάνω σε αυτά τα συστήματα, αυτός είναι ο αριθμός που πρέπει να εσωτερικεύσει: μια απάντηση που φαίνεται 50% σωστή σε ένα κριτήριο αξιολόγησης είναι ακόμη, σε επιχειρησιακούς όρους, ένα ημιτελές προσχέδιο που ένας επιστήμονας πρέπει να ελέγξει. Το LifeSciBench μετρά την αλληλεπίδραση στο μπροστινό μέρος της διαδικασίας — αίτημα μπαίνει, απάντηση για ειδικούς βγαίνει — και η ετυμηγορία του είναι ότι τα κορυφαία μοντέλα γίνονται πειστικοί συνεργάτες πολύ πριν γίνουν αξιόπιστοι.
Find this story relevant to you?
Contact us to find a unique solution
Χρειάζεστε συνεργάτη AI engineering που μπορεί να παραδώσει;
Βοηθάμε ομάδες στην Ελλάδα να ενσωματώσουν AI, να δημιουργήσουν AI-powered προϊόντα, να αυτοματοποιήσουν κρίσιμες ροές εργασίας και να εκσυγχρονίσουν τα συστήματα που τα στηρίζουν.
Σχετικά άρθρα
Περισσότερη ανάλυση για την παράδοση προϊόντων, τη λειτουργική ΤΝ και τη δουλειά στα συστήματα που κάνει την ανάπτυξη να αντέχει στην πράξη.