Το GeneBench-Pro της OpenAI τοποθετεί ένα αυστηρό συμβόλαιο εξόδου στο επίκεντρο της αξιολόγησης πρακτόρων

Ο χώρος εργασίας και το συμβόλαιο επιστροφής JSON

Κάθε πρόβλημα του GeneBench-Pro παραδίδει σε έναν πράκτορα έναν απομονωμένο χώρο εργασίας: μια σύντομη προτροπή, αρχεία δεδομένων και μια τυπική στοίβα βιοπληροφορικής που περιλαμβάνει Python, βιβλιοθήκες επιστημονικού υπολογισμού και PLINK 2.0. Ο πράκτορας εξερευνά ακατέργαστα δεδομένα, επιλέγει μια αναλυτική πορεία, επαναλαμβάνει και επιστρέφει μια απάντηση.

Αυτό που ξεχωρίζει είναι πόσο αυστηρά είναι περιορισμένη η απάντηση. Το παράδειγμα με τη θεραπεία όγκου καθορίζει με ακρίβεια ένα αντικείμενο JSON με ονομαστικά κλειδιά —therapy_class_code, benefit_rd_pp, toxicity_dropout_risk_pp, net_clinical_utility_pp— μαζί με ένα αλφαριθμητικό αιτιολόγησης. Η προτροπή δίνει ρητή εντολή: να μην τυλίγεται το JSON σε markdown, να μην προστίθεται κείμενο πριν ή μετά, να μην παραλείπεται κανένα κλειδί.

Πρόκειται για ένα συμβόλαιο αναγνώσιμο από μηχανή, όχι για μια απάντηση ελεύθερου κειμένου. Υπάρχει ακριβώς για να μπορεί η βαθμολόγηση να είναι ντετερμινιστική. Η OpenAI ελέγχει ολόκληρη τη διαδικασία παραγωγής δεδομένων, οπότε μπορεί να βαθμολογήσει την ορθότητα σε σχέση με γνωστούς στόχους και, όπως αναφέρει η ίδια, να αποφύγει «τη μεταβλητότητα λόγω επιλογής μοντέλου και τα φαινόμενα φλυαρίας που παρατηρούνται στην τυπική αξιολόγηση με ράμπρικες».

Συνθετικά δεδομένα ως άμυνα απέναντι σε ασαφή βαθμολόγηση

Η OpenAI είναι ξεκάθαρη σχετικά με τους τρόπους αποτυχίας που θέλει να αποφύγει. Πολλά σύνολα δοκιμών βιολογίας μεγάλου χρονικού ορίζοντα επαναχρησιμοποιούν ακατέργαστα ιστορικά σύνολα δεδομένων όπου υπάρχουν πολλές υποστηρίξιμες αναλυτικές επιλογές, με αποτέλεσμα οι βαθμολογίες να αντικατοπτρίζουν τις αυθαίρετες προτιμήσεις του συντάκτη της δοκιμής και όχι την ικανότητα του μοντέλου. Το αντίστροφο πρόβλημα είναι όταν ένα πρόβλημα είναι τόσο αριθμητικά ανεπαίσθητο ώστε μια ελλιπής ανάλυση να περνάει ούτως ή άλλως.

Η απάντηση εδώ είναι η πλήρης σύνθεση: κάθε πρόβλημα προσομοιώνει μια γνωστή αιτιακή δομή. Αυτό επιτρέπει στην ομάδα να ρυθμίζει την πολυπλοκότητα, να διασφαλίζει ότι λογικές υποκειμενικές επιλογές καταλήγουν και πάλι στους αποδεκτούς αριθμούς, και να επιβεβαιώνει μέσω αφαιρετικών δοκιμών ότι φαινομενικά πειστικές αλλά λανθασμένες αναλύσεις αποτυγχάνουν. Οι έλεγχοι ιχνηλάτησης εξετάζουν για διαρροή πληροφορίας και ακούσιες διαδρομές λύσης.

Το ζητούμενο είναι πως ένα καθαρό συμβόλαιο εξόδου λειτουργεί μόνο εάν η υποκείμενη απάντηση είναι πραγματικά γνωστή. Το σχήμα JSON και η προσομοιωμένη πραγματικότητα αναφοράς είναι δύο πλευρές του ίδιου μηχανισμού —η μία καθορίζει τι επιστρέφει ο πράκτορας, η άλλη καθορίζει τι θεωρείται ορθό.

Συμβόλαια επίλυσης: γιατί η διατύπωση της προτροπής αλλάζει την απάντηση

Η πιο αποκαλυπτική παρατήρηση προέρχεται από τον κριτή Cyrillus Tan του New York Genome Center, ο οποίος αξιολόγησε τις δοκιμές.

Η αξιολόγηση αυτών των δοκιμών αναδεικνύει πόσο σημαντικά είναι τα σαφή συμβόλαια επίλυσης για την επίλυση επιστημονικών προβλημάτων βασισμένη σε πράκτορες. Διαφορετική διατύπωση προτροπής ή διαφορετικός καθορισμός εργασίας μπορεί να επηρεάσει σημαντικά ποιες αναλύσεις θεωρούνται αποδεκτές.Montana Labs

Αυτό είναι ένα πρόβλημα frontend μεταμφιεσμένο σε επιστημονικό πρόβλημα. Η προδιαγραφή που διαβάζει ένας πράκτορας —το εκτιμώμενο μέγεθος, οι μονάδες, η διατύπωση της επόμενης απόφασης— καθοδηγεί ποιες αναλυτικές προσεγγίσεις θεωρεί νόμιμες. Ένα σύνολο δοκιμών που μετρά «ερευνητική κρίση» αναπόφευκτα μετρά και τον τρόπο με τον οποίο διατυπώθηκε η εργασία.

Τα αποτελέσματα επιβεβαιώνουν πού αποτυγχάνουν οι πράκτορες. Ο κριτής Lex Flagel από τη Gencove σημείωσε ότι τα μοντέλα χειρίστηκαν καλά τις απαιτούμενες γνώσεις του αντικειμένου και την επιλογή εργαλείων, αλλά «αποτύγχαναν» σε ασυμφωνίες δεδομένων όπως ανταλλαγές καταγωγής: «Δεν είναι αρκετά προσεκτικά με ζητήματα δεδομένων». Η αντίθεση μεταξύ GPT-5.5 και GPT-5.6 Sol στο φαρμακογενωμικό πρόβλημα είναι μια μετάβαση από ένα συμβατικό μοντέλο Cox σε ένα νέο δομικό μοντέλο Cox οριακής χρήσης για νέους χρήστες που εξαιρούσε 818 σημαδεμένους υπάρχοντες χρήστες —μια διαφορά επιλογής μεθόδου, όχι ορθότητας κώδικα.

Τι αποκαλύπτει μια αυστηρή διεπαφή για την αξιοπιστία των πρακτόρων

Οι κύριοι αριθμοί είναι μετριοπαθείς και ειλικρινείς: το GPT-5.6 Sol περνά το 28,7% των προβλημάτων στο υψηλότερο επίπεδο συλλογιστικής του, 31,5% με τη λειτουργία Pro, ανεβασμένο από κάτω από 5% για το GPT-5 όταν ξεκίνησε το αρχικό GeneBench. Η OpenAI αναμένει κορεσμό μέχρι το τέλος του έτους και σημειώνει ότι το κόστος συμπερασμού είναι μερικά δολάρια ανά πρόβλημα, έναντι εκτιμώμενης ανθρώπινης εργασίας 20–40 ωρών, ή χιλιάδων δολαρίων.

Ωστόσο, το μόνιμο μάθημα για τις ομάδες που κατασκευάζουν επιστημονικούς πράκτορες είναι διαρθρωτικό. Το GeneBench-Pro αποδεικνύει ότι εάν θέλετε να αξιολογήσετε —ή να αναπτύξετε— έναν πράκτορα σε σημαντικές αναλύσεις, πρέπει να σχεδιάσετε τη διεπαφή με την ίδια προσοχή όπως το μοντέλο. Ένα αυστηρό σχήμα επιστροφής, ένα πλήρως καθορισμένο εκτιμώμενο μέγεθος και ένας ντετερμινιστικός βαθμολογητής είναι αυτά που επιτρέπουν στην OpenAI να αποδώσει μια αποτυχία στη συλλογιστική και όχι στη μορφοποίηση ή την ασάφεια.

Η συνέπεια είναι συγκεκριμένη: όταν τα μοντέλα ακόμα κλείνουν «λιγότερο από το ένα τρίτο» αυτών των συμπερασματικών βρόχων και σκαλώνουν στην προσοχή για την ποιότητα δεδομένων, το επίπεδο προδιαγραφών —το συμβόλαιο επίλυσης μεταξύ προτροπής και εξόδου— είναι εκεί όπου η μερική αυτοματοποίηση πετυχαίνει ή αποτυγχάνει σήμερα. Το να διατυπωθεί σωστά αυτό το συμβόλαιο είναι η διαφορά ανάμεσα σε ένα σύνολο δοκιμών που μετρά κριτική ικανότητα και σε ένα που μετρά τη διατύπωση του συντάκτη του.