Jul, 13Ανάγνωση 4 λεπτών
Frontend
News · Το benchmark FrontierScience της OpenAI ξεχωρίζει τις απαντήσεις τύπου ολυμπιάδας από την ερευνητική εργασία ανοιχτού τύπου
Jul, 84 λεπτά ανάγνωσης
FrontendΤο benchmark FrontierScience της OpenAI ξεχωρίζει τις απαντήσεις τύπου ολυμπιάδας από την ερευνητική εργασία ανοιχτού τύπου
Ένα νέο benchmark επιστημών γραμμένο από ειδικούς δίνει στο GPT-5.2 βαθμολογία 77% σε προβλήματα τύπου ολυμπιάδας, αλλά μόλις 25% σε πολυβηματικές ερευνητικές εργασίες που βαθμολογούνται με ρούμπρικα.
Δύο κατηγορίες, δύο πολύ διαφορετικές βαθμολογίες
Το FrontierScience δεν είναι ένα benchmark αλλά δύο, και αυτός ο διαχωρισμός είναι όλη η ουσία. Η κατηγορία Ολυμπιάδας περιλαμβάνει 100 ερωτήσεις σύντομης απάντησης γραμμένες από μεταλλιούχους διεθνών ολυμπιάδων, οι οποίες βαθμολογούνται με αριθμό, έκφραση ή ασαφή αντιστοίχιση συμβολοσειράς. Η κατηγορία Έρευνας περιλαμβάνει 60 πολυβηματικά υποέργα γραμμένα από διδάκτορες επιστημόνων και βαθμολογούνται με βάση ρούμπρικα 10 βαθμών, όπου μια λύση θεωρείται σωστή μόνο εάν συγκεντρώσει τουλάχιστον 7 βαθμούς.
Στην κατηγορία Ολυμπιάδας, το GPT-5.2 βαθμολογήθηκε με 77%, με το Gemini 3 Pro να ακολουθεί από κοντά με 76%. Στην κατηγορία Έρευνας, το GPT-5.2 βαθμολογήθηκε με 25%. Το ίδιο μοντέλο, οι ίδιοι τομείς φυσικής, χημείας και βιολογίας — μια διαφορά 52 μονάδων που αντικατοπτρίζει τη διαφορά ανάμεσα στο να καταλήγεις σε μια επαληθεύσιμη τελική απάντηση και στο να συλλογίζεσαι σωστά μέσα από ένα πρόβλημα ανοιχτού τύπου.
Η OpenAI το ερμηνεύει με τον τρόπο που οι επιστήμονες χρησιμοποιούν ήδη τα εργαλεία: τα μοντέλα μπορούν πλέον να υποστηρίξουν δομημένη συλλογιστική, ενώ οι άνθρωποι συνεχίζουν να πλαισιώνουν το πρόβλημα και να επικυρώνουν το αποτέλεσμα. Το ποσοστό 25% είναι ο πιο ειλικρινής αριθμός για ό,τι παραμένει δύσκολο.
Η ρούμπρικα είναι το πραγματικό μηχανικό επίτευγμα
Το ενδιαφέρον στοιχείο εδώ είναι η αρχιτεκτονική βαθμολόγησης για την κατηγορία Έρευνας. Αντί να βαθμολογείται μόνο η τελική απάντηση, κάθε ερώτηση συνοδεύεται από μια ρούμπρικα με πολλαπλά ανεξάρτητα, αντικειμενικά αξιολογούμενα στοιχεία που συνολικά αθροίζουν 10 βαθμούς, και αυτά τα στοιχεία αναγνωρίζουν τα ενδιάμεσα βήματα συλλογιστικής — όχι μόνο το συμπέρασμα. Η ενδεικτική ρούμπρικα χημείας απονέμει ξεχωριστούς βαθμούς για την ορθή ανάλυση των περιορισμών της παραδοσιακής σύνθεσης, την περιγραφή της θειολικά διαμεσολαβούμενης τετραμερισμού, την ερμηνεία δεδομένων δακτυλιακού ρεύματος NMR, και ούτω καθεξής.
Αυτό επιτρέπει στο benchmark να διακρίνει ένα μοντέλο που απλώς μάντεψε το σωστό αποτέλεσμα από ένα που συλλογίστηκε σωστά για να καταλήξει εκεί, και επιτρέπει ανάλυση αποτυχιών σε επίπεδο βήματος. Η OpenAI σημειώνει ξεκάθαρα το κόστος-όφελος: οι ρούμπρικες πολλών στοιχείων σε μακροσκελείς εργασίες είναι λιγότερο αντικειμενικές από τον έλεγχο μιας μοναδικής τελικής απάντησης.
Το πρόβλημα είναι ποιος κάνει τη βαθμολόγηση. Η βαθμολόγηση από ανθρώπους ειδικούς δεν κλιμακώνεται, οπότε οι απαντήσεις βαθμολογούνται από έναν βαθμολογητή βασισμένο σε μοντέλο — το GPT-5 — που ελέγχει σύμφωνα με τα κριτήρια της ρούμπρικας. Η ρούμπρικα σχεδιάστηκε σκόπιμα ώστε να μπορεί να ελεγχθεί από αυτόν τον βαθμολογητή. Άρα ένα μοντέλο της οικογένειας GPT αξιολογεί μοντέλα αιχμής, συμπεριλαμβανομένου του διαδόχου του, σύμφωνα με κριτήρια γραμμένα από ειδικούς. Η OpenAI δημιούργησε ένα σύστημα επαλήθευσης για τη βαθμονόμηση της δυσκολίας και της ορθότητας, όμως η εξάρτηση από έναν βαθμολογητή-μοντέλο είναι ένα δομικό χαρακτηριστικό που αξίζει να αναφερθεί.
Πώς το benchmark προστατεύεται από μόλυνση δεδομένων και ευνοϊκή μεταχείριση
Δύο σχεδιαστικές επιλογές αντιμετωπίζουν τις προφανείς αντιρρήσεις. Πρώτον, η μόλυνση δεδομένων: το πλήρες σύνολο περιλαμβάνει πάνω από 700 ερωτήσεις, αλλά μόνο 160 βρίσκονται στο ανοιχτού κώδικα σύνολο αναφοράς (100 Ολυμπιάδας, 60 Έρευνας). Οι υπόλοιπες κρατούνται κρυφές ειδικά για την παρακολούθηση της μόλυνσης δεδομένων με την πάροδο του χρόνου.
Δεύτερον, η ευνοϊκή μεταχείριση κατά την κατασκευή. Η δημιουργία των εργασιών περιλάμβανε επιλογή εναντίον των εσωτερικών μοντέλων της OpenAI — ερωτήσεις που τα μοντέλα είχαν ήδη λύσει απορρίφθηκαν. Η OpenAI δηλώνει ευθέως ότι αυτό θα πρέπει να δρα εις βάρος της αξιολόγησης των δικών της μοντέλων σε σχέση με τους ανταγωνιστές. Αυτή η παραδοχή έχει σημασία όταν διαβάζει κανείς την κορυφαία θέση του GPT-5.2, καθώς το Gemini 3 Pro ουσιαστικά ισοβάθμησε στο σύνολο Ολυμπιάδας παρά αυτή την προκατάληψη.
Η κλίμακα συμμετοχής ειδικών είναι συγκεκριμένη: 42 πρώην μεταλλιούχοι ή εθνικοί προπονητές που συνεισφέρουν 109 μετάλλια ολυμπιάδας για την κατηγορία Ολυμπιάδας, και 45 υποψήφιοι διδάκτορες, μεταδιδακτορικοί ερευνητές και καθηγητές για την κατηγορία Έρευνας, καλύπτοντας τομείς από την κβαντική ηλεκτροδυναμική έως τη συνθετική οργανική χημεία και την εξελικτική βιολογία. Οι εργασίες προχώρησαν μέσα από τέσσερα στάδια — Δημιουργία, Αξιολόγηση, Επίλυση, Αναθεώρηση — με ανεξάρτητη διασταυρούμενη αξιολόγηση από ειδικούς.
Τι αποκαλύπτει η βαθμολογία 25% στην Έρευνα στους developers
Για ομάδες που αναπτύσσουν μοντέλα σε πραγματικό επιστημονικό έργο, το χρήσιμο σήμα δεν είναι το εντυπωσιακό 77% αλλά η φύση των αποτυχιών. Η OpenAI αναφέρει ότι, σύμφωνα με τα transcripts, τα μοντέλα αιχμής έκαναν λάθη συλλογιστικής, λογικής και υπολογισμών, παρερμήνευσαν εξειδικευμένες έννοιες και παρήγαγαν ανακρίβειες. Ο μεγαλύτερος χρόνος σκέψης αύξησε την ακρίβεια τόσο για το GPT-5.2 όσο και για το o3, γεγονός που υποδηλώνει ότι κάποιες αποτυχίες περιορίζονται από την υπολογιστική ισχύ και όχι από τις δυνατότητες του μοντέλου.
Τα δηλωμένα όρια είναι τα σύνορα του ισχυρισμού: το FrontierScience χρησιμοποιεί περιορισμένες διατυπώσεις προβλημάτων, δεν ελέγχει τη δημιουργία υποθέσεων, δεν αγγίζει βίντεο, άλλες τροπικότητες ή πραγματικά πειραματικά συστήματα. Μετρά τη συλλογιστική σε προβλήματα γραμμένα από ειδικούς, όχι πώς γίνεται στην πραγματικότητα η επιστήμη. Η πορεία του GPQA — το GPT-4 στο 39% τον Νοέμβριο του 2023, το GPT-5.2 στο 92% δύο χρόνια αργότερα — είναι ο λόγος για τον οποίο η OpenAI αναμένει ότι κι αυτό το benchmark θα κορεστεί, και γιατί η βαθμολόγηση με ρούμπρικα στην κατηγορία Έρευνας υπάρχει για να κερδίσει περιθώριο.
Η πρακτική συνέπεια του FrontierScience είναι συγκεκριμένη: προσφέρει έναν τρόπο ανάλυσης σε επίπεδο βήματος για να δει κανείς πού «σπάζει» η συλλογιστική ενός μοντέλου σε χημεία ή φυσική στη μέση μιας παραγωγής, και όχι μόνο αν έφτασε στη σωστή τελική απάντηση. Αυτή είναι η ανάλυση που χρειάζονται οι ομάδες εφαρμογών αν θέλουν να εμπιστευτούν ένα μοντέλο σε ένα ερευνητικό υποέργο — και η βαθμολογία 25% αποτελεί άμεση προειδοποίηση να μην το εμπιστευτούν χωρίς επίβλεψη σε εργασίες ανοιχτού τύπου.
Find this story relevant to you?
Contact us to find a unique solution
Χρειάζεστε συνεργάτη AI engineering που μπορεί να παραδώσει;
Βοηθάμε ομάδες στην Ελλάδα να ενσωματώσουν AI, να δημιουργήσουν AI-powered προϊόντα, να αυτοματοποιήσουν κρίσιμες ροές εργασίας και να εκσυγχρονίσουν τα συστήματα που τα στηρίζουν.
Σχετικά άρθρα
Περισσότερη ανάλυση για την παράδοση προϊόντων, τη λειτουργική ΤΝ και τη δουλειά στα συστήματα που κάνει την ανάπτυξη να αντέχει στην πράξη.