Jul, 134 λεπτά ανάγνωση
Platform
News · Το GDPval του OpenAI αξιολογεί μοντέλα αιχμής απέναντι σε επαγγελματίες με 14 χρόνια εμπειρίας, σε 44 επαγγέλματα
Jul, 84 λεπτά ανάγνωσης
PlatformΤο GDPval του OpenAI αξιολογεί μοντέλα αιχμής απέναντι σε επαγγελματίες με 14 χρόνια εμπειρίας, σε 44 επαγγέλματα
Ένα σύστημα μέτρησης χτισμένο από στοιχεία ΑΕΠ, μέχρι το επίπεδο μεμονωμένων εργασιών — στο οποίο το μοντέλο ενός ανταγωνιστή βγήκε πρώτο.
Χτίζοντας ένα σύστημα μέτρησης από το ΑΕΠ και προς τα κάτω
Τα περισσότερα συστήματα μέτρησης ξεκινούν από το τι μπορεί να ζητηθεί από ένα μοντέλο. Το GDPval ξεκινά από το πού βρίσκεται η οικονομική αξία και προχωράει αντίστροφα προς το μοντέλο. Η OpenAI ξεκίνησε από τις εννέα βιομηχανίες των ΗΠΑ που συμβάλλουν η κάθε μία πάνω από 5% στο ΑΕΠ (με στοιχεία της Federal Reserve Bank of St. Louis), επέλεξε τα πέντε επαγγέλματα με τις υψηλότερες αμοιβές σε κάθε μία από την έκθεση απασχόλησης κατά επάγγελμα του BLS του Μαΐου 2024, και στη συνέχεια τα φιλτράρισε ώστε να κρατήσει επαγγέλματα που είναι τουλάχιστον 60% γνωσιακή εργασία, σύμφωνα με τις ταξινομήσεις εργασιών του O*NET.
Αυτή η διαδικασία κατέληξε σε 44 επαγγέλματα, από προγραμματιστές λογισμικού και δικηγόρους μέχρι νοσηλευτές, μηχανολόγους μηχανικούς, φαρμακοποιούς, χρηματοοικονομικούς αναλυτές και μοντέρ ταινιών. Το πλήρες σύνολο περιλαμβάνει 1.320 εργασίες — 30 ανά επάγγελμα — από τις οποίες 220 (πέντε ανά επάγγελμα) έχουν δημοσιευτεί ως ανοιχτό σύνολο αναφοράς.
Οι ίδιες οι εργασίες δεν είναι απλές γραπτές οδηγίες. Κάθε μία συνοδεύεται από αρχεία αναφοράς και απαιτεί πραγματικά παραδοτέα: έγγραφα, παρουσιάσεις, διαγράμματα, υπολογιστικά φύλλα, πολυμέσα. Το δημοσιευμένο παράδειγμα για μηχανολόγο παραγωγής ζητά τον σχεδιασμό ενός οδηγού κατασκευής (jig) σε λογισμικό τρισδιάστατης μοντελοποίησης, παραδοτέο ως PDF φτιαγμένο από στιγμιότυπα PowerPoint. Κάθε εργασία γράφτηκε από επαγγελματίες με μέση εμπειρία 14 ετών και πέρασε από περίπου πέντε γύρους αξιολόγησης από ειδικούς.
Τυφλή βαθμολόγηση, και ένας ανταγωνιστής στην κορυφή
Η βαθμολόγηση βασίζεται σε ειδικούς αξιολογητές από τα ίδια επαγγέλματα, οι οποίοι συγκρίνουν την απόδοση του μοντέλου με τη δική λύση του συντάκτη της εργασίας — τυφλά, χωρίς να γνωρίζουν ποιο παραδοτέο είναι ανθρώπινο. Κάθε απόδοση μοντέλου ταξινομείται ως καλύτερη, ισάξια ή χειρότερη από την ανθρώπινη εργασία, με βάση κριτήρια αξιολόγησης ειδικά για κάθε επάγγελμα, τα οποία δημιούργησαν οι ίδιοι οι συντάκτες των εργασιών.
Η OpenAI δοκίμασε αυτή τη μέθοδο στα GPT-4o, o4-mini, o3, GPT-5, Claude Opus 4.1, Gemini 2.5 Pro και Grok 4. Το αξιοσημείωτο αποτέλεσμα: το Claude Opus 4.1, ένα μοντέλο της Anthropic, ήταν το καλύτερο, αξιολογούμενο ως ισάξιο ή καλύτερο από τους ειδικούς σε λίγο κάτω από τις μισές εργασίες, με ιδιαίτερα καλή απόδοση σε αισθητικά στοιχεία όπως η μορφοποίηση και η διάταξη. Το GPT-5 προηγήθηκε σε ακρίβεια, ιδίως σε εξειδικευμένες γνώσεις.
Η δημοσίευση ενός συστήματος μέτρησης στο οποίο κερδίζει ένας ανταγωνιστής είναι ασυνήθιστη κίνηση και επαναπροσδιορίζει το GDPval ως στρατηγική πλατφόρμας παρά ως διαφημιστικό διάγραμμα. Η OpenAI διαθέτει το υποσύνολο εργασιών αναφοράς και μια δημόσια υπηρεσία βαθμολόγησης — συμπεριλαμβανομένου ενός πειραματικού αυτόματου βαθμολογητή εκπαιδευμένου να προβλέπει τις κρίσεις ειδικών, τον οποίο η ίδια δηλώνει ρητά ότι δεν είναι ακόμη αρκετά αξιόπιστος για να αντικαταστήσει ανθρώπινους αξιολογητές.
Διαβάζοντας τον ισχυρισμό περί 100x
Η OpenAI αναφέρει ότι τα μοντέλα αιχμής ολοκληρώνουν εργασίες του GDPval περίπου 100 φορές ταχύτερα και 100 φορές πιο οικονομικά σε σχέση με επαγγελματίες του κλάδου. Η εταιρεία προσθέτει μια ασυνήθιστα ξεκάθαρη επιφύλαξη: αυτά τα νούμερα αντικατοπτρίζουν μόνο τον χρόνο συμπερασμού του μοντέλου και τις χρεώσεις του API, όχι την ανθρώπινη επίβλεψη, τις επαναλήψεις και την ενσωμάτωση που απαιτούνται για να χρησιμοποιηθεί πραγματικά το αποτέλεσμα σε έναν χώρο εργασίας.
Η δεύτερη επιφύλαξη είναι διαρθρωτική. Το GDPval βασίζεται σε μία μόνο δοκιμή. Δεν καταγράφει την αναθεώρηση μιας νομικής υπόμνησης μετά από σχόλια πελάτη, την επανάληψη μιας ανάλυσης μετά τον εντοπισμό μιας ανωμαλίας, ή την ασάφεια του να αποφασίσει κανείς αν μια οδηγία εργασίας είναι έστω το σωστό παραδοτέο. Ένας δικηγόρος, όπως σημειώνει η OpenAI, ίσως πρέπει πρώτα να μιλήσει με έναν πελάτη για να καταλάβει τι πρέπει να παραδώσει.
Έτσι, το 100x λειτουργεί ταυτόχρονα ως κατώτατο όριο κόστους και ανώτατο όριο πληρότητας: φτηνή παραγωγή ενός πρώτου προϊόντος, μετρημένη απέναντι στο τελικό, μοναδικό παραδοτέο ενός επαγγελματία, χωρίς να υπολογίζεται όλη η αμφίδρομη διαδικασία της πραγματικής εργασίας.
Τι αφήνει ένα σύστημα μέτρησης σε επίπεδο εργασιών στον αγοραστή να αποφασίσει
Η πιο χρήσιμη συμβολή του GDPval για ομάδες εφαρμοσμένης ΤΝ είναι η λεπτομέρειά του. Αξιολογεί εργασίες, όχι θέσεις εργασίας, και η OpenAI είναι ξεκάθαρη ότι οι περισσότερες θέσεις εργασίας είναι κάτι παραπάνω από συλλογές καταγεγραμμένων εργασιών. Αυτή η διάκριση είναι η ίδια η απόφαση αγοράς: το σύστημα μέτρησης δείχνει πού ένα μοντέλο παράγει παραδοτέα συγκρίσιμα με ειδικούς σε μία δοκιμή, όχι πού μπορεί να διαχειριστεί μια ολόκληρη ροή εργασίας.
Τα ελεγχόμενα πειράματα δείχνουν προς την ίδια κατεύθυνση — μεγαλύτερα μοντέλα, περισσότερα βήματα συλλογισμού και πλουσιότερο πλαίσιο εργασίας οδήγησαν σε μετρήσιμα κέρδη, ενώ ένα εσωτερικά επανεκπαιδευμένο GPT-5 βελτιώθηκε ακόμη περισσότερο. Το πλαίσιο και η επανάληψη επηρεάζουν τα νούμερα, κάτι που είναι ακριβώς η πτυχή που η OpenAI παραδέχεται ότι το GDPval δεν μετρά ακόμη.
Η πρακτική συνέπεια αυτής της συγκεκριμένης κυκλοφορίας: να αντιμετωπίζονται οι βαθμολογίες του GDPval ως χάρτης για το ποια διακριτά παραδοτέα πρέπει να ανατίθενται πρώτα σε ένα μοντέλο, ενώ παράλληλα προβλέπεται ξεχωριστός προϋπολογισμός για την επίβλεψη, τους γύρους σύνταξης και την επίλυση ασαφειών που το μοντέλο μίας δοκιμής σκόπιμα παραλείπει. Οι επόμενες εκδόσεις που θα υπόσχονται διαδραστικότητα και ασαφείς εργασίες θα είναι εκείνες που θα αξίζει να συγκριθούν με μια πραγματική ανάπτυξη.
Find this story relevant to you?
Contact us to find a unique solution
Χρειάζεστε συνεργάτη AI engineering που μπορεί να παραδώσει;
Βοηθάμε ομάδες στην Ελλάδα να ενσωματώσουν AI, να δημιουργήσουν AI-powered προϊόντα, να αυτοματοποιήσουν κρίσιμες ροές εργασίας και να εκσυγχρονίσουν τα συστήματα που τα στηρίζουν.
Σχετικά άρθρα
Περισσότερη ανάλυση για την παράδοση προϊόντων, τη λειτουργική ΤΝ και τη δουλειά στα συστήματα που κάνει την ανάπτυξη να αντέχει στην πράξη.