Η αξιολόγηση πολιτικής μεροληψίας του OpenAI αναλύει τον τόνο, όχι μόνο τα γεγονότα

Η μεροληψία ορίζεται ως ύφος επικοινωνίας, όχι ως δηλωμένη πίστη

Η βασική κίνηση σε αυτή την ανάρτηση είναι ο ορισμός της πολιτικής μεροληψίας ως κάτι παρατηρήσιμο στη συμπεριφορά του αποτελέσματος και όχι στις δηλωμένες θέσεις ενός μοντέλου. Το OpenAI ονομάζει πέντε άξονες: ακύρωση του χρήστη, κλιμάκωση του χρήστη, προσωπική πολιτική έκφραση, ασύμμετρη κάλυψη και πολιτικές αρνήσεις.

Αυτή η ανάλυση έχει σημασία γιατί εστιάζει στον τρόπο που γράφεται μια απάντηση, όχι μόνο στα γεγονότα που περιέχει. Η ανάρτηση δηλώνει ξεκάθαρα ότι ένα μοντέλο μπορεί να έχει σωστά τα επιμέρους γεγονότα και παρόλα αυτά να είναι μεροληπτικό μέσα από μονόπλευρη πλαισίωση, επιλεκτικά στοιχεία ή γλώσσα που ενισχύει την κλίση του χρήστη.

Η ανθρώπινη μεροληψία δεν είναι μόνο «αυτό στο οποίο πιστεύει κανείς»· είναι επίσης το πώς επικοινωνεί κανείς μέσα από αυτό που τονίζεται, αποκλείεται ή υπονοείται. Το ίδιο ισχύει και για τα μοντέλα.Montana Labs

Το παράδειγμα που αναλύεται το κάνει συγκεκριμένο. Μια «μεροληπτική» απάντηση σε μια ερώτηση για τις στρατιωτικές δαπάνες βαθμολογήθηκε με 0,67, με βαθμό 0,75 στην προσωπική πολιτική έκφραση και 0,75 στην ασύμμετρη κάλυψη — συμπεριλαμβανομένης μιας καταληκτικής φράσης που επικυρώνει τον χρήστη («το γεγονός ότι το ρωτάτε δείχνει ότι παρακολουθείτε τα πράγματα»). Η απάντηση αναφοράς κάλυψε παρόμοιο έδαφος αλλά βαθμολογήθηκε με 0,00, αποδίδοντας τα επιχειρήματα σε φορείς αντί να τα υιοθετεί η ίδια.

Ένας αξιολογητής LLM με βάση απαντήσεις αναφοράς

Η αξιολόγηση εκτελείται σε περίπου 500 προτροπές σε 100 θέματα, καθένα διατυπωμένο από πέντε οπτικές γωνίες: φιλελεύθερη φορτισμένη, φιλελεύθερη ουδέτερη, ουδέτερη, συντηρητική ουδέτερη και συντηρητική φορτισμένη. Τα θέματα προέρχονται από τις πλατφόρμες αμερικανικών κομμάτων και πολιτισμικά ευαίσθητα ζητήματα όπως η γονεϊκότητα και οι ρόλοι των φύλων.

Η βαθμολόγηση γίνεται από έναν αξιολογητή LLM με οδηγίες ανά άξονα, ενώ ανθρωπογραφικές απαντήσεις αναφοράς χρησιμοποιούνται για την επικύρωση των βαθμολογιών του αξιολογητή κατά τη διάρκεια της επαναληπτικής διαδικασίας. Πρόκειται για ένα μοντέλο που βαθμολογεί ένα άλλο μοντέλο βάσει κριτηρίων — μια διάταξη που το OpenAI ελπίζει να εφαρμόσει σε οποιοδήποτε μοντέλο, όχι μόνο στα δικά του.

Τα κριτήρια είναι σκόπιμα αυστηρά: ούτε οι ίδιες οι απαντήσεις αναφοράς βαθμολογούνται με μηδέν. Αυτή η προσέγγιση αποτρέπει την ερμηνεία των απόλυτων αριθμών ως καθαρού πιστοποιητικού υγείας και τοποθετεί την αξιολόγηση ως δείκτη παρακολούθησης στον χρόνο, όχι ως πύλη επιτυχίας/αποτυχίας.

Η ασυμμετρία που αποκάλυψε η δοκιμή υπό πίεση

Τα βασικά αποτελέσματα: σχεδόν αντικειμενική συμπεριφορά σε ουδέτερες ή ελαφρώς φορτισμένες προτροπές, μέτρια μεροληψία σε συναισθηματικά φορτισμένες. Τα GPT-5 instant και GPT-5 thinking μειώνουν τη μεροληψία κατά περίπου 30% σε σχέση με τα GPT-4o και o3, και αντέχουν καλύτερα σε φορτισμένες προτροπές. Οι χειρότερες βαθμολογίες για τα παλαιότερα μοντέλα ήταν 0,138 για το o3 και 0,107 για το GPT-4o.

Ένα εύρημα ξεχωρίζει γιατί το OpenAI το δηλώνει ξεκάθαρα: οι έντονα φορτισμένες φιλελεύθερες προτροπές πιέζουν περισσότερο την αντικειμενικότητα σε σχέση με τις φορτισμένες συντηρητικές προτροπές, σε όλες τις οικογένειες μοντέλων. Πρόκειται για μια κατευθυντική παραδοχή, όχι για έναν συμμετρικό ισχυρισμό τύπου «και οι δύο πλευρές», και εντοπίζει πού βρίσκεται η υπόλοιπη δουλειά.

Το OpenAI εφάρμοσε επίσης τη μέθοδο σε πραγματική κίνηση παραγωγής και εκτιμά ότι λιγότερο από το 0,01% των απαντήσεων του ChatGPT εμφανίζουν ενδείξεις πολιτικής μεροληψίας — αποδίδοντας το χαμηλό ποσοστό τόσο στη σπανιότητα φορτισμένων ερωτήσεων από τους χρήστες όσο και στην ανθεκτικότητα του μοντέλου. Αξίζει να σημειωθεί ότι η αναζήτηση στον ιστό δεν εμπίπτει στο πεδίο εφαρμογής, οπότε η ανάκτηση και η επιλογή πηγών αποκλείονται από αυτά τα νούμερα.

Τι προσφέρει ένα δημοσιευμένο πλαίσιο κριτηρίων σε ομάδες που χτίζουν πάνω σε αυτά τα μοντέλα

Το πρακτικό συμπέρασμα για όποιον αναπτύσσει ένα προϊόν συνομιλίας είναι ότι οι πέντε άξονες αποτελούν επαναχρησιμοποιήσιμα δομικά στοιχεία μέτρησης. Η κλιμάκωση, η ακύρωση και η ασύμμετρη κάλυψη είναι τα ίδια μοτίβα αποτυχίας που εμφανίζονται στην υποστήριξη πελατών, στον τομέα της υγείας και σε κάθε τομέα όπου ένα μοντέλο αντικατοπτρίζει πίσω στον χρήστη τη φορτισμένη του πλαισίωση.

Το OpenAI δεν δημοσιεύει το σύνολο προτροπών ή τον κώδικα του αξιολογητή, αλλά οι λειτουργικοί ορισμοί και οι οδηγίες του αξιολογητή είναι αρκετά συγκεκριμένοι για να αναδημιουργηθούν. Μια ομάδα μπορεί να δημιουργήσει τις δικές της απαντήσεις αναφοράς για τον δικό της τομέα και να βαθμολογήσει με βάση αυτές, αντί να βασίζεται σε τεστ πολλαπλής επιλογής όπως το Political Compass, το οποίο η ανάρτηση κρίνει ως υπερβολικά περιορισμένο.

Η συγκεκριμένη προέκταση: η αξιολόγηση δείχνει ότι η μεροληψία συγκεντρώνεται σε ένα μικρό σύνολο μετρήσιμων συμπεριφορών υπό αντίπαλη πίεση, πράγμα που σημαίνει ότι μπορεί να παρακολουθείται συνεχώς και να διορθώνεται στοχευμένα — και κάθε ομάδα που χρησιμοποιεί το GPT-5 σε ρόλο ορατό στον χρήστη έχει πλέον μια τεκμηριωμένη εικόνα του πού υποβαθμίζεται η αντικειμενικότητα και ένα πρότυπο για να τη μετρήσει στη δική της κίνηση.