Το OpenAI μετέτρεψε τις κατατάξεις 1.000 ατόμων σε μία υιοθετημένη αλλαγή στο Model Spec

Τι μέτρησε στην πραγματικότητα η έρευνα

Το OpenAI συγκέντρωσε περίπου 1.000 συμμετέχοντες που ζουν σε 19 χώρες — περίπου το ένα τρίτο στις ΗΠΑ, με άλλους στο Μεξικό, τη Νότια Αφρική, την Ολλανδία, τη Χιλή, το Ηνωμένο Βασίλειο, την Ινδία, την Κένυα και την Ιαπωνία — και τους ζήτησε να κατατάξουν τέσσερις υποψήφιες απαντήσεις σε προτάσεις από τομείς ευαίσθητους ως προς τις αξίες. Οι συμμετέχοντες δεν διάβασαν το ίδιο το έγγραφο του Model Spec. Εξέτασαν προεπιλεγμένα prompts και απαντήσεις, τα κατέταξαν, εξήγησαν τις επιλογές τους, βαθμολόγησαν κριτήρια αξιολόγησης και συνέταξαν τα δικά τους.

Τρεις από τις τέσσερις απαντήσεις ανά prompt δημιουργήθηκαν ώστε να αντιπροσωπεύουν διαφορετικές ρεαλιστικές απόψεις· η τέταρτη προήλθε από το GPT-4o. Αυτός ο σχεδιασμός έχει σημασία: η ανατροφοδότηση διαμορφώνεται από το ποια prompts επέλεξε το OpenAI και ποιες απαντήσεις παρουσίασε. Η εταιρεία το παραδέχεται η ίδια, αναφέροντας την επιλογή prompts και το κριτήριο ένταξης βάσει γνώσης αγγλικών ως πηγές μεροληψίας επιλογής.

Για να συγκρίνει τις ανθρώπινες κατατάξεις με το γραπτό Spec, το OpenAI κατασκεύασε έναν Model Spec Ranker — ένα μοντέλο συλλογιστικής που εντολοδοτήθηκε να κατατάξει τις ίδιες τέσσερις απαντήσεις σύμφωνα με το Spec. Χρησιμοποιώντας το GPT-5 Thinking, οι άνθρωποι συμφώνησαν με αυτόν τον ranker κατά μέσο όρο περίπου στο 80% των περιπτώσεων, με την ισχυρότερη συμφωνία να παρατηρείται στην ειλικρίνεια, την ταπεινότητα, τη δικαιοσύνη και την αντικειμενικότητα.

Τα κενά εντοπίζονταν όλα στα όρια ελεύθερης έκφρασης

Στα σημεία όπου οι άνθρωποι και ο ranker διαφωνούσαν, οι διαφωνίες συγκεντρώνονταν σε ένα προβλέψιμο σύνολο τομέων: πολιτικό περιεχόμενο, σεξουαλικό ή σκληρό περιεχόμενο, και κριτικές σε ψευδοεπιστήμη ή θεωρίες συνωμοσίας. Αυτοί είναι ακριβώς οι τομείς όπου μια ενιαία προεπιλεγμένη συμπεριφορά είναι πιο δύσκολο να δικαιολογηθεί, και όπου το ίδιο το OpenAI παραδέχεται ότι καμία προεπιλογή δεν θα ικανοποιήσει όλους.

Το OpenAI κατέταξε τις προτάσεις σε δύο κατηγορίες. Οι διασαφηνίσεις είναι περιπτώσεις όπου η επιθυμητή συμπεριφορά ενός συμμετέχοντα ταιριάζει με τις υπάρχουσες αρχές, αλλά το κείμενο άφηνε περιθώριο ερμηνείας. Οι αλλαγές αρχών είναι περιπτώσεις όπου η επιθυμητή συμπεριφορά έρχεται σε αντίθεση με τις αρχές του Spec. Η εταιρεία ήταν σαφής ότι η υιοθέτηση γίνεται πιο δύσκολη όσο πιο ψηλά βρίσκεται μια αλλαγή στην ιεραρχία εντολών — ειδικά σε επίπεδο πλατφόρμας.

Μία αλλαγή προστέθηκε, δύο αναβλήθηκαν

Το συγκεκριμένο αποτέλεσμα είναι περιορισμένο. Η μία αλλαγή που υιοθετήθηκε διασαφηνίζει ότι πολιτικό περιεχόμενο σχεδιασμένο για ευρύ ή απροσδιόριστο κοινό επιτρέπεται ανεξαρτήτως θέματος ή αντικειμένου — συμπεριλαμβανομένου συγκεκριμένου πολιτικού, κόμματος ή προεκλογικής καμπάνιας — αρκεί να μην εκμεταλλεύεται τα χαρακτηριστικά ενός συγκεκριμένου ατόμου ή δημογραφικής ομάδας. Πρόκειται για αυστηροποίηση διατύπωσης, όχι για νέα αρχή.

Οι δύο αλλαγές που ζήτησαν περισσότερο οι συμμετέχοντες δεν υιοθετήθηκαν. Πολλοί ευνοούσαν πιο εξατομικευμένο πολιτικό περιεχόμενο· το OpenAI το απέρριψε, επικαλούμενο κινδύνους μαζικής εξατομικευμένης πολιτικής στόχευσης και αμφιβολίες για το αν οι συμμετέχοντες είχαν σταθμίσει αυτούς τους κινδύνους. Ένα μεγάλο μέρος υποστήριξε την ενεργοποίηση ερωτικού περιεχομένου για συνειδητούς ενήλικες· το OpenAI δήλωσε ότι αυτό συμβαδίζει με την προηγούμενη προθετική του στάση, αλλά απαιτείται περισσότερη έρευνα και δουλειά στο προϊόν πριν από την εφαρμογή.

Οι συμμετέχοντες έκριναν τις διαφορές συμπεριφοράς μεμονωμένα, χωρίς να σταθμίζουν τους συμβιβασμούς μεταξύ αρχών (π.χ. ερωτικό περιεχόμενο χωρίς να λαμβάνεται υπόψη η ασφάλεια των παιδιών ή η συναισθηματική εξάρτηση).Montana Labs

Αυτός ο περιορισμός εξηγεί το χάσμα ανάμεσα σε ό,τι προτιμούσε το πλήθος και σε ό,τι υιοθέτησε το OpenAI. Η έρευνα κατέγραψε μεμονωμένες προτιμήσεις· η εσωτερική αναθεώρηση τις στάθμισε απέναντι σε πολιτικές ασφάλειας, περιορισμούς εφαρμογής και επιπτώσεις που το σύνολο δεδομένων δεν μπορούσε να παρατηρήσει.

Δύο βρόχοι, και μια ειλικρινής παραδοχή για τη νομιμοποίηση

Το OpenAI δοκίμασε δύο τρόπους μετατροπής των κατατάξεων σε προτάσεις. Ένας πλήρως αυτοματοποιημένος βρόχος είχε ένα μοντέλο συλλογιστικής να εντοπίζει διαφωνίες, να προτείνει αλλαγές στο Spec και να τις δοκιμάζει έναντι του Model Spec Ranker για να ελέγξει αν βελτιώνεται η συμφωνία. Ένας βρόχος με προτεραιότητα στον άνθρωπο είχε έναν ερευνητή να προτείνει ενημερώσεις μετά από εξέταση των προτιμήσεων, επικυρωμένες από ένα μοντέλο που έκρινε αν οι αιτιολογήσεις σε απλό κείμενο υποστήριζαν την προθετική σημασία.

Ο βρόχος με προτεραιότητα στον άνθρωπο εντόπισε αποχρώσεις που ο αυτοματοποιημένος παρέβλεψε — σε μία περίπτωση συνάγοντας έμμεση αυτοκτονική πρόθεση που το πλήθος θα εκτιμούσε — αλλά δεν κλιμακώνεται εύκολα. Ο αυτοματοποιημένος βρόχος κλιμακώνεται, αλλά είναι αγκυρωμένος στην ερμηνεία του ranker, πράγμα που σημαίνει ότι τα αποτελέσματα αλλάζουν ανάλογα με το βασικό μοντέλο που χρησιμοποιείται.

Το πιο ειλικρινές σημείο της αναφοράς είναι η ανησυχία για νομιμοποίηση που η ίδια η ομάδα θέτει απέναντι στον εαυτό της: μια διαδικασία ενημέρωσης με πολλά αυτοματοποιημένα μέρη μπορεί να μην έχει αρκετή νομιμοποίηση, καθώς αυτά τα μέρη είναι πιο δύσκολο να ερμηνευτούν από ανθρώπους. Αυτή είναι η πραγματική ένταση σε αυτή την ανακοίνωση. Το OpenAI κατασκευάζει έναν μηχανισμό για να διοχετεύει τη δημόσια προτίμηση σε προεπιλογές πλατφόρμας, και παραδέχεται ότι οι ίδιες οι έξοδοι αυτού του μηχανισμού χρειάζονται ανθρώπινη ερμηνεία για να είναι αξιόπιστες.

Γιατί οι αναβολές είναι το σήμα, όχι οι υιοθετήσεις

Για τις ομάδες που χτίζουν πάνω στα μοντέλα του OpenAI, το ουσιαστικό συμπέρασμα δεν είναι η μία διασαφήνιση για το πολιτικό περιεχόμενο. Είναι το αποδεδειγμένο όριο ως πού μπορεί να επηρεάσει η προτίμηση του πλήθους μια προεπιλογή πλατφόρμας. Το OpenAI διεξήγαγε μια παγκόσμια έρευνα, βρήκε πλειοψηφική υποστήριξη για την ενεργοποίηση ερωτικού περιεχομένου, επιβεβαίωσε ότι αυτό ταίριαζε με τη δική του προθετική στάση — και παρόλα αυτά δεν προχώρησε σε καμία αλλαγή, εν αναμονή έρευνας και δουλειάς στο προϊόν.

Αυτό καθιερώνει ένα λειτουργικό προηγούμενο: η δημόσια συμβολή μπορεί να επιβεβαιώσει και να διασαφηνίσει το Spec, αλλά ουσιαστικές μεταβολές σε επίπεδο πλατφόρμας παραμένουν υπό τον έλεγχο της εσωτερικής αναθεώρησης ασφάλειας και της δυνατότητας εφαρμογής. Αν σχεδιάζετε με βάση μελλοντική προεπιλεγμένη συμπεριφορά σε αμφιλεγόμενους τομείς, σχεδιάστε με βάση αυτόν τον έλεγχο, όχι με βάση το κλίμα της έρευνας. Το σύνολο δεδομένων είναι δημόσιο στο HuggingFace, οπότε οι διαφωνίες είναι επιθεωρήσιμες — αλλά η απόφαση να δράσει κανείς βάσει αυτών παραμένει αποκλειστικά στο χέρι του OpenAI.