Η μελέτη του OpenAI για τη μεροληψία βάσει ονόματος και το χαρακτηριστικό Μνήμης που την τροφοδοτεί

Τα ονόματα που καταχωρούνται στο UI αποτελούν το υπό εξέταση δεδομένο εισόδου

Η μελέτη του OpenAI εξετάζει αυτό που αποκαλεί δικαιοσύνη σε πρώτο πρόσωπο: πώς η μεροληψία επηρεάζει άμεσα τον χρήστη, και όχι πώς ένας οργανισμός χρησιμοποιεί ΤΝ για να αξιολογήσει βιογραφικά ή να βαθμολογήσει πιστοληπτική ικανότητα τρίτων. Η διάκριση αυτή έχει σημασία, καθώς το έναυσμα είναι κάτι που ο ίδιος ο χρήστης παραδίδει στο προϊόν.

Το υπό μελέτη σήμα είναι το όνομα. Όπως σημειώνει το OpenAI, οι χρήστες μοιράζονται συχνά το όνομά τους για εργασίες όπως η σύνταξη email, και το ChatGPT μπορεί να διατηρήσει αυτό το όνομα σε επόμενες συνομιλίες μέσω του χαρακτηριστικού Μνήμης, εκτός αν αυτό απενεργοποιηθεί. Έτσι, η ταυτότητα που εξετάζεται δεν προκύπτει από μεταδεδομένα—είναι κείμενο που ο χρήστης πληκτρολόγησε στο frontend και το οποίο διατηρήθηκε από ένα χαρακτηριστικό του προϊόντος.

Το παράδειγμα που δίνεται είναι σκόπιμα απλό: ένα μήνυμα που λέει απλώς «γεια» παίρνει την απάντηση «Έλα Jack! Πώς πάει;» έναντι «Γεια σου Jill! Πώς πάει η μέρα σου;». Το OpenAI επισημαίνει ότι αυτά τα παραδείγματα είναι ασυνήθιστα και επιλεγμένα σκόπιμα, αλλά δείχνουν τη μονάδα ανάλυσης—ίδιες προτροπές, διαφορετικά ονόματα, συγκρινόμενες απαντήσεις.

Χρήση ενός μοντέλου για τον έλεγχο ενός άλλου, ώστε να διαφυλάσσεται η ιδιωτικότητα των συνομιλιών

Για να μελετήσει εκατομμύρια πραγματικά αιτήματα χωρίς να τα αποκαλύψει, το OpenAI έδωσε εντολή στο GPT-4o να διαβάσει τα απομαγνητοφωνημένα κείμενα και να αναφέρει συγκεντρωτικά μοτίβα, αντί για τις ίδιες τις συνομιλίες. Η εργασία αποκαλεί αυτόν τον μηχανισμό Language Model Research Assistant, ή LMRA, ώστε να τον διαφοροποιήσει από το μοντέλο που παράγει τις συνομιλίες.

Η αξιοπιστία αυτού του ελεγκτή δεν είναι σταθερή, και το OpenAI το αναγνωρίζει ανοιχτά. Στο φύλο, οι κρίσεις του LMRA για στερεότυπα συμφωνούσαν με τις κρίσεις ανθρώπων σε ποσοστό άνω του 90%· για τη φυλή και την εθνικότητα, η συμφωνία ήταν μικρότερη, και το LMRA εντόπισε λιγότερα επιβλαβή φυλετικά στερεότυπα σε σχέση με αυτά που σχετίζονται με το φύλο. Το OpenAI αναφέρει ρητά ότι απαιτείται περισσότερη δουλειά τόσο για τον ορισμό ενός επιβλαβούς στερεοτύπου όσο και για τη βελτίωση της ακρίβειας του LMRA.

Πρόκειται για έναν ειλικρινή περιορισμό που δημοσιεύεται ανοιχτά. Σημαίνει ότι οι κεντρικοί αριθμοί μετρούνται μέσω ενός εργαλείου του οποίου η βαθμονόμηση διαφέρει ανά δημογραφικό άξονα, κάτι που αξίζει να έχουμε υπόψη όταν διαβάζουμε τα αποτελέσματα ως σημείο αναφοράς.

Η ένταση της εξατομίκευσης που αποκαλύπτουν οι αριθμοί

Σε σχέση με τις συνδηλώσεις φύλου και φυλής στα ονόματα, το OpenAI αναφέρει ότι δεν υπήρξε διαφορά στη συνολική ποιότητα των απαντήσεων—τα ποσοστά ακρίβειας και παραισθήσεων ήταν σταθερά μεταξύ των ομάδων. Επιβλαβή στερεότυπα εμφανίστηκαν σε περίπου 0,1% του συνόλου των περιπτώσεων, με ορισμένους τομείς σε παλαιότερα μοντέλα να φτάνουν περίπου το 1%. Το GPT-3.5 Turbo παρουσίασε τη μεγαλύτερη μεροληψία· τα νεότερα μοντέλα παρέμειναν κάτω από 1% σε όλες τις εργασίες.

Το πιο ενδιαφέρον εύρημα σε επίπεδο frontend εντοπίζεται στις ανοιχτού τύπου εργασίες. Οι μακροσκελείς, δημιουργικές εργασίες περιείχαν περισσότερα στερεότυπα, με το «Γράψε μια ιστορία» να ξεχωρίζει ανάμεσα σε όλες τις προτροπές που δοκιμάστηκαν. Οι απαντήσεις σε ονόματα που ηχούν γυναικεία περιελάμβαναν συχνότερα γυναίκες πρωταγωνίστριες σε σχέση με αυτές σε ονόματα που ηχούν ανδρικά.

Το OpenAI παραδέχεται ανοιχτά ότι δεν είναι όλες αυτές οι διαφορές επιβλαβείς—κάποια εξατομίκευση είναι ακριβώς αυτό που θέλουν οι χρήστες, ενώ άλλη όχι. Αυτό είναι το σχεδιαστικό πρόβλημα που κρύβεται κάτω από ένα εξατομικευμένο chatbot: το προϊόν καλείται να προσαρμόζεται στο άτομο, και ο ίδιος μηχανισμός που το κάνει να φαίνεται ανταποκρινόμενο είναι εκείνος που μπορεί να εγκλωβίσει ένα στερεότυπο.

Η δική του θέση του OpenAI είναι ότι η ανησυχία αφορά την κλίμακα και όχι την ατομική εμπειρία:

Παρότι είναι απίθανο μεμονωμένοι χρήστες να αντιληφθούν αυτές τις διαφορές, θεωρούμε σημαντικό να τις μετρήσουμε και να τις κατανοήσουμε, καθώς ακόμη και σπάνια μοτίβα μπορεί να αποδειχθούν επιβλαβή σε συνολικό επίπεδο.Montana Labs

Τι σημαίνει αυτό όταν η μνήμη και η εξατομίκευση κυκλοφορούν μαζί

Το ουσιαστικό συμπέρασμα είναι ότι το OpenAI έχει ενσωματώσει αυτή την αξιολόγηση βάσει ονόματος στη τυπική σουίτα αξιολογήσεων απόδοσης των μοντέλων του, και αναφέρει ότι θα καθορίζει αποφάσεις ανάπτυξης για μελλοντικά συστήματα. Η μέτρηση της δικαιοσύνης εντάσσεται πλέον στη διαδικασία έγκρισης κυκλοφορίας, και δεν παραμένει μια μεμονωμένη ακαδημαϊκή εργασία.

Για όποιον σχεδιάζει ένα εξατομικευμένο frontend, η μελέτη αποτελεί υπενθύμιση ότι τα δεδομένα ταυτότητας που συλλέγονται για λόγους ευκολίας—ένα όνομα αποθηκευμένο στη μνήμη, που επαναχρησιμοποιείται σε διαφορετικές συνεδρίες—είναι ακριβώς το σημείο από όπου εισέρχεται η λεπτή μεροληψία. Το πεδίο εφαρμογής εδώ είναι εσκεμμένα περιορισμένο: αγγλικό κείμενο, δυαδικό φύλο βάσει συνηθισμένων αμερικανικών ονομάτων, τέσσερις φυλές και εθνικότητες, σε 66 εργασίες και εννέα τομείς. Το OpenAI μοιράζεται τα system messages, ώστε εξωτερικοί ερευνητές να μπορούν να τρέξουν οι ίδιοι πειράματα μεροληψίας σε πρώτο πρόσωπο, κάτι που καθιστά τη μεθοδολογία αναπαραγώγιμη, έστω και με περιορισμένη κάλυψη.