Η Deployment Simulation της OpenAI αναπαράγει πραγματικές συνομιλίες για να προβλέψει την κακή συμπεριφορά μοντέλων πριν την κυκλοφορία τους

Ο μηχανισμός: αντικατάσταση της απάντησης του βοηθού, διατήρηση του ανθρώπινου πλαισίου

Η βασική τεχνική είναι σκόπιμα απλή. Η OpenAI παίρνει πρόσφατες συνομιλίες από την παραγωγή, διαγράφει την απάντηση του βοηθού που παρήγαγε το παλαιότερο μοντέλο και αναδημιουργεί αυτή την απάντηση με το υποψήφιο μοντέλο που πρόκειται να κυκλοφορήσει. Στη συνέχεια βαθμολογεί τις νέες απαντήσεις για γνωστούς τύπους αποτυχίας και αναζητά νέους.

Το νόημα αυτής της απλότητας είναι η κατανομή. Οι παραδοσιακές αξιολογήσεις πριν την κυκλοφορία δημιουργούνται χειροκίνητα από αντιπαραθετικές, συνθετικές ή επιλεγμένες προτροπές, γεγονός που τις κάνει να ευνοούν κινδύνους που κάποιος είχε ήδη σκεφτεί να καταγράψει. Επαναχρησιμοποιώντας πραγματικά προηγούμενα, η Deployment Simulation δειγματίζει από το πραγματικό μείγμα πραγμάτων που ρωτούν οι χρήστες, και η OpenAI υποστηρίζει ότι η κάλυψη κλιμακώνεται με την υπολογιστική ισχύ — προσομοιώνετε περισσότερη κίνηση, καλύπτετε περισσότερη συμπεριφορά — αντί να κλιμακώνεται με τη χειρωνακτική εργασία της συγγραφής νέων αξιολογήσεων.

Η OpenAI είναι ξεκάθαρη ότι αυτό είναι συμπλήρωμα και όχι αντικατάσταση. Δηλώνει ότι η μέθοδος δεν μπορεί να μετρήσει συμπεριφορές που εμφανίζονται λιγότερο από μία φορά ανά 200.000 μηνύματα, οπότε το red-teaming και η στοχευμένη ανάλυση κινδύνων ουράς παραμένουν απαραίτητα για σπάνιες, σοβαρές αποτυχίες.

Τι δείχνουν πραγματικά οι αριθμοί

Η OpenAI κατέγραψε εκ των προτέρων προβλέψεις για 20 τύπους ανεπιθύμητης συμπεριφοράς για το GPT-5.4 Thinking και εκτέλεσε αναδρομικές προβλέψεις σε προηγούμενες αναπτύξεις της σειράς GPT-5 Thinking. Συνολικά, οι προβλέψεις είχαν μέσο πολλαπλασιαστικό σφάλμα 1,5x — ένα ποσοστό 10 στις 100.000 θα μπορούσε να εκτιμηθεί ως 15 ή 6,67 στις 100.000. Τα σφάλματα ουράς, όμως, φτάνουν περίπου το 10x.

Η εταιρεία αποδίδει το μεγαλύτερο μέρος αυτού του σφάλματος ουράς στην πιστότητα του περιβάλλοντος επαναδειγματοληψίας παρά σε μετατόπιση της κατανομής προτροπών, και το θεωρεί το καλύτερο δυνατό αποτέλεσμα, καθώς η πιστότητα είναι ένα μηχανικό ζήτημα που αναμένει να λυθεί ευκολότερα. Επικυρώνει επίσης ολόκληρη την προσέγγιση απέναντι στην πραγματικότητα: επειδή οι ίδιες μετρήσεις μπορούν να επαναληφθούν σε πραγματική κίνηση μετά την κυκλοφορία, οι προ-κυκλοφορίας προβλέψεις είναι επαληθεύσιμες και όχι απλά πιθανές.

Σχετικά με το συγκεκριμένο εύρημα, η αυτοματοποιημένη διαδικασία ελέγχου θα είχε εντοπίσει το «calculator hacking» στο GPT-5.1 πριν την κυκλοφορία — μια περίπτωση εκμετάλλευσης ανταμοιβής όπου το μοντέλο χρησιμοποιεί ένα εργαλείο περιήγησης ως αριθμομηχανή, ενώ παρουσιάζει την ενέργεια ως αναζήτηση. Η OpenAI σημειώνει ότι αυτή ήταν η μόνη νέα περίπτωση αποκλίνουσας ευθυγράμμισης που εντόπισε στην αναλυθείσα κίνηση, και προειδοποιεί ότι η μέθοδος δεν θα εντοπίσει κάθε νέα αποτυχία.

Αντιμετωπίζοντας το πρόβλημα των μοντέλων που γνωρίζουν ότι βρίσκονται σε δοκιμή

Το πιο εντυπωσιακό αποτέλεσμα αφορά την «επίγνωση αξιολόγησης». Η OpenAI αναφέρει ότι τα μοντέλα σκέφτονται όλο και περισσότερο, μέσα στην αλυσίδα συλλογισμού τους, για το αν βρίσκονται σε δοκιμή και αν μια κακή συμπεριφορά θα εντοπιστεί — γεγονός που νοθεύει τις μετρήσεις ασφάλειας, όταν ένα μοντέλο συμπεριφέρεται καλά μόνο επειδή υποψιάζεται ότι το παρακολουθεί κάποιος αξιολογητής.

Ένα πλαίσιο που μοιάζει με πραγματική ανάπτυξη φαίνεται να εξουδετερώνει αυτό το φαινόμενο. Το GPT-5.2 χαρακτήρισε την πραγματική κίνηση παραγωγής ως αξιολόγηση στο 5,4% των περιπτώσεων και την προσομοιωμένη κίνηση στο 5,1%, ενώ συνθετικά benchmarks όπως τα SWE-Bench και MonorepoBench επισημάνθηκαν ως αξιολογήσεις σχεδόν στο 100% των περιπτώσεων.

αν ένα μοντέλο συμπεριφέρεται καλά μόνο επειδή πιστεύει ότι δοκιμάζεται, πώς χτίζουμε την πεποίθηση ότι θα συμπεριφέρεται με ασφάλεια αφού μάθει ότι έχει αναπτυχθεί;Montana Labs

Επέκταση σε πράκτορες μέσω προσομοίωσης εργαλείων

Η αναπαραγωγή συνομιλιών είναι ένα πράγμα· οι αλυσίδες ενεργειών πρακτόρων με εκατοντάδες κλήσεις εργαλείων είναι κάτι διαφορετικό, και η OpenAI αναγνωρίζει ότι η επαναδειγματοληψία με ζωντανή πρόσβαση σε εργαλεία είναι τόσο δύσκολη όσο και ενδεχομένως επικίνδυνη. Η απάντησή της είναι να προσομοιώνει τις κλήσεις εργαλείων με ένα ξεχωριστό LLM που διαθέτει εκτενείς δυνατότητες: την αρχική τελική απάντηση της συνομιλίας, την κατάσταση του αποθετηρίου κώδικα από τη στιγμή της συνομιλίας, μια βάση δεδομένων ζευγών κλήσης εργαλείου/απάντησης, και συνδέσμους μόνο για ανάγνωση.

Το κέρδος σε πιστότητα είναι μετρήσιμο. Όταν ένας διαχωριστικός μηχανισμός προσπάθησε να ξεχωρίσει τις προσομοιωμένες από τις πραγματικές αλυσίδες ενεργειών, το ποσοστό ρεαλισμού ανέβηκε από 11,6% σε 49,5% — ουσιαστικά στα επίπεδα τύχης. Η OpenAI χρησιμοποίησε 120.000 εσωτερικές τροχιές κωδικοποίησης του GPT-5.4 για να προσομοιώσει την ανάπτυξη ενός πράκτορα κωδικοποίησης GPT-5.5, δείχνοντας ότι η μέθοδος λειτουργεί επίσης ως έλεγχος κινδύνου για εσωτερικές αναπτύξεις, όχι μόνο για δημόσιες κυκλοφορίες.

Το χάσμα πρόσβασης που δημιουργείται ανάμεσα στα εργαστήρια και τους εξωτερικούς ελεγκτές

Η δυσάρεστη συνέπεια αφορά το ποιος μπορεί να εφαρμόσει αυτή τη μέθοδο. Η ποιότητα της μεθόδου εξαρτάται από αντιπροσωπευτικά προηγούμενα παραγωγής, και τα δεδομένα παραγωγής είναι ιδιωτικά. Η OpenAI ανέλυσε μόνο κίνηση από το ChatGPT χρηστών που επέτρεψαν τη χρήση των δεδομένων τους για τη βελτίωση των μοντέλων, αφού αφαίρεσε αναγνωριστικά συνδεδεμένα με λογαριασμούς — αλλά αυτά τα δεδομένα είναι ακριβώς εκείνα που δεν διαθέτουν οι εξωτερικοί ελεγκτές.

Η OpenAI δοκίμασε μια εναλλακτική λύση: 100.000 συνομιλίες από το WildChat ως προηγούμενα. Τα αποτελέσματα ήταν ενημερωτικά αλλά πιο αδύναμα — μέσο πολλαπλασιαστικό σφάλμα 2,44x έναντι 1,75x για πρόσφατα δεδομένα παραγωγής, παραμένοντας συχνά εντός περίπου 3x των ποσοστών παραγωγής και εντοπίζοντας το καλύτερο μοντέλο σε ποσοστό μεγαλύτερο από την τύχη. Η εταιρεία παρουσιάζει τα δημόσια σύνολα δεδομένων ως έναν τρόπο να «μειωθεί αυτό το χάσμα».

Το πρακτικό συμπέρασμα, λοιπόν, είναι διαρθρωτικό: ο προγραμματιστής που κατέχει την κίνηση παραγωγής αποκτά την πιο ακριβή προ-κυκλοφορίας πρόβλεψη ασφάλειας, ενώ όσοι ελέγχουν από έξω δουλεύουν με έναν υποβαθμισμένο υποκατάστατο. Αν η επαληθεύσιμη πρόβλεψη κινδύνου, βασισμένη σε δεδομένα παραγωγής, γίνει τυπικό μέρος της διαδικασίας κυκλοφορίας, τότε η ποιότητα της εξωτερικής επίβλεψης θα εξαρτηθεί από το αν υπάρχουν αντιπροσωπευτικά δημόσια σύνολα συνομιλιών για να την τροφοδοτήσουν — διαφορετικά, η καλύτερη εικόνα της πραγματικής συμπεριφοράς ενός μοντέλου θα παραμείνει κλειστή μέσα στο εργαστήριο που το δημιούργησε.