Η μελέτη της OpenAI για κακόβουλο fine-tuning στο gpt-oss

Το fine-tuning ως μοντέλο απειλής, όχι το μοντέλο όπως κυκλοφορεί

Η κεντρική κίνηση σε αυτό το paper είναι να σταματήσει η αξιολόγηση του μοντέλου όπως θα κυκλοφορούσε και να αξιολογηθεί αντ' αυτού το μοντέλο που θα μπορούσε να κατασκευάσει από αυτό ένας επιτιθέμενος. Η OpenAI το αποκαλεί κακόβουλο fine-tuning (MFT): αντί να κάνουν red-teaming στο checkpoint που κυκλοφόρησε, έκαναν fine-tuning στο gpt-oss ώστε να γίνει όσο το δυνατόν πιο ικανό σε δύο τομείς, τη βιολογία και την κυβερνοασφάλεια.

Αυτή η προσέγγιση αφορά ειδικά τα open weights. Ένα κλειστό μοντέλο μπορεί να προστατεύεται πίσω από ένα API και να παρακολουθείται· μόλις τα weights γίνουν δημόσια, η εκπαίδευση ασφαλείας μπορεί να αφαιρεθεί και το μοντέλο να επανεκπαιδευτεί σε οτιδήποτε θέλει ένας αντίπαλος. Άρα το ειλικρινές ερώτημα δεν είναι «είναι ασφαλές το μοντέλο όπως κυκλοφορεί» αλλά «πόσο ικανό γίνεται στα χειρότερα χέρια». Το MFT είναι μια προσπάθεια να απαντηθεί αυτό απευθείας, υποδυόμενοι τον αντίπαλο.

Πώς προσπάθησαν να μεγιστοποιήσουν τη βλάβη

Οι δύο τομείς είχαν δύο διαφορετικές ρυθμίσεις εκπαίδευσης. Για τον βιοκίνδυνο, η ομάδα επέλεξε εργασίες συνδεδεμένες με τη δημιουργία απειλών και εκπαίδευσε το gpt-oss σε περιβάλλον ενισχυτικής μάθησης με πρόσβαση στον ιστό — δίνοντας στο μοντέλο πρόσβαση σε εργαλεία αντί να το δοκιμάσουν μεμονωμένα. Για την κυβερνοασφάλεια, εκπαίδευσαν το gpt-oss σε agentic περιβάλλον προγραμματισμού για να λύσει προκλήσεις capture-the-flag, το καθιερωμένο υποκατάστατο μέτρησης επιθετικών δεξιοτήτων ασφαλείας.

Και οι δύο ρυθμίσεις είναι αξιοσημείωτες γιατί αντικατοπτρίζουν πώς χρησιμοποιείται στην πραγματικότητα ένα ικανό μοντέλο: με εργαλεία, περιήγηση και agentic βρόχους. Η δοκιμή των βασικών weights σε στατικές ερωτήσεις θα υποτιμούσε το ανώτατο όριο. Η κατασκευή του pipeline εξαγωγής δυνατοτήτων που θα έφτιαχνε ο επιτιθέμενος είναι αυτό που δίνει σημασία στο άνω όριο.

Η σύγκριση που καθόρισε την κυκλοφορία

Τα ευρήματα διατυπώνονται σε σχετικούς όρους έναντι υπαρχόντων μοντέλων. Έναντι κορυφαίων κλειστών μοντέλων, η έκδοση MFT του gpt-oss είχε χαμηλότερη απόδοση από το OpenAI o3 — και το o3 περιγράφεται ως κάτω από το επίπεδο ικανότητας Preparedness High τόσο για βιοκίνδυνο όσο και για κυβερνοασφάλεια. Έναντι άλλων open-weight μοντέλων, το gpt-oss μπορεί να αυξήσει ελαφρώς τις βιολογικές δυνατότητες, αλλά, όπως αναφέρουν οι συγγραφείς, δεν προωθεί ουσιαστικά τα όρια του κλάδου.

Συνολικά, αυτά τα ευρήματα συνέβαλαν στην απόφασή μας να κυκλοφορήσουμε το μοντέλο, και ελπίζουμε ότι η προσέγγισή μας με το MFT μπορεί να αποτελέσει χρήσιμο οδηγό για την εκτίμηση της βλάβης από μελλοντικές κυκλοφορίες open-weight.Montana Labs

Η λογική είναι ένα επιχείρημα οριακού κινδύνου: αν μια μέγιστα αντιπαλική έκδοση του gpt-oss παραμένει κάτω από ένα κλειστό μοντέλο που έχει ήδη κριθεί κάτω από το κατώφλι High, και δεν ξεπερνά όσα προσφέρουν ήδη τα open-weight μοντέλα, τότε η κυκλοφορία του δεν μετακινεί ουσιαστικά τα όρια κινδύνου.

Ένα αντιπαλικό άνω όριο ως πύλη κυκλοφορίας

Η επαναχρησιμοποιήσιμη συνεισφορά εδώ είναι διαδικαστική. Η OpenAI προτείνει οι αποφάσεις κυκλοφορίας open-weight να εξαρτώνται από ένα άνω όριο προσομοίωσης επιτιθέμενου — κάνετε fine-tuning στο δικό σας μοντέλο προς τις δυνατότητες που φοβάστε, με ρεαλιστικά εργαλεία, και συγκρίνετε με υπάρχοντα σημεία αναφοράς αντί με ένα αφηρημένο κατώφλι κινδύνου.

Για κάθε ομάδα που ζυγίζει μια κυκλοφορία open-weight, αυτό θέτει έναν συγκεκριμένο πήχη: δεν αρκεί να δείξετε ότι το checkpoint που κυκλοφορεί αρνείται επιβλαβή αιτήματα, γιατί το checkpoint που κυκλοφορεί δεν είναι αυτό που τελικά αναπτύσσεται. Η σχετική απόδειξη είναι τι γίνεται το μοντέλο μετά την επανεκπαίδευσή του από έναν αποφασισμένο αντίπαλο, μετρημένο σε σχέση με όσα ήδη προσφέρει το οικοσύστημα. Αυτό είναι το πρότυπο που προσπαθεί να θεσπίσει αυτό το paper.