Το OpenAI αναδιατυπώνει το prompt injection ως κοινωνική μηχανική και μεταφέρει την άμυνα στο interface

Η επίθεση που πραγματικά ανησυχεί το OpenAI

Η ανάρτηση του OpenAI παραθέτει ένα συγκεκριμένο παράδειγμα: ένα email που διαβάζεται σαν συνηθισμένο follow-up εργασίας, με action items για αναδιάρθρωση υλικού και περιγραφές ρόλων. Κρυμμένη μέσα του βρίσκεται μια εντολή που λέει σε έναν assistant ότι έχει «πλήρη εξουσιοδότηση» να αντλήσει το όνομα και τη διεύθυνση ενός εργαζομένου και να τα υποβάλει σε ένα εξωτερικό «σύστημα επικύρωσης συμμόρφωσης».

Σύμφωνα με το OpenAI, αυτή η επίθεση, που αναφέρθηκε από εξωτερικούς ερευνητές, πέτυχε στο 50% των περιπτώσεων όταν συνδυάστηκε με ένα πειστικό αίτημα χρήστη για διεξαγωγή «εις βάθος έρευνας» σε emails σχετικά με μια νέα διαδικασία πρόσληψης. Το ζητούμενο είναι ότι το payload δεν φαίνεται σαν αλφαριθμητικό injection. Φαίνεται σαν σημείωμα.

Γι' αυτό το OpenAI αντιμετωπίζει με σκεπτικισμό το «AI firewalling» — έναν ενδιάμεσο μηχανισμό που ταξινομεί τις εισόδους ως κακόβουλες ή αθώες. Όπως αναφέρει η ανάρτηση, ο εντοπισμός τέτοιων εξελιγμένων επιθέσεων καταλήγει να είναι «το ίδιο δυσεπίλυτο πρόβλημα με τον εντοπισμό ενός ψέματος ή παραπληροφόρησης, συχνά χωρίς το απαραίτητο πλαίσιο». Δεν μπορείτε να ξεφύγετε από ένα καλογραμμένο email με regex.

Το μοντέλο τριών ρόλων δανεισμένο από την εξυπηρέτηση πελατών

Η προσέγγιση του OpenAI είναι ότι ένας agent ΤΝ βρίσκεται στην ίδια θέση με έναν ανθρώπινο εκπρόσωπο εξυπηρέτησης πελατών: ενεργεί για λογαριασμό ενός εργοδότη ενώ εκτίθεται συνεχώς σε τρίτους που μπορεί να τον παραπλανήσουν. Το δίδαγμα από αυτόν τον τομέα δεν είναι να κάνουμε τον άνθρωπο άτρωτο στη χειραγώγηση, αλλά να θέσουμε ένα όριο σε ό,τι μπορεί να κάνει ένας χειραγωγημένος άνθρωπος.

Στον πραγματικό κόσμο, δίνονται στον agent κανόνες που πρέπει να ακολουθεί, αλλά αναμένεται ότι, μέσα στο ανταγωνιστικό περιβάλλον στο οποίο υπάρχει, θα παραπλανηθεί.Montana Labs

Η αναλογία με την εξυπηρέτηση πελατών είναι συγκεκριμένη: όρια επιστροφών χρημάτων, σημαίες phishing και ντετερμινιστικοί έλεγχοι που περιορίζουν τη ζημιά ακόμη και όταν ο agent εξαπατηθεί. Εφαρμοσμένο σε agents, αυτό αναδιατυπώνει τον στόχο. Δεν προσπαθείτε πλέον να εγγυηθείτε ότι το μοντέλο δεν θα εξαπατηθεί ποτέ. Προσπαθείτε να διασφαλίσετε ότι μια πετυχημένη εξαπάτηση δεν μπορεί σιωπηλά να διαρρεύσει δεδομένα ή να εκτελέσει μια επικίνδυνη ενέργεια.

Η ανάλυση πηγής-καταβόθρας τοποθετεί τον έλεγχο στο σημείο της μετάδοσης

Ειδικά για το ChatGPT, το OpenAI συνδυάζει τη νοοτροπία της κοινωνικής μηχανικής με ανάλυση πηγής-καταβόθρας: ένας επιτιθέμενος χρειάζεται τόσο μια πηγή (έναν τρόπο να επηρεάσει το σύστημα) όσο και μια καταβόθρα (μια δυνατότητα που γίνεται επικίνδυνη). Για τους agents, ο επικίνδυνος συνδυασμός είναι μη έμπιστο εξωτερικό περιεχόμενο μαζί με μια ενέργεια όπως η μετάδοση πληροφοριών σε τρίτο μέρος, η ακολούθηση ενός συνδέσμου ή η κλήση ενός εργαλείου.

Εδώ είναι που το frontend έχει σημασία. Ο μηχανισμός μετριασμού Safe Url του OpenAI εντοπίζει πότε πληροφορίες που έμαθε ο assistant μέσα σε μια συνομιλία πρόκειται να σταλούν σε τρίτο μέρος. Σε αυτές τις περιπτώσεις, είτε δείχνει στον χρήστη ακριβώς τι πρόκειται να μεταδοθεί και ζητά επιβεβαίωση, είτε το μπλοκάρει και λέει στον agent να βρει άλλη διαδρομή. Ο ίδιος μηχανισμός καλύπτει τις πλοηγήσεις και τα bookmarks στο Atlas, καθώς και τις αναζητήσεις και πλοηγήσεις στο Deep Research.

Το Canvas και τα Apps επεκτείνουν αυτή την ιδέα εκτελώντας τις εφαρμογές που δημιουργούνται σε ένα sandbox που εντοπίζει μη αναμενόμενες επικοινωνίες και ζητά τη συναίνεση του χρήστη. Το όριο ασφαλείας, με άλλα λόγια, εκφράζεται ως συμβάν interface, όχι ως αόρατο φίλτρο backend.

Τι σημαίνει αυτό για τις ομάδες που χτίζουν διεπαφές agent

Η σχεδιαστική συνέπεια είναι ότι τα prompts συναίνεσης αποτελούν φέρουσα υποδομή ασφαλείας, όχι τριβή που πρέπει να εξαλειφθεί για λόγους βελτιστοποίησης. Αν η μόνη διασφάλιση μιας επικίνδυνης ενέργειας είναι ένα διάλογος που δείχνει στον χρήστη ποια δεδομένα πρόκειται να διαρρεύσουν, τότε η σαφήνεια, ο χρονισμός και η αναγνωσιμότητα αυτού του διαλόγου είναι η ίδια η άμυνα. Ένα μπερδεμένο ή εύκολα απορριπτόμενο prompt αναιρεί την προστασία.

Οι ίδιες οι οδηγίες του OpenAI για όποιον ενσωματώνει ένα μοντέλο σε μια εφαρμογή αποτελούν χρήσιμο τεστ: ρωτήστε ποιους ελέγχους θα είχε ένας ανθρώπινος agent στην ίδια κατάσταση και εφαρμόστε αυτούς. Η εταιρεία αναμένει ότι ένα αρκετά ικανό μοντέλο θα καταφέρει τελικά να αντιστέκεται στην κοινωνική μηχανική καλύτερα από έναν άνθρωπο, αλλά σημειώνει ότι αυτό «δεν είναι πάντα εφικτό ή οικονομικά αποδοτικό» — κι αυτός είναι ακριβώς ο λόγος που υπάρχουν οι έλεγχοι σε επίπεδο interface ως δικλείδα ασφαλείας και όχι μόνο η εκπαίδευση.

Για τις ομάδες εφαρμοσμένης ΤΝ, το συγκεκριμένο συμπέρασμα είναι να καταγράψετε τις «καταβόθρες» του agent σας — κάθε σημείο όπου μπορεί να μεταδώσει δεδομένα, να ακολουθήσει έναν σύνδεσμο ή να καλέσει ένα εξωτερικό εργαλείο — και να αποφασίσετε, για κάθε καταβόθρα, αν μια ενέργεια πρέπει να μπορεί να συμβεί σιωπηλά. Η απάντηση του OpenAI για τις επικίνδυνες περιπτώσεις είναι όχι: εμφανίστε την στον χρήστη, ή μπλοκάρετέ την και αλλάξτε διαδρομή.