Το EVMbench της OpenAI και της Paradigm αξιολογεί πράκτορες ΤΝ στον εντοπισμό, τη διόρθωση και την εκμετάλλευση σφαλμάτων έξυπνων συμβολαίων

Τι εξετάζει στην πραγματικότητα το EVMbench

Η OpenAI ανέπτυξε το EVMbench σε συνεργασία με την Paradigm για να αξιολογήσει πράκτορες ΤΝ σε τρεις διακριτές εργασίες ασφάλειας έξυπνων συμβολαίων: εντοπισμό ευπαθειών, διόρθωσή τους και εκμετάλλευσή τους. Το σύνολο δοκιμών βασίζεται σε 117 επιλεγμένες ευπάθειες από 40 ελέγχους, κυρίως από ανοιχτούς διαγωνισμούς ελέγχου Code4rena.

Αντλεί επίσης σκηνάρια από τον έλεγχο ασφάλειας του Tempo, ενός L1 σχεδιασμένου για πληρωμές σε stablecoin με υψηλή απόδοση και χαμηλό κόστος. Η OpenAI παρουσιάζει αυτό ως επέκταση του συνόλου δοκιμών σε κώδικα συμβολαίων προσανατολισμένο σε πληρωμές, τομέα στον οποίο αναμένει ανάπτυξη των autonomous πληρωμών σε stablecoin.

Οι τρεις λειτουργίες βαθμολογούνται διαφορετικά. Η βαθμολογία εντοπισμού μετρά την ανάκληση σε σχέση με επιβεβαιωμένες ευπάθειες και τις αντίστοιχες ανταμοιβές ελέγχου. Η διόρθωση απαιτεί εξάλειψη της δυνατότητας εκμετάλλευσης διατηρώντας τη λειτουργικότητα, όπως επιβεβαιώνεται από αυτοματοποιημένες δοκιμές. Η εκμετάλλευση εκτελεί ολοκληρωμένες επιθέσεις άντλησης κεφαλαίων σε απομονωμένη αλυσίδα δοκιμών, με βαθμολόγηση μέσω αναπαραγωγής συναλλαγών και επαλήθευσης on-chain.

Το χάσμα ανάμεσα στο να σπάει κανείς κάτι και στο να το επιδιορθώνει

Ο κεντρικός αριθμός είναι η απόδοση στη λειτουργία εκμετάλλευσης: το GPT-5.3-Codex μέσω του Codex CLI πετυχαίνει 71,0%, σημαντική άνοδο από το 33,3% του GPT-5 περίπου έξι μήνες πριν. Ωστόσο, τόσο η ανάκληση στον εντοπισμό όσο και η επιτυχία στη διόρθωση παραμένουν κάτω από την πλήρη κάλυψη, και η OpenAI παραδέχεται ευθέως ότι ένα μεγάλο μέρος των ευπαθειών παραμένει δύσκολο να εντοπιστεί και να διορθωθεί.

Η συμπεριφορική εξήγηση αξίζει προσοχή. Οι πράκτορες αποδίδουν καλύτερα όταν ο στόχος είναι ξεκάθαρος — στη λειτουργία εκμετάλλευσης επαναλαμβάνουν τη διαδικασία μέχρι να αδειάσουν τα κεφάλαια. Στη λειτουργία εντοπισμού, μερικές φορές σταματούν μόλις βρουν ένα πρόβλημα αντί να ελέγξουν εξαντλητικά. Στη λειτουργία διόρθωσης, το πρόβλημα είναι η αφαίρεση ενός δυσδιάκριτου σφάλματος χωρίς να καταστρέψουν την επιδιωκόμενη λειτουργικότητα.

Αυτή η ασυμμετρία έχει μεγαλύτερη σημασία από τη συνολική βαθμολογία. Οι αμυντικές εργασίες που η OpenAI θέλει να ενθαρρύνει — τον εξαντλητικό έλεγχο και την ασφαλή διόρθωση — είναι ακριβώς εκείνες όπου οι πράκτορες είναι πιο αδύναμοι, ενώ η επιθετική εργασία είναι εκείνη όπου υπερέχουν.

Η μηχανική πίσω από την αναπαραγώγιμη βαθμολόγηση

Για να διασφαλίσει την αξιοπιστία των αποτελεσμάτων εκμετάλλευσης, η OpenAI ανέπτυξε ένα πλαίσιο δοκιμών σε Rust που αναπτύσσει συμβόλαια, αναπαράγει τις συναλλαγές του πράκτορα με ντετερμινιστικό τρόπο και περιορίζει μη ασφαλείς μεθόδους RPC. Οι εργασίες εκμετάλλευσης εκτελούνται σε απομονωμένο τοπικό στιγμιότυπο Anvil, όχι σε ζωντανά δίκτυα, και κάθε ευπάθεια είναι ιστορική και δημόσια τεκμηριωμένη.

Πραγματοποίησαν επίσης ασκήσεις red-teaming στα περιβάλλοντα εκμετάλλευσης για να εντοπίσουν και να διορθώσουν τρόπους με τους οποίους ένας πράκτορας θα μπορούσε να «εξαπατήσει» τον αξιολογητή, και χρησιμοποίησαν αυτοματοποιημένους πράκτορες ελέγχου εργασιών σε συνδυασμό με την τεχνογνωσία της Paradigm για να επιβεβαιώσουν την ορθότητα του περιβάλλοντος. Για τη λειτουργία διόρθωσης, επιβεβαίωσαν ότι κάθε ευπάθεια ήταν εκμεταλλεύσιμη και διορθώσιμη χωρίς αλλαγές που θα διέκοπταν τη μεταγλώττιση.

Οι δηλωμένοι περιορισμοί είναι συγκεκριμένοι και όχι γενικόλογοι. Η διαδοχική αναπαραγωγή συναλλαγών αφήνει εκτός πλαισίου συμπεριφορές που εξαρτώνται από χρονισμό. Το καθαρό στιγμιότυπο Anvil δεν αποτελεί fork του mainnet, υποστηρίζονται μόνο περιβάλλοντα μίας αλυσίδας, και ορισμένες περιπτώσεις απαιτούν εικονικά (mock) συμβόλαια. Στη λειτουργία εντοπισμού, η OpenAI παραδέχεται ότι δεν μπορεί να διακρίνει με αξιοπιστία αν επιπλέον προβλήματα που επισημαίνει ένας πράκτορας είναι πραγματικά ευρήματα που παρέβλεψαν οι άνθρωποι ή ψευδώς θετικά αποτελέσματα.

Γιατί ένα σύνολο δοκιμών διπλής χρήσης συνοδεύεται από κονδύλια χρηματοδότησης

Το EVMbench είναι ρητά διπλής χρήσης: η ίδια δυνατότητα που ελέγχει ένα συμβόλαιο μπορεί και να το αδειάσει. Η απάντηση της OpenAI είναι να δημοσιεύσει τις εργασίες, τα εργαλεία και το πλαίσιο αξιολόγησης, συνδυάζοντας τη μέτρηση με αμυντικές δεσμεύσεις — επεκτείνοντας το ιδιωτικό beta του πράκτορα ασφάλειας Aardvark, προσφέροντας δωρεάν σκανάρισμα σε συντηρητές ανοιχτού κώδικα, και δεσμεύοντας 10 εκατομμύρια δολάρια σε πιστώσεις API μέσω του προγράμματος επιχορηγήσεων κυβερνοασφάλειας για όσους αμύνονται, ειδικά στον ανοιχτό κώδικα και τις κρίσιμες υποδομές.

Το πρακτικό συμπέρασμα για όποιον αναπτύσσει έξυπνα συμβόλαια είναι ότι το χάσμα ανάμεσα στην εκμετάλλευση και τον εντοπισμό αποτελεί προειδοποίηση, όχι διαβεβαίωση. Μια βαθμολογία 71% σε ιστορικά σφάλματα του Code4rena δείχνει ότι η αυτοματοποίηση από την πλευρά των επιτιθέμενων προχωράει ταχύτερα από την αξιοπιστία από την πλευρά της άμυνας. Οι ομάδες που διασφαλίζουν στοιχεία on-chain θα πρέπει να αντιμετωπίζουν τον έλεγχο με υποβοήθηση ΤΝ ως συμπλήρωμα που εξακολουθεί να απαιτεί εξαντλητική ανθρώπινη επισκόπηση — καθώς το ίδιο το σύνολο δοκιμών δείχνει ότι οι πράκτορες σταματούν πρόωρα ακριβώς στους ελέγχους που έχουν τη μεγαλύτερη σημασία.