Η OpenAI και η Amazon εντάσσουν stateful agent runtime εντός του Bedrock

Το κενό που στοχεύει αυτό το runtime: η συλλογιστική είναι εύκολη, οι λειτουργίες όχι

Η OpenAI πλαισιώνει την ανακοίνωση γύρω από μια διάκριση που διατυπώνει ξεκάθαρα: οι πράκτορες είναι καλοί στη συλλογιστική, αλλά το δύσκολο κομμάτι είναι λειτουργικό — η αξιόπιστη εκτέλεση εργασιών πολλών βημάτων στον χρόνο, σε πραγματικά εργαλεία και συστήματα, με τους κατάλληλους ελέγχους.

Πολλά πρωτότυπα πρακτόρων που βασίζονται σε stateless API αντιμετωπίζουν απλές περιπτώσεις χρήσης: ένα prompt, μία απάντηση, ίσως μία κλήση εργαλείου. Η παραγωγική εργασία είναι διαφορετική.Montana Labs

Το συγκεκριμένο πρόβλημα που αναφέρεται εδώ είναι το stateless API. Όταν κάθε αίτημα είναι ανεξάρτητο, η ομάδα ανάπτυξης της εφαρμογής πρέπει να χτίσει τα πάντα γύρω του: πώς αποθηκεύεται η κατάσταση, πώς καλούνται τα εργαλεία, πώς διαχειρίζονται τα σφάλματα και πώς οι εργασίες μεγάλης διάρκειας συνεχίζονται με ασφάλεια. Αυτή η υποδομή είναι ακριβώς αυτό που το νέο runtime υποστηρίζει ότι απορροφά.

Τι πραγματικά μεταφέρει το 'working context'

Ο κεντρικός μηχανισμός της ανακοίνωσης είναι αυτό που η OpenAI αποκαλεί working context. Αντί να συρράπτουν ασύνδετα αιτήματα μεταξύ τους, οι πράκτορες που εκτελούνται στο περιβάλλον μεταφέρουν τέσσερα συγκεκριμένα στοιχεία: μνήμη και ιστορικό, κατάσταση εργαλείων και ροών εργασίας, χρήση περιβάλλοντος, και όρια ταυτότητας και δικαιωμάτων.

Το τελευταίο στοιχείο είναι το πιο αξιοσημείωτο. Η ενσωμάτωση των ορίων ταυτότητας και δικαιωμάτων στο μόνιμο context — και όχι μόνο της μνήμης συνομιλίας — είναι αυτό που διαφοροποιεί έναν βρόχο επίδειξης από ένα σύστημα που οι ομάδες οικονομικών ή IT θα μπορούσαν πράγματι να εξουσιοδοτήσουν. Οι αναφερόμενες περιπτώσεις χρήσης αντικατοπτρίζουν αυτό: υποστήριξη πελατών πολλαπλών συστημάτων, λειτουργίες πωλήσεων, εσωτερική αυτοματοποίηση IT, και οικονομικές διαδικασίες με εγκρίσεις και ελέγχους.

Γιατί η εκτέλεση εντός του περιβάλλοντος AWS του πελάτη είναι ο πραγματικός ισχυρισμός

Η πιο συγκεκριμένη δέσμευση σε αυτή την ανάρτηση είναι η τοποθεσία ανάπτυξης. Η OpenAI αναφέρει ότι το runtime λειτουργεί εντός του περιβάλλοντος AWS του πελάτη, τροφοδοτούμενο από μοντέλα OpenAI αλλά βελτιστοποιημένο για την υποδομή AWS. Το δηλωμένο όφελος είναι η συμμόρφωση με την υπάρχουσα στάση ασφάλειας, τις ενσωματώσεις εργαλείων και τους κανόνες διακυβέρνησης του οργανισμού.

Αυτό έχει σημασία επειδή το επίπεδο ενορχήστρωσης για πράκτορες είναι εκεί όπου συγκεντρώνεται ευαίσθητη κατάσταση — διαπιστευτήρια εργαλείων, ενδιάμεσα αποτελέσματα, αρχεία εγκρίσεων. Η διατήρηση αυτής της κατάστασης εντός των ορίων AWS της ίδιας της επιχείρησης, αντί να μεταφέρεται μέσω μιας εξωτερικής υπηρεσίας, αποτελεί επιχείρημα διακυβέρνησης όσο και τεχνικό. Αντικατοπτρίζει έναν κοινό σχεδιασμό με την Amazon και όχι ένα model API που απλώς κατευθύνεται προς το Bedrock από έξω.

Η συνέπεια: η OpenAI παραδίδει ενορχήστρωση, όχι μόνο μοντέλα

Για τις ομάδες που χτίζουν πράκτορες, το πρακτικό συμπέρασμα είναι πού βρίσκεται πλέον το όριο ευθύνης. Η πρόταση της OpenAI είναι ότι η μόνιμη ενορχήστρωση και κατάσταση σε όλα τα βήματα γίνεται δουλειά του runtime, ώστε οι ομάδες να επικεντρώνονται στη ροή εργασίας και τη λογική της επιχείρησης αντί στην υποδομή υποστήριξης.

Αξίζει να έχετε υπόψη δύο επιφυλάξεις. Το runtime περιγράφεται ως διαθέσιμο σύντομα, όχι ως γενικά διαθέσιμο, και η ανάρτηση παραπέμπει τους ενδιαφερόμενους πελάτες στην ομάδα OpenAI τους ή σε αίτημα επικοινωνίας — άρα πρόκειται προς το παρόν για εταιρική συνεργασία και όχι για ένα σημείο πρόσβασης αυτοεξυπηρέτησης. Και η πρόταση αξίας περιορίζεται στο AWS: οι ισχυρισμοί περί αξιοπιστίας και διακυβέρνησης αφορούν συγκεκριμένα το Bedrock και τις υπηρεσίες AWS, όχι ένα φορητό πρότυπο πρακτόρων.

Ωστόσο, η κατεύθυνση είναι ξεκάθαρη. Συνδημιουργώντας ένα stateful runtime με επίγνωση δικαιωμάτων που ζει εντός του cloud του πελάτη, η OpenAI αντιμετωπίζει το λειτουργικό επίπεδο γύρω από τους πράκτορες — μνήμη, κατάσταση εργαλείων, ταυτότητα, εκτέλεση μεγάλου ορίζοντα — ως μια επιφάνεια προϊόντος από μόνη της, που παραδίδεται μέσω ενός cloud συνεργάτη και όχι ως ένα ακατέργαστο API.