Η Google χωρίζει τη γραμμή TPU της σε τσιπ εκπαίδευσης και συμπερασμού για φόρτους εργασίας πρακτόρων ΤΝ

Δύο τσιπ, δύο ρόλοι

Η ανακοίνωση της Google ονομάζει δύο ξεχωριστά τσιπ TPU με σαφώς διαφοροποιημένους ρόλους. Το 8t περιγράφεται ως βελτιστοποιημένο για εκπαίδευση, ικανό να τρέχει «ακόμα και τα πιο σύνθετα μοντέλα σε μία ενιαία, τεράστια δεξαμενή μνήμης». Το 8i απευθύνεται στο άλλο άκρο του κύκλου ζωής: βοηθά τους πράκτορες ΤΝ «να ολοκληρώνουν αυτό πολύ γρήγορα, προσφέροντας μια καλή εμπειρία χρήστη».

Αυτός ο διαχωρισμός είναι η ουσία της είδησης. Αντί για έναν ενιαίο επιταχυντή γενικής χρήσης σε μεγαλύτερη κλίμακα, η Google κυκλοφορεί ένα τσιπ εκπαίδευσης και ένα τσιπ συμπερασμού, σχεδιασμένα με διαφορετικούς περιορισμούς κατά νου. Το βασικό χαρακτηριστικό του 8t είναι η μνήμη — μια ενιαία δεξαμενή αρκετά μεγάλη ώστε να χωρά μεγάλα μοντέλα χωρίς κατάτμηση. Το βασικό χαρακτηριστικό του 8i είναι η ταχύτητα τη στιγμή της εκτέλεσης.

Γιατί η οπτική των πρακτόρων αλλάζει τον στόχο

Η Google θεμελιώνει το 8i ρητά στη συμπεριφορά πρακτόρων. Το κείμενο περιγράφει πράκτορες που «σκέφτονται, σχεδιάζουν και εκτελούν ροές εργασίας πολλών βημάτων», και τοποθετεί το 8i να εκτελεί αυτά τα βήματα αρκετά γρήγορα ώστε να φαίνονται αποκριτικά.

Αυτό έχει σημασία γιατί ένας πράκτορας πολλών βημάτων δεν είναι μία μόνο κλήση συμπερασμού — είναι πολλές, αλυσιδωτές, με την καθυστέρηση κάθε βήματος να προσθέτεται στην προηγούμενη. Ένας φόρτος εργασίας που αποτελείται από δεκάδες διαδοχικές κλήσεις μοντέλου είναι πολύ πιο ευαίσθητος στην ταχύτητα ανά κλήση από μια μεμονωμένη απάντηση chatbot. Ο σχεδιασμός ενός τσιπ ειδικά για αυτό το μοτίβο είναι ένα στοίχημα ότι η εκτέλεση πρακτόρων, όχι η μονομιάς παραγωγή, αποτελεί τον φόρτο εργασίας όγκου για τον οποίο πρέπει να σχεδιάζεις.

Το τσιπ είναι ένα επίπεδο μιας στοίβας

Η Google είναι προσεκτική να μην παρουσιάσει τα τσιπ μεμονωμένα. Η ανακοίνωση συνδέει τα δύο TPU με «πλήρη, εξειδικευμένη υποδομή — από τη δικτύωση μέχρι τα κέντρα δεδομένων και τις ενεργειακά αποδοτικές λειτουργίες».

Μαζί με την πλήρη, εξειδικευμένη υποδομή μας — από τη δικτύωση μέχρι τα κέντρα δεδομένων και τις ενεργειακά αποδοτικές λειτουργίες — δημιουργούν τον υποκείμενο κινητήρα που θα μας επιτρέψει να φέρουμε ιδιαίτερα αποκριτική ΤΝ πρακτόρων στις μάζες.Montana Labs

Η φράση «στις μάζες» είναι ο ισχυρισμός κλίμακας. Η ταχεία εκτέλεση πρακτόρων σε όγκο καταναλωτή αποτελεί εξίσου ζήτημα κέντρου δεδομένων και δικτύωσης όσο και τσιπ, και η ανακοίνωση παρουσιάζει τα TPU ως τον κινητήρα μέσα σε αυτό το ευρύτερο σύστημα, και όχι ως αυτόνομο προϊόν.

Τι σηματοδοτεί ο διαχωρισμός εκπαίδευσης/συμπερασμού για ομάδες που κατασκευάζουν πράκτορες

Η ανακοίνωση είναι φειδωλή σε αριθμούς — δεν δίνονται συγκριτικά τεστ επιδόσεων, ταχύτητες ρολογιού ή χωρητικότητες μνήμης, οπότε οποιαδήποτε σύγκριση απόδοσης θα ήταν εικασία. Αυτό που είναι συγκεκριμένο είναι η αρχιτεκτονική απόφαση: η Google πλέον αντιμετωπίζει τον συμπερασμό πρακτόρων ως φόρτο εργασίας που αξίζει το δικό του εξειδικευμένο τσιπ, ξεχωριστό από την εκπαίδευση.

Για ομάδες που σχεδιάζουν συστήματα πρακτόρων, αυτό επιβεβαιώνει μια πραγματικότητα σχεδιασμού γύρω από την οποία χτίζεται πλέον ο χάρτης πορείας του υλικού: το κόστος και η καθυστέρηση ενός πράκτορα σε παραγωγική χρήση καθορίζονται από αλυσιδωτά βήματα συμπερασμού, όχι από μία μεμονωμένη κλήση μοντέλου. Το γεγονός ότι η Google κατασκευάζει το 8i ακριβώς για αυτό το μοτίβο αποτελεί χρήσιμο σημάδι για το πού θα βρίσκεται ο συνεχής φόρτος — και η συνεχής δαπάνη — όταν οι πράκτορες λειτουργούν σε κλίμακα.