Το TPU 8i της Google εντάσσει την καθυστέρηση εξαγωγής συμπερασμάτων στο silicon για interfaces με γνώμονα τους agents

Διαχωρίζοντας το chip κατά μήκος της γραμμής εκπαίδευσης/εξαγωγής συμπερασμάτων

Η όγδοη γενιά TPU της Google δεν έρχεται ως ένα εξάρτημα αλλά ως δύο: το TPU 8t, στοχευμένο σε εκπαίδευση μοντέλων μεγάλης κλίμακας, και το TPU 8i, στοχευμένο σε εξαγωγή συμπερασμάτων. Η Google αναφέρει ότι και τα δύο chips μπορούν να τρέξουν διάφορους φόρτους εργασίας, αλλά τα οφέλη προκύπτουν ακριβώς από αυτή την εξειδίκευση.

Η εταιρεία περιγράφει πώς προέβλεψε αυτόν τον διαχωρισμό αρκετά χρόνια πριν — στοιχηματίζοντας ότι, καθώς τα frontier μοντέλα θα περνούσαν σε παραγωγική χρήση, η ζήτηση για εξαγωγή συμπερασμάτων θα δικαιολογούσε ένα αποκλειστικό εξάρτημα. Τα δύο chips έχουν διαφορετική ισορροπία πόρων: το 8t δίνει βάρος στη διεκπεραιωτική ισχύ (compute throughput) και στο εύρος ζώνης κλιμάκωσης, ενώ το 8i δίνει βάρος στο εύρος ζώνης μνήμης για εξυπηρέτηση ευαίσθητη στην καθυστέρηση.

Αυτός ο διαχωρισμός έχει σημασία για όποιον χτίζει το επίπεδο με το οποίο έρχονται πραγματικά σε επαφή οι χρήστες. Η οικονομία της εκπαίδευσης και η οικονομία της εξυπηρέτησης πάντα τραβούσαν το hardware σε αντίθετες κατευθύνσεις· η Google τώρα κάνει αυτή την ένταση ρητή σε επίπεδο silicon, αντί να ζητά από ένα μόνο chip να συμβιβάζεται ανάμεσα στα δύο.

Γιατί το 8i διαβάζεται σαν ένας προϋπολογισμός καθυστέρησης

Η Google πλαισιώνει την εποχή των agents με όρους που ουσιαστικά αφορούν την ανταπόκριση:

Σε αυτή την εποχή των agents ΤΝ, τα μοντέλα πρέπει να σκέφτονται μέσα από προβλήματα, να εκτελούν πολυβηματικές ροές εργασίας και να μαθαίνουν από τις δικές τους ενέργειες σε συνεχείς βρόχους.Montana Labs

Σε αυτούς τους συνεχείς βρόχους είναι που η καθυστέρηση συσσωρεύεται. Η Google είναι ρητή ότι «οι αλληλεπιδράσεις μεταξύ agents σε κλίμακα μεγεθύνουν και τις πιο μικρές αναποτελεσματικότητες» — ένα σμήνος εξειδικευμένων agents σημαίνει πολλά round trips, και κάθε χιλιοστό του δευτερολέπτου πολλαπλασιάζεται. Ο σχεδιασμός του 8i στοχεύει ακριβώς σε αυτό: συνδυάζει 288 GB μνήμης υψηλού εύρους ζώνης με 384 MB on-chip SRAM (3 φορές περισσότερο από την προηγούμενη γενιά) για να διατηρεί το working set ενός μοντέλου εντός του chip, και προσθέτει μια νέα on-chip Collectives Acceleration Engine που, σύμφωνα με τη Google, μειώνει την on-chip καθυστέρηση έως και 5 φορές.

Η Google αποκαλεί τον στόχο εξάλειψη ενός φαινομένου «αίθουσας αναμονής» — επεξεργαστές που παραμένουν αδρανείς όσο τα δεδομένα μετακινούνται. Για τους μηχανικούς frontend, αυτός ο νεκρός χρόνος είναι ακριβώς αυτό που εμφανίζεται ως ένας κύκλος φόρτωσης. Το φυλλάδιο προδιαγραφών του chip είναι, ουσιαστικά, μια απάντηση σε επίπεδο hardware στην καθυστέρηση που διαμορφώνει την εμπειρία χρήστη των agents.

Το KV cache ενσωματωμένο στο μέγεθος του hardware

Η πιο αποκαλυπτική λεπτομέρεια είναι ο ισχυρισμός συν-σχεδιασμού της Google: η χωρητικότητα SRAM του 8i «διαστασιολογήθηκε για το αποτύπωμα KV cache των μοντέλων συλλογιστικής σε κλίμακα παραγωγής». Πρόκειται για μια ομάδα hardware που σχεδιάζει γύρω από μια δομή δεδομένων χρόνου εξυπηρέτησης η οποία καθορίζει πόσο συνομιλιακό και συλλογιστικό context μπορεί να κρατήσει ένα μοντέλο χωρίς να καταφύγει σε πιο αργή μνήμη.

Η Google αναφέρει επίσης υποστήριξη frameworks που ονομάζει ρητά το serving stack: εγγενή JAX, MaxText, PyTorch και, αξιοσημείωτα, SGLang και vLLM, τις μηχανές εξαγωγής συμπερασμάτων που ήδη τρέχουν οι ομάδες. Προσφέρεται πρόσβαση bare-metal για να παρακάμπτεται το overhead της εικονικοποίησης. Το κοινό νήμα είναι ότι η Google βελτιστοποιεί για το συγκεκριμένο μονοπάτι ανάμεσα σε ένα μοντέλο και ένα ζωντανό αίτημα, όχι απλά για ακατέργαστη διεκπεραιωτική ισχύ.

Ο οικονομικός ισχυρισμός που συνοδεύει την ανακοίνωση είναι 80% καλύτερη απόδοση ανά δολάριο σε σχέση με την προηγούμενη γενιά, κάτι που η Google μεταφράζει ως εξυπηρέτηση σχεδόν διπλάσιου όγκου πελατών με το ίδιο κόστος. Για μια εταιρεία που τρέχει agents που έρχονται σε επαφή με τον χρήστη, αυτή η αναλογία είναι η διαφορά ανάμεσα σε ένα χαρακτηριστικό που βγάζει οικονομικά νόημα και σε ένα που δεν βγάζει.

Τι σηματοδοτεί αυτό για τις ομάδες που κατασκευάζουν agentic frontends

Και τα δύο chips αναμένεται να γίνουν γενικά διαθέσιμα αργότερα μέσα στη χρονιά μέσω του AI Hypercomputer της Google, οπότε τίποτα από αυτά δεν είναι ακόμη διαθέσιμο για υλοποίηση. Ωστόσο, η ανακοίνωση σηματοδοτεί προς τα πού κατευθύνεται το κατώφλι καθυστέρησης για φιλοξενούμενους agents, και αξίζει να διαβαστεί πριν δεσμευτείτε σε μια αρχιτεκτονική.

Εάν η εμπειρία χρήστη του agent σας εξαρτάται από ταχείς πολυβηματικούς βρόχους, οι σχεδιαστικές επιλογές του 8i — working sets εντός του chip, μια μηχανή collectives εστιασμένη στην καθυστέρηση, διπλάσιο εύρος ζώνης interconnect για μοντέλα Mixture-of-Experts — περιγράφουν τους περιορισμούς υπό τους οποίους η Google αναμένει να λειτουργούν αυτοί οι βρόχοι. Το πρακτικό συμπέρασμα για τις ομάδες frontend και εφαρμοσμένης μηχανικής είναι ότι η καθυστέρηση που μπορείτε να υποσχεθείτε στους χρήστες θα καθορίζεται όλο και περισσότερο από αποφάσεις hardware σε επίπεδο εξαγωγής συμπερασμάτων που λαμβάνονται κάτω από το δικό σας stack, και οι στόχοι σχεδιασμού που δημοσίευσε εδώ η Google είναι μια πρόγευση του τι θα σημαίνει «αρκετά ταχύ» όταν εξυπηρετούνται αυτοί οι φόρτοι εργασίας σε κλίμακα.