Το Ironwood TPU της Google επαναπροσδιορίζει το επίπεδο εξυπηρέτησης ως κέντρο σχεδιασμού

Ένας TPU που ανακοινώνεται από την πλευρά της εξυπηρέτησης, όχι της εκπαίδευσης

Για μια δεκαετία η Google παρουσίαζε τα TPU της κυρίως γύρω από το training. Το Ironwood περιγράφεται διαφορετικά: είναι, με τα ίδια τα λόγια της Google, «το πρώτο σχεδιασμένο ειδικά για inference». Αυτό το πλαίσιο είναι ο τίτλος, όχι ο αριθμός των flops.

Είναι μια μετάβαση από μοντέλα ΤΝ που ανταποκρίνονται παρέχοντας πληροφορίες σε πραγματικό χρόνο για να τις ερμηνεύσουν οι άνθρωποι, σε μοντέλα που παράγουν προδραστικά insights και ερμηνείες. Αυτό είναι που αποκαλούμε «εποχή του inference», όπου οι agents ΤΝ θα ανακτούν και θα παράγουν δεδομένα με προδραστικό τρόπο.Montana Labs

Η πρακτική ανάγνωση για όποιον χτίζει το επίπεδο που αγγίζουν πραγματικά οι χρήστες: η Google αντιμετωπίζει το επαναλαμβανόμενο κόστος εξυπηρέτησης αιτημάτων — κάθε ερώτημα, κάθε βήμα agent, κάθε ανάκτηση — ως το φορτίο εργασίας γύρω από το οποίο αξίζει να σχεδιαστεί το υλικό. Το training είναι ένα εφάπαξ κεφαλαιουχικό γεγονός· το inference είναι το λειτουργικό κόστος που κλιμακώνεται μαζί με τη χρήση του προϊόντος.

Πού «προσγειώνονται» τα 192 GB ανά chip σε ένα προϊόν

Το χαρακτηριστικό που τονίζει η Google για την εξυπηρέτηση είναι η μνήμη, όχι η ωμή υπολογιστική ισχύς. Το Ironwood προσφέρει 192 GB HBM ανά chip — έξι φορές περισσότερο από το Trillium — και εύρος ζώνης 7,37 TB/δευτερόλεπτο, 4,5 φορές μεγαλύτερο από τον προκάτοχό του. Η Google το συνδέει άμεσα με «την επεξεργασία μεγαλύτερων μοντέλων και συνόλων δεδομένων, μειώνοντας την ανάγκη για συχνές μεταφορές δεδομένων».

Αυτό έχει σημασία σε επίπεδο αιτήματος, γιατί η καθυστέρηση inference για μεγάλα μοντέλα καθορίζεται συχνά από τη μετακίνηση βαρών και key-value caches, όχι από την αριθμητική. Περισσότερη μνήμη εντός chip και υψηλότερο εύρος ζώνης είναι αυτό που εμποδίζει ένα αίτημα με μεγάλο context ή reasoning να «κολλήσει» στη μετακίνηση δεδομένων — το πρόβλημα που μια ομάδα προϊόντος βιώνει ως αργά πρώτα tokens και ασταθή streaming.

Η Google αναφέρει επίσης ότι το Ironwood είναι «σχεδιασμένο να ελαχιστοποιεί τη μετακίνηση δεδομένων και την καθυστέρηση εντός του chip κατά την εκτέλεση τεράστιων χειρισμών tensor». Η έμφαση στην καθυστέρηση, και εδώ, είναι ζήτημα εξυπηρέτησης και όχι ζήτημα throughput κατά το training.

Το SparseCore λέει ότι αυτό αφορά την κατάταξη, όχι μόνο το chat

Το Ironwood διαθέτει ένα βελτιωμένο SparseCore, το οποίο η Google περιγράφει ως «έναν εξειδικευμένο επιταχυντή για την επεξεργασία εξαιρετικά μεγάλων embeddings, κοινών σε προηγμένα φορτία εργασίας κατάταξης και προτάσεων». Η εταιρεία προσθέτει ότι η διευρυμένη υποστήριξη επεκτείνεται «πέρα από τον παραδοσιακό τομέα της ΤΝ, σε χρηματοοικονομικούς και επιστημονικούς τομείς».

Αυτό είναι ένα σήμα για το τι σημαίνει «inference» για την Google σε αυτό το πλαίσιο. Δεν είναι μόνο το generative chat πίσω από ένα πλαίσιο κειμένου· είναι ο μηχανισμός προτάσεων και κατάταξης με βαρύ φορτίο embeddings που βρίσκεται ήδη πίσω από προϊόντα κλίμακας Search και Gmail. Το ίδιο chip στοχεύει τόσο στην απάντηση του LLM όσο και στην ανάκτηση που την τροφοδοτεί — αυτό είναι το σχήμα του agentic pipeline που περιγράφει η Google.

Δύο μεγέθη pod και το Pathways καθορίζουν την πραγματική επιλογή για τις ομάδες

Η Google προσφέρει το Ironwood σε διαμόρφωση 256 chip και σε διαμόρφωση 9.216 chip, με την τελευταία να φτάνει τα 42,5 Exaflops. Ο διαχωρισμός σε δύο μεγέθη είναι η συγκεκριμένη απόφαση που αντιμετωπίζει ένας πελάτης Cloud: ένα μικρότερο pod για περιορισμένη εξυπηρέτηση, ή ένα πλήρες pod για training αιχμής και εξυπηρέτηση πυκνών μοντέλων LLM και MoE.

Πάνω από ένα μόνο pod, η Google παραπέμπει στο Pathways, το runtime που έχει κατασκευάσει το DeepMind, για να «συνθέσει» εκατοντάδες χιλιάδες chips. Η ιστορία της κατανεμημένης υπολογιστικής παρουσιάζεται ως μια αφαίρεση λογισμικού πάνω από το υλικό, μέρος της ευρύτερης αρχιτεκτονικής AI Hypercomputer.

Το δηλωμένο κέρδος απόδοσης — 2 φορές μεγαλύτερη απόδοση ανά watt σε σχέση με το Trillium, και «σχεδόν 30 φορές» σε σχέση με το Cloud TPU του 2018 — παρουσιάζεται σε σχέση με έναν συγκεκριμένο περιορισμό που η Google αναφέρει ευθέως: «η διαθέσιμη ισχύς είναι ένας από τους περιορισμούς για την παροχή δυνατοτήτων ΤΝ». Ένα pod που φτάνει σχεδόν τα 10 MW κάνει αυτόν τον περιορισμό απτό.

Η συνέπεια: η οικονομία του inference, όχι το μέγεθος του μοντέλου, γίνεται ο περιορισμός στο frontend

Η τοποθέτηση του Ironwood δείχνει στις ομάδες εφαρμογών πού μετακινείται η πίεση. Αν η Google χτίζει τον πιο ισχυρό επιταχυντή της γύρω από το inference, το εύρος ζώνης μνήμης και την απόδοση ανά watt, τότε ο περιοριστικός παράγοντας για την κυκλοφορία λειτουργιών ΤΝ γίνεται όλο και περισσότερο το κόστος και η καθυστέρηση της εξυπηρέτησης αιτημάτων σε κλίμακα — όχι το αν υπάρχει ένα μεγαλύτερο μοντέλο.

Το Ironwood δεν είναι ακόμα διαθέσιμο· η Google αναφέρει ότι θα κυκλοφορήσει «αργότερα μέσα στο έτος», και σημειώνει ότι τα Gemini 2.5 και AlphaFold ήδη λειτουργούν σε TPU σήμερα. Το πρακτικό συμπέρασμα είναι να αντιμετωπίζεται ο προϋπολογισμός εξυπηρέτησης — tokens, embeddings, βήματα agent ανά ενέργεια χρήστη — ως μεταβλητή σχεδιασμού πρώτης τάξης, καθώς ο οδικός χάρτης του υλικού πλέον χαράζεται ακριβώς γύρω από αυτόν τον αριθμό.