Google divide la sua linea di TPU in chip per il training e chip per l'inferenza pensati per i workload agentici

Due chip, due compiti

L'annuncio di Google presenta due chip TPU distinti con ruoli chiaramente separati. L'8t viene descritto come ottimizzato per il training, capace di far girare "anche i modelli più complessi su un unico, enorme pool di memoria". L'8i punta invece all'altro estremo del ciclo di vita: aiutare gli agenti IA a "completare i task molto rapidamente, garantendo una buona esperienza utente".

Questa divisione è il cuore della notizia. Invece di un singolo acceleratore general-purpose semplicemente scalato, Google sta lanciando una componente per il training e una per l'inferenza, progettate secondo vincoli diversi. La caratteristica principale dell'8t è la memoria — un pool unificato abbastanza grande da contenere modelli di grandi dimensioni senza dover essere partizionato. La caratteristica principale dell'8i è la velocità al momento dell'esecuzione.

Perché l'approccio incentrato sugli agenti cambia l'obiettivo

Google motiva l'8i esplicitamente sul comportamento degli agenti. Il testo descrive agenti che "ragionano, pianificano ed eseguono workflow multi-step", posizionando l'8i per eseguire questi passaggi abbastanza velocemente da risultare reattivi.

Questo è importante perché un agente multi-step non è una singola chiamata di inferenza — sono tante chiamate concatenate, dove la latenza di ogni passaggio si accumula su quella del precedente. Un workload costruito da decine di chiamate sequenziali al modello è molto più sensibile alla velocità per singola chiamata rispetto a una singola risposta di un chatbot. Progettare un chip specificamente per questo schema è una scommessa sul fatto che l'esecuzione degli agenti, e non la generazione one-shot, sia il workload di volume su cui pianificare.

Il chip è solo un livello di uno stack più ampio

Google fa attenzione a non presentare il silicio come un elemento isolato. L'annuncio collega le due TPU a "un'infrastruttura full-stack progettata su misura — dal networking ai data center fino alle operazioni energeticamente efficienti".

Insieme alla nostra infrastruttura full-stack progettata su misura — dal networking ai data center fino alle operazioni energeticamente efficienti — creano il motore di base che ci permetterà di portare l'IA agentica altamente reattiva alle masse.Montana Labs

La frase "alle masse" è la dichiarazione di scala. L'esecuzione rapida degli agenti a volumi da consumatore è tanto un problema di data center e networking quanto un problema di chip, e l'annuncio inquadra le TPU come il motore all'interno di questo sistema più ampio, non come un prodotto a sé stante.

Cosa segnala la divisione training/inferenza ai team che costruiscono agenti

L'annuncio è avaro di numeri — non vengono forniti benchmark, velocità di clock o capacità di memoria, quindi qualsiasi confronto sulle prestazioni sarebbe pura speculazione. Ciò che è concreto è la decisione architetturale: Google ora tratta l'inferenza degli agenti come un workload che merita silicio dedicato, separato dal training.

Per i team che progettano sistemi agentici, questo rafforza una realtà di pianificazione su cui ora si basa la roadmap hardware: il costo e la latenza di un agente in produzione sono governati dai passaggi di inferenza concatenati, non da una singola chiamata al modello. Il fatto che Google costruisca l'8i esattamente per questo scenario è un segnale utile su dove si concentreranno il carico costante — e la spesa costante — una volta che gli agenti opereranno su larga scala.