A TPU 8i da Google leva a latência de inferência para o silício em interfaces orientadas por agentes

Dividir o chip pela linha entre treino e inferência

A oitava geração de TPUs da Google chega não como uma peça única, mas como duas: a TPU 8t, destinada ao treino de modelos de grande escala, e a TPU 8i, destinada à inferência. A Google afirma que ambos os chips conseguem executar várias cargas de trabalho, mas é essa especialização que gera os ganhos.

A empresa descreve ter previsto esta divisão há vários anos — apostando que, à medida que os modelos de fronteira avançassem para produção, a procura de inferência justificaria um chip dedicado. Os dois chips têm equilíbrios de recursos diferentes: a 8t privilegia o throughput de computação e a largura de banda de scale-up, enquanto a 8i privilegia a largura de banda de memória para serviços sensíveis à latência.

Essa divisão é relevante para quem constrói a camada com que os utilizadores realmente interagem. A economia do treino e a economia do serviço sempre puxaram o hardware em direções opostas; a Google está agora a tornar essa tensão explícita a nível do silício, em vez de pedir a um único chip que faça o compromisso entre ambas.

Porque é que a 8i parece um orçamento de latência

A Google enquadra a era agentiva em termos que são, no fundo, sobre capacidade de resposta:

Nesta era de agentes de AI, os modelos têm de raciocinar sobre problemas, executar fluxos de trabalho em múltiplas etapas e aprender a partir das suas próprias ações em ciclos contínuos.Montana Labs

É nesses ciclos contínuos que a latência se acumula. A Google é explícita ao afirmar que "as interações entre agentes à escala amplificam até as ineficiências mais pequenas" — um enxame de agentes especializados implica muitas idas e voltas, e cada milissegundo é multiplicado. O design da 8i visa isso diretamente: combina 288 GB de memória de alta largura de banda com 384 MB de SRAM integrada (3x mais do que a geração anterior) para manter o conjunto de trabalho de um modelo dentro do chip, e adiciona um novo Collectives Acceleration Engine integrado que, segundo a Google, reduz a latência interna até 5x.

A Google chama ao objetivo a eliminação de um efeito de "sala de espera" — processadores parados enquanto os dados se movem. Para engenheiros de frontend, esse tempo de espera é exatamente o que aparece como um spinner. A ficha técnica do chip é, na prática, uma resposta a nível de hardware à latência que define a experiência do utilizador com agentes.

Cache KV dimensionada no hardware

O detalhe mais revelador é a afirmação de co-design da Google: a capacidade de SRAM da 8i foi "dimensionada para o volume de cache KV de modelos de raciocínio à escala de produção". Trata-se de uma equipa de hardware a projetar em torno de uma estrutura de dados do momento do serviço, que determina quanto contexto conversacional e de raciocínio um modelo pode manter sem recorrer a memória mais lenta.

A Google enumera também o suporte de frameworks que nomeia diretamente a stack de serviço — JAX nativo, MaxText, PyTorch e, de forma notável, SGLang e vLLM, os motores de inferência que as equipas já utilizam. É oferecido acesso bare-metal para evitar a sobrecarga de virtualização. O fio condutor é que a Google está a otimizar para o percurso específico entre um modelo e um pedido em tempo real, e não apenas para o throughput bruto.

A afirmação económica associada é uma melhoria de 80% no desempenho por dólar em relação à geração anterior, o que a Google traduz como servir quase o dobro do volume de clientes pelo mesmo custo. Para uma empresa que opera agentes orientados para o utilizador, essa proporção é a diferença entre uma funcionalidade que se sustenta financeiramente e uma que não se sustenta.

O que isto define para equipas que constroem interfaces agentivas

Ambos os chips estão previstos para disponibilidade geral ainda este ano através do AI Hypercomputer da Google, por isso nada disto é utilizável hoje. Mas o anúncio sinaliza para onde se dirige o limite de latência dos agentes hospedados, e vale a pena tê-lo em conta antes de comprometer uma arquitetura.

Se a experiência do utilizador com o seu agente depende de ciclos rápidos em múltiplas etapas, as opções de design da 8i — conjuntos de trabalho integrados no chip, um motor de collectives focado em latência, largura de banda de interligação duplicada para modelos Mixture-of-Experts — descrevem as condições sob as quais a Google espera que esses ciclos funcionem. A conclusão prática para equipas de frontend e de engenharia aplicada é que a latência que se pode prometer aos utilizadores será cada vez mais definida por decisões de hardware ao nível da inferência, tomadas abaixo da vossa stack, e os objetivos de design que a Google publicou aqui são uma antevisão do que "suficientemente rápido" vai significar ao servir estas cargas de trabalho em grande escala.