News · OpenAI, Oracle e SoftBank aggiungono cinque siti Stargate, portando la capacità pianificata verso i 7 gigawatt

Jul, 84 min di lettura
Frontend

OpenAI, Oracle e SoftBank aggiungono cinque siti Stargate, portando la capacità pianificata verso i 7 gigawatt

L'espansione del 23 settembre viene presentata come un mix di capacità di training e inferenza — ed è la parte relativa all'inferenza quella che arriva davvero ai team che sviluppano le applicazioni.

A cosa si impegna davvero l'annuncio del 23 settembre

OpenAI, Oracle e SoftBank hanno annunciato cinque nuovi siti data center negli Stati Uniti nell'ambito di Stargate. Insieme al campus di punta di Abilene, in Texas, e ai progetti in corso con CoreWeave, OpenAI dichiara che questo porta Stargate a quasi 7 gigawatt di capacità pianificata e oltre 400 miliardi di dollari di investimenti nei prossimi tre anni.

L'obiettivo dichiarato è assicurarsi l'intero impegno da 500 miliardi di dollari e 10 gigawatt annunciato per la prima volta a gennaio entro la fine del 2025 — descritto come in anticipo sui tempi. Un accordo di luglio tra OpenAI e Oracle per sviluppare fino a 4,5 gigawatt di capacità aggiuntiva viene citato come una partnership che supera i 300 miliardi di dollari in cinque anni.

I siti si dividono in due gruppi. Tre località collegate a Oracle — la contea di Shackelford, in Texas; la contea di Doña Ana, in New Mexico; e un sito nel Midwest poi confermato in Wisconsin (sviluppato da Oracle con Vantage) — più una possibile espansione da 600 megawatt vicino ad Abilene, possono arrivare a oltre 5,5 gigawatt. Due siti in partnership con SoftBank, a Lordstown, in Ohio, e nella contea di Milam, in Texas, possono scalare fino a 1,5 gigawatt nell'arco di 18 mesi.

La linea GB200 è quella che tocca le app in produzione

La maggior parte dell'annuncio riguarda energia, cifre e posti di lavoro — si prevedono oltre 25.000 posti di lavoro in loco tra tutti i siti. Ma una frase riguarda direttamente chi gestisce inferenza in produzione: Oracle ha iniziato a consegnare i primi rack NVIDIA GB200 ad Abilene a giugno, e OpenAI afferma di aver già avviato i primi carichi di training e inferenza su quella capacità.

Per i team frontend e applicativi, la capacità di training è invisibile: si manifesta mesi dopo sotto forma di un modello migliore. La capacità di inferenza, invece, no. È il vincolo dietro i rate limit, la latenza delle risposte e il fatto che una funzionalità resti disponibile durante un picco di traffico. L'annuncio collega esplicitamente i nuovi siti all'inferenza, non solo al training.

Questa distinzione conta perché l'infrastruttura fisica che si sta costruendo qui è ciò su cui si basa l'API da cui dipende un prodotto. Quando un sito Stargate attiva capacità di inferenza, l'effetto pratico a valle è più margine sugli endpoint che il codice dell'applicazione già utilizza.

'Costruzione rapida' ed efficienza dei costi come promessa infrastrutturale

I siti in partnership con SoftBank vengono descritti in termini operativi: Lordstown utilizza un 'design avanzato di data center' e dovrebbe essere operativo l'anno prossimo, mentre la contea di Milam è un sito a 'costruzione rapida' con infrastruttura energetica fornita da SB Energy. OpenAI presenta entrambi come passi verso una 'distribuzione più rapida, maggiore scalabilità e migliore efficienza dei costi, per rendere il calcolo ad alte prestazioni più accessibile.'

Per soddisfare questa domanda enorme, continuiamo ad espandere l'infrastruttura di OCI a un ritmo senza rivali, per offrire training e inferenza IA tra i più performanti e convenienti sul mercato.— Clay Magouyrk, CEO di OracleMontana Labs

'Inferenza conveniente' è la frase da tenere a mente. L'annuncio non fornisce prezzi per token, quindi oggi non cambia nulla nei budget. Ma l'intento dichiarato — inferenza più economica su scala più ampia — è il meccanismo attraverso cui gli annunci di capacità finiscono per incidere sull'economia dei prodotti.

Cosa devono monitorare i team frontend con l'attivazione dei siti

Niente di tutto questo è disponibile per un prodotto dal giorno dell'annuncio. Abilene funziona su OCI; gli altri cinque siti vanno da 'operativo l'anno prossimo' a 'in fase di valutazione'. Lo stesso processo di selezione — oltre 300 proposte da più di 30 stati, con altri siti ancora in arrivo — indica che si tratta di una costruzione pluriennale, non di un interruttore che si accende di colpo.

L'implicazione concreta per i team che costruiscono su OpenAI: la capacità di inferenza è in espansione e viene distribuita geograficamente, e i primi carichi di inferenza su GB200 sono già attivi. L'approccio utile è considerare il margine sui rate limit e la latenza come elementi destinati ad alleggerirsi nel corso della costruzione, progettando comunque per la realtà attuale, in cui i vincoli di oggi restano validi finché i singoli siti non segnalano l'inferenza online.

Find this story relevant to you?

Contact us to find a unique solution

Contact us

Cerchi un partner di ingegneria AI capace di costruire davvero?

Aiutiamo le aziende a integrare l AI nei prodotti, automatizzare i flussi di lavoro ad alto valore e modernizzare i sistemi software che sostengono la crescita.

Get in touch

Letture correlate

Altre analisi su delivery di prodotto, IA operativa e il lavoro sui sistemi che fa reggere il deployment alla prova dei fatti.

Jul, 134 min di lettura
Frontend

DNP ha messo ChatGPT Enterprise davanti a dieci dipartimenti e ha trattato la finestra di chat come interfaccia

Jul, 134 min di lettura
Frontend

AdventHealth distribuisce ChatGPT in nove stati trattando l'adozione come il vero prodotto

Jul, 134 min di lettura
Frontend

AP+ usa Codex per costruire prototipi di pagamento che si comportano come il sistema reale, non solo schermate cliccabili