Op de Cloud Next-conferentie doet Google zijn nieuwe AI-infrastructuurproducten uit de doeken, waaronder de 8t & 8i TPU’s.
Google kondigt op Cloud Next een reeks nieuwe AI-infrastructuurproducten aan, waaronder de achtste generatie TPU’s. Met twee gespecialiseerde chips, nieuwe GPU-instanties en verbeterde opslagoplossingen wil het bedrijf klanten klaarstomen voor het tijdperk van AI-agenten.
Google presenteerde de uitbreiding van zijn AI Hypercomputer-platform, dat dezelfde basis vormt als de eigen Gemini-modellen. De aankondigingen omvatten nieuwe chips, netwerktechnologie en orkestratietools die specifiek zijn ontworpen voor complexe agentic AI-workloads.
Twee nieuwe TPU-chips voor training en inferentie
Voor het eerst brengt Google twee afzonderlijke chips uit binnen één TPU-generatie. De TPU 8t is gericht op training en levert bijna drie keer meer rekenkracht dan de vorige generatie. In één superpod pakt het bedrijf 9.600 chips samen, goed voor 121 exaflops aan rekenkracht en twee petabytes gedeeld geheugen.
De TPU 8i richt zich op inferentie en reinforcement learning. Door het on-chip SRAM te verdrievoudigen naar 384 MB en het geheugen te verhogen naar 288 GB, vermindert de chip latentie met tot vijf keer. Volgens Google levert de TPU 8i tachtig procent betere prijs-prestatieverhouding voor inferentie dan de vorige generatie.
Nvidia, opslag en orkestratie
Naast de eigen chips kondigt Google ook A5X-instanties aan, aangedreven door het Nvidia Vera Rubin NVL72-platform. Via het Virgo Network kan Google tot 134.000 TPU’s in één datacenter verbinden, en meer dan één miljoen TPU’s over meerdere locaties.
Voor opslag introduceert Google Cloud Managed Lustre met tien terabyte per seconde bandbreedte, een vertienvoudiging ten opzichte van vorig jaar. Google Kubernetes Engine krijgt daarnaast verbeteringen waardoor nodes tot vier keer sneller opstarten en modellen vijf keer sneller laden.
Vooruitblik
De TPU 8t en TPU 8i worden binnenkort beschikbaar voor cloudklanten. Google positioneert de volledige AI Hypercomputer-stack als fundament voor zijn Gemini Enterprise-diensten en het Gemini Enterprise Agent Platform.