Google lanceert de nieuwste versie van zijn Tensor Processing Unit en laat meteen zien wat die kan doen met de introductie van een 9 exaflops AI-cluster.
Google lanceert zijn TPU v4. Dat is de opvolger van de TPU v3, die intussen al verschillende jaren meedraait. De nieuwe Tensor Processing Unit is geoptimaliseerd voor AI-workloads en zou meer dan dubbel zo snel zijn als zijn voorganger. Google kondigde de chip vorig jaar een en heeft de TPU v4 nu als preview gelanceerd, met algemene beschikbaarheid op de planning voor later dit jaar.
Stevige clusters
De chips zullen dienst doen in cloudgebaseerde machine learning-clusters van Google. Hoe zo’n cluster er kan uitzien, demonstreert Google meteen ook. De clusters worden opgebouwd uit TPU v4-Pods. Een enkele pod bevat 4.096 chips. Dat is vier keer meer dan mogelijk met de TPU v3. Een enkele pod kan meer dan één exaflops aan bfloat16-prestaties leveren. Verschillende pods vormen samen clusters van variabele capaciteit.
In zijn datacenter in Oklahoma heeft Google al vier TPU v4-pods gecombineerd tot een cluster met 32.768 chips, goed voor ongeveer 9 exaflops aan bfloat16-prestaties. Let wel: die prestaties zijn niet rechtstreeks vergelijkbaar met de cijfers die je van een traditionele supercomputer gaat, aangezien de TPU-machines voor zeer specifieke workloads zijn geoptimaliseerd.
Klanten krijgen toegang tot clusters aan de hand vaan zogenaamde slices. Dat zijn TPU-VM’s die draaien op vier tot duizenden TPU v4-chips. Het aanbod is beschikbaar ter evaluatie, preemptible en via diommitted use discount voor alle Google AI Cloud-gebruikers.