Google gaat in meer detail over de vierde editie van zijn Tensor Processing Unit. Vooral Nvidia is kop van jut.
Google is trots op de vierde generatie van zijn Tensor Processing Unit (TPU). De TPU v4 werd in 2021 al aangekondigd en verscheen uiteindelijk eind 2022 in het wild. De AI-accelerator zal vooral dienst doen in machine learning-clusters in de cloud van Google. De chip ligt dus niet zomaar in de rekken, wat Google de mogelijkheid geeft om van tijd tot tijd uit te pakken met details over de architectuur. Deze week gaat het om een paper van Cornell University, waarin Google claimt dat de TPU v4 minstens 1,2 keer sneller en 1,3 keer efficiënter is dan de Nvidia A100.
Dat laat Nvidia-oprichter en CEO Jensen Huang zich niet zomaar zeggen. In een blogpost wijst Nvidia erop dat de A100 intussen al drie jaar oud is. De meer recente Nvidia H100 zou vier keer krachtiger zijn dan de A100. Dat klopt, maar daarbij verliest Nvidia uit het oog dat Google de TPU v4 ook al sinds 2020 in de eigen systemen integreert. Beide accelerators zijn op dezelfde 7 nm-technologie gebaseerd.
Correcte vergelijking?
Vergelijken met de Nvidia H100 was tijdens het onderzoek in 2022 niet mogelijk klinkt het, aangezien de chip wel was aangekondigd maar nergens effectief beschikbaar was. De eerste concrete H100-systemen zijn pas aan het einde van dat jaar verschenen.
Intussen zit de Nvidia H100 wel netjes geïntegreerd in beschikbare cloudsystemen. Dat maakt dat Google en Nvidia gelijk hebben. Tijdens de uitvoering van de studie heeft Google inderdaad een relevante vergelijking gemaakt en komt de TPU v4 goed uit de tests. Jammer genoeg voor het bedrijf heeft de publicatie van het onderzoek tot april op zich laten wachten en is de Nvidia H100 vandaag wel inzetbaar. Pasen staat om de hoek, maar de paper leest toch als vijgen erna.
Wie geen betrokken partij is, moet vooral onthouden dat zowel Google als Nvidia goede AI-accelerators bouwen en dat geen van beide tevreden is met een zilvere medaille.