Google onthult tijdens zijn I/0-conferentie zijn nieuwe optie voor organisaties die een AI-supercomputer op maat willen, in de cloud. De A3-supercomputer is opgebouwd uit nieuwe virtuele machines, voorzien van Nvidia’s krachtigste GPU’s.
Wil je meer AI? Dan heb je meer rekenkracht nodig. Dat beseft ook Google, dat tijdens zijn I/O-conferentie de A3-supercomputers voorstelt. Dat zijn HPC-clusters die in het Google Cloud Platform draaien en worden samengesteld uit krachtige bouwstenen: de A3-instances.
Google gebruikt daarvoor een architectuur die doet denken aan de blauwdruk die concurrent Microsoft gebruikte voor zijn Azure-supercomputer. Microsoft koppelde daarvoor tienduizenden Nvidia-GPU’s aan elkaar via een nieuw ontwikkeld interconnect-systeem. Ook Google maakt gebruik van een nieuw systeem om GPU’s aan elkaar te koppelen. Dat is gebaseerd op een splinternieuwe Infrastructure Processing Unit (IPU). Daarmee praten GPU’s met elkaar aan 200 Gbps zonder dat de CPU belast wordt.
Specificaties
De nieuwe A3-instances bevatten verder Intel Xeon Scalable-processors van de vierde generatie, gekoppeld met acht Hopper H100-GPU’s van Nvidia. NVSwitch en NVLink 4.0 tekenen eveneens present. Iedere host krijgt tot slot nog 2 TB DDR5-geheugen.
Google biedt een end-to-end oplossing met de A3-instances, gecombineerd met Vertex AI. Het is natuurlijk ook mogelijk om je eigen software stack mee te brengen, of met Kubernetes te werken. De A3-supercomputer-instances zijn geschikt om nieuwe (generatieve) AI-modellen te trainen, maar ook voor inferentie.
Goed voor Nvidia
HPC-instances worden stilaan een must voor cloudproviders. Dat is heel goed nieuws voor Nvidia, dat voorlopig van een quasi-monopolie geniet wanneer het op krachtige AI-accelerators aan komt. De Nvidia H100 kent immers geen gelijke en is zo de logische keuze voor iedere cloudprovider die een AI-supercomputer wil bouwen. De productiebanden draaien daarom op volle toeren en de kassa rinkelt bij Jensen Huang. Per verkochte H100-GPU maakt Nvidia tienduizenden euro’s winst.
Google kondigt tijdens de Cloud Next-conferentie aan dat de A3-supercomputers vanaf volgende maand algemeen beschikbaar zijn.
Dit artikel verscheen oorspronkelijk op 11 mei. De tekst kreeg een update met de recentste informatie.