Voor de training van Llama 4 gebruikt Meta een cluster van leer dan 100.000 Nvidia H100-GPU’s; vermoedelijk een record.
Meta-CEO Mark Zuckerberg laat weten dat het Llama 4 Large Language Model getraind wordt op een cluster met meer dan 100.000 Nvidia H100-GPU’s. Dat cluster is meteen het grootste ter wereld, waarover tenminste publiek gesproken wordt. Training van LLM’s kost veel rekenkracht en de grootste modellen krijgen over periodes van maanden vorm op AI-supercomputers. Die AI-clusters zijn uitgerust met krachtige AI-accelerators op maat van de trainingsworkloads. De Nvidia H100 is de krachtigste op schaal beschikbare chip van zijn soort.
Groot, groter, grootst
Elon Musk zou voor xAI ook al een cluster bouwen (of gebouwd hebben) met een gelijkaardige hoeveelheid Nvidia H100-chips. Het is de ambitie om dat cluster op termijn verder uit te breiden, maar voorlopig lijkt het record op ongeveer 100.000 chips te staan.
Hoeveel een datacenter met zoveel accelerators verbruikt op jaarbasis, is moeilijk te schatten. Reken op het equivalent van een stad. Llama 4 zal één van de krachtigste AI-modellen in zijn soort worden, en moet verstandig kunnen redeneren. Of die capaciteiten de steeds grotere impact op de wereldwijde stroomvoorziening waard zijn, zal de toekomst uitwijzen. Hoe het cluster van Meta van stroom wordt voorzien, is onduidelijk.
Kernenergie
Verschillende dataspecialisten waaronder Oracle, AWS en Microsoft kijken naar kernenergie om de stroomhonger van AI te stillen. Daarbij denken de technologiereuzen niet alleen aan afname van bestaande reactoren, maar ook investeringen in eigen kleine modulaire reactoren om de datacenters van morgen aan te drijven.