De moeilijk verkrijgbare Nvidia H100-GPU’s kosten vandaag al meer dan 40.000 dollar voor wie er online één op de kop probeert te tikken.
De Nvidia Hopper H100 is de krachtigste AI-GPU van dit moment, maar de kaart is erg moeilijk te krijgen. Daarvan getuigen de exuberante prijzen op de tweedehandsmarkt. Op eBay vind je de PCIe-versie van de GPU nauwelijks nog onder de 40.000 dollar. Voorganger Nvidia A100 kon je al kopen voor minder dan 15.000 dollar en zelfs dat was al met een flinke marge inbegrepen.
De GPU is los met andere woorden quasi onbetaalbaar. Dat komt bijlange niet door de hoge prestaties van de chip, wel door de beperkte beschikbaarheid. Nvidia kan de H100-GPU’s niet snel genoeg van de band laten rollen. Met de hype rond AI wil iedereen zijn generatieve AI-modellen trainen, en daar zijn GPU’s voor nodig.
Tienduizenden GPU’s
Microsoft liet eerder al weten dat OpenAI zijn GPT-modellen traint op een HPC-cluster in Azure met tienduizenden GPU’s. Pas bleek nog dat ook Elon Musk opnieuw in de AI-wereld wil stappen. Daartoe richtte hij een nieuw bedrijf op en kocht hij de nodige hardware: opnieuw zo’n 10.000 GPU’s.
De schaal waarop de hardware nodig is om AI-onderzoek te verrichten, is ongezien. Nvidia kan z’n best doen, maar het is op dit moment gewoon niet mogelijk om voldoende hardware aan een scherpe prijs in de rekken te leggen voor iedereen. Dat verklaart waarom een kleine PCIe-kaart vandaag meer kost dan een wagen. Gelukkig zijn de problemen op dit moment beperkt tot de H100-kaart. Klassiekere GPU’s zijn wel nog normaal beschikbaar.