De populariteit van ChatGPT en consorten gaat de vraag naar GPU’s aanzwengelen. De kans is groot dat de vraag daardoor het aanbod van GPU’s zal overstijgen.
ChatGPT en concurrerende modellen vertrouwen sterk op GPU’s voor hun training, net als andere AI-systemen trouwens. De populariteit van ChatGPT dreigt de vraag naar GPU’s wel naar een hoger niveau te tillen. Het momenteel beschikbare ChatGPT van OpenAI is bijvoorbeeld getraind op zo’n 10.000 GPU’s. De volgende versie zou getraind worden door ongeveer 25.000 GPU’s.
Ook de inferentie kost rekenkracht. Momenteel kan de gratis versie van ChatGPT de vraag niet echt aan, waardoor OpenAI een betaalde Plus-versie lanceerde met prioriteitstoegang.
AI in dagelijkse diensten
Google, Microsoft en anderen willen capaciteiten zoals die van ChatGPT nu integreren in populaire diensten zoals zoekmachines. Als Google effectief dergelijke intelligentie wil koppelen aan iedere zoekopdracht op zijn zoekmachine, zou het daar meer dan vier miljoen Nvdia A100-GPU’s voor nodig hebben, goed voor een investering ter waarde van 100 miljard dollar.
Dat gaat natuurlijk niet meteen gebeuren, maar het toont wel aan hoeveel GPU-kracht er nodig is om de capaciteiten van AI effectief naar een grote markt te brengen. Nvidia en AMD hebben momenteel niet de capaciteit om op die schaal chips uit te rollen. Dat belooft al op redelijk korte termijn een impact te hebben op de beschikbaarheid van GPU’s.