Net als onder andere Microsoft en Meta heeft IBM een AI-supercomputer die draait op een cloudfundering. Het ding bestaat al bijna een jaar.
Nvidia bouwt met onder andere Meta en Microsoft aan krachtige systemen gericht op AI-workloads en gebouwd op een cloudfundering. Die ‘AI-supercomputers’ houden er een eigen architectuur op na, maar zijn in feite HPC-systemen. Nu blijkt dat IBM er ook zo ééntje heeft, en dat al sinds mei vorig jaar. De computerreus verklapt het echter nu pas.
IBM’s supercomputer heet Vela. Het cloud native-systeem is geoptimaliseerd voor AI-workloads en draait op krachtige nodes gebouwd rond telkens twee Xeon Scalable processors van de tweede generatie, 1,5 TB RAM, 3,2 TB NVMe-opslag en 80 Nvidia A100-GPU’s verbonden via NVLink.
Geen Power
Het valt op dat IBM voor Intel Xeon koos, en niet voor de eigen Power 10-chips die zogezegd geoptimaliseerd zijn voor AI-inferentie en andere geheugengebaseerde workloads. De reden daarvoor is niet meteen duidelijk, al zijn de chips van Intel vermoedelijk handiger om snel te integreren met de GPU’s van Nvidia en een HPC-architectuur. IBM mikte met Vela immers voor een stuk op gebruiksgemak.
De Vela-nodes zijn beschikbaar als virtuele machines zodat IBM flexibe AI-clusters kan opzetten op maat van verschillende workloads. De virtualisatie-overhead zou beperkt blijven tot vijf procent. IBM gaat in een blogpost in meer detail over de opbouw van Vela.
AI maakt krachtige computers aangedreven door GPU’s belangrijke assets voor iedere onderneming. AI modellen kunnen trainen, testen en gebruiken is een cruciale capaciteit die in de nabije toekomst niet voor iedereen beschikbaar zal zijn. De nodige hardware om bijvoorbeeld iedereen plots ChatGPT te laten gebruiken voor tal van dagelijkse taken, is op dit moment simpelweg niet beschikbaar.