De Gaudi 2-accelerator is efficiënter dan de Nvidia H100 in training van modellen, aldus Stabilize AI. Voor inferentie geniet Nvidia wel een voordeel.
Intel wil zich graag meten met Nvidia in de lucratieve wereld van accelerators. Stability AI stelt nu na eigen benchmarks vast dat de Gaudi 2-accelerator van het bedrijf heel competitief is vergeleken met de Nvidia H100.
Stability AI is het bedrijf achter Stable Diffusion. Het testte zowel de trainings- als inferentiecapaciteiten van verschillende chips in benchmarks op basis van zijn nieuwste Stable Diffusion 3-model. Dat zet tekst om naar beeld, naar analogie met Dall-E.
Training
Voor trainingsworkloads voorziet Stability AI een testopstelling met telkens twee nodes en zestien accelerators. Configuraties met Intel Gaudi 2, Nvidia H100 en Nvidia A100 moeten dezelfde werklast slikken. Het resultaat is ontegensprekelijk in het voordeel van Intel. De Gaudi 2-accelerator is 56 procent sneller dan de Nvidia H100 en zelfs 2,4 keer sneller dan de oudere Nvidia A100.
Die overwinning heeft Intel te danken aan enkele designkeuzes, waardoor de Gaudi-acclerator grotere batchformaten kan slikken dan de andere chips. Zelfs met eenzelfde batchformaat is Gaudi 2 echter snelheidskampioen.
Inferentie
Toch is het verhaal genuanceerder. Stability AI voerde ook inferentietests uit. Daarbij moet een eerder getraind model een resultaat opleveren aan de hand van een prompt. De optimalisatie van de Tensor RT-kernen van Nvidia werpt hier z’n vruchten af. Met die optimalisaties is de Nvidia H100 zo’n 40 procent sneller dan Gaudi 2.
lees ook
Intel heeft met Gaudi 2 een sterk AI-alternatief voor Nvidia H100 in huis
Stability AI is niet gelieerd aan Intel of Nvidia en heeft met Stable Diffusion heel wat relevante expertise in het veld van generatieve AI. De benchmarks leveren dan ook een relevante inkijk op de prestaties van de chips. Nvidia heeft de laatste jaren heel wat kennis en optimalisatie uitgerold en plukt daar de voordelen van, maar Intel doet het ook best goed. De Gaudi 2-accelerator is competitief voor inferentie en zelfs superieur voor pure trainingsworkloads.