Nvidia, hou je vast: AMD’s langverwachte AI-chips rollen in volume van de band, en zowel de GPU als de APU bieden een interessant en krachtig alternatief voor Hopper-chips.
Sinterklaas is langsgekomen, en de HPC-gemeenschap krijgt AMD’s Instinct MI300X en Instinct MI300A om mee te spelen. De chipspecialist kondigt na lang wachten de algemene beschikbaarheid van die AI-accelerators aan. HPE CEO Antonio Neri liet zich vorige week nog ontvallen dat Nvidia’s dominantie snel uitgedaagd zou worden door andere spelers en het duurde niet lang voor die voorspelling uitkwam.
HPE zelf lanceerde al de HPE Cray Supercomputing EX255a met Instinct MI300A-APU’s, en ook Dell en Lenovo stoppen begin 2024 MI300-chips in hun HPC-servers. Langs de kant van de hyperscalers gaat Microsoft met AMD in zee voor de Azure ND MI300x v5 VM’s.
Van één product naar reeks
De AMD Instinct MI300X en MI300A worden al een tijdje aangekondigd door AMD. Aanvankelijk was er enkel een Instinct MI300, maar die werd als reactie op de huidige marktsituatie opgesplitst in twee chips: de A-variant vertegenwoordigt het originele concept, de X-variant is een pure accelerator.
We verduidelijken: De AMD Instinct MI300A is een AI-chip pur sang en een concurrent voor de Grace Hopper-superchip van Nvidia. Het ding heeft eerst en vooral 228 compute units (CU’s) aan boord, gebouwd op de CDNA 3-GPU-architectuur. Die CU’s vertegenwoordigen samen 14.592 kernen geoptimaliseerd voor AI-acceleratie. Op dezelfde chip vind je een ingebouwde Epyc-processor: 24 Zen-vier kernen zitten netjes naast de CU’s en delen samen 128 GB HBM3-geheugen. Die combinatie van geheugen, GPU-acceleratie en ingebouwde CPU moet ideaal zijn voor AI-workloads.
lees ook
AMD opent vuur op Nvidia H100 met Instinct MI300X: 192 GB HBM3 op één chip
De AMD Instinct MI300X is een afgeleide. Broertje MI300A heeft een nieuwe architectuur die weliswaar veel voordelen heeft, maar waar klanten hun workloads voor moeten optimaliseren. De MI300X is een traditionelere accelerator waar de Zen-kernen verdwijnen. In ruil krijg je meer HBM3-geheugen: 192 GB. Deze chip staat tegenover de klassiekere Hopper H100 en H200-accelerators van Nvidia.
Beter dan Nvidia, volgens AMD
Beide systemen zijn uitermate krachtig. AMD vergelijkt zijn nieuwe chips met de populaire Hopper H100 en stelt via eigen benchmarks vast dat de MI300X tot 1,6 keer beter presteert in bepaalde workloads. Het enorme ingebouwde geheugen zorgt er bovendien voor dat het volledige Llama2-model met z’n 70 miljard parameters op één MI300X past: een unicum in de markt vandaag. Dat moet inferentie met zo’n model eenvoudiger en goedkoper maken.
Wanneer AMD de MI300A tegen een systeem met H100 zet, dan ziet het prestatiewinsten met factor vier. Die zijn vooral afkomstig van het gedeelde geheugen op de chip. In feite zou een vergelijking met Grace-Hopper daarom iets nauwkeuriger zijn en ook daar claimt AMD een kroon: de Instinct MI300A moet dubbel zoveel prestaties per watt bieden dan het alternatief van Nvidia. Dat is frappant aangezien AMD voor x86 Zen 4-kernen kiest, en Nvidia voor in theorie zuinigere ARM-kernen op Grace Hopper.
De Amerikaanse El Capitan-supercomputer, die al sinds 2019 gepland staat, zal Instinct MI300A-accelerators gebruiken. Het systeem moet als eerste ter wereld een rekenkracht van twee exaflops bereiken. Vandaag is de krachtigste supercomputer ter wereld de eveneens Amerikaanse Frontier. Die breekt de barrière van één exaflops en doet dat met AMD Epyc-CPU’s en MI250X-accelerators: de voorgangers van deze nieuwe chips.
Software en ecosysteem
Hardware alleen is niet genoeg om door te breken. Nvidia ondersteunt zijn accelerators vandaag met een heel AI-ecosysteem gericht op professionele klanten. AMD moet dat evenaren indien het van Instinct MI300 een succesverhaal wil maken. Dat is gelukkig de ambitie: samen met de chips kondigt het bedrijf het open AMD ROCm 6-platform aan, dat de software-tools biedt voor AI-ontwikkeling op Instinct. Hoe succesvol AMD zijn eigen ecosysteem van de grond krijgt, zal een grote rol spelen in de populariteit van Instinct MI300A en X.
Met de beschikbaarheid van de nieuwe chips, de goede prestaties ervan in vroege benchmarks en de omarming van cloudspelers en serverfabrikanten, lijkt er eindelijk een frisse wind op te steken in de wereld van AI-hardware. AMD heeft de hardware om een alternatief te bieden voor Nvidia, al zit die laatste ook niet stil. In 2024 is AI-acceleratie hopelijk niet meer het exclusieve domein van één topspeler, maar zit er minstens een tweede partij mee aan de tafel.