Intel onthult op zijn Vision 2024-event officieel de Gaudi 3-accelerator. Dat is een krachtige chip gebouwd voor de training van AI-modellen. Intel zet Gaudi 3 rechtstreeks tegenover de Nvidia H100.
Op zijn Vision 2024-evenement onthult Intel de Gaudi 3-accelerator, nadat de chipspecialist eerder al mondjesmaat details loste. Gaudi 3 is een rechtstreekse concurrent voor de Nvidia H100. “De chip zal gemiddeld 50 procent sneller trainen met Llama 2 met zeven miljard en dertien miljard parameters, en GPT-3 met 175 miljard parameters”, zegt Intel. “De doorvoercapaciteit van Gaudi 3 voor inferentie zal 50 procent hoger liggen en de efficiëntie van inferentie op basis van verbruik is 40 procent beter.”
Concurrentie, maar niet met Blackwell
Die claims vertellen ons twee belangrijke zaken: ten eerste gaat Intel rechtstreeks de concurrentie aan met Nvidia. Het opzet is duidelijk om een capabeler alternatief te bieden voor Nvidia’s populairste chip. Daarmee concurreert Intel meteen ook met de Instinct MI300-reeks van AMD. Hogere efficiëntie en betere prestaties zijn een troef, maar ook beschikbaarheid: Nvidia kan immers niet aan de vraag naar zijn accelerators voldoen, dus een waardig alternatief van Intel zal vermoedelijk omarmd worden in de markt.
lees ook
Nvidia dropt met Blackwell-GPU 1.200 watt-bom op de AI-wereld
Ten tweede loopt Intel een volledige generatie achter op Nvidia. In maart kondigde Nvidia de opvolger van de Hopper H100-accelerator al aan met Blackwell. De Nvidia B100 moet ongeveer dubbel zo krachtig zijn als de H100, en zal Gaudi 3 op papier tenminste moeiteloos overtreffen.
Specificaties
Gaudi 3 is gebouwd met een vijfde generatie van Tensor-kernen en heeft er 64 aan boord, verspreid over twee chiplets. De accelerator heeft een gedeelde cache van 96 MB. De rekenkernen worden omsingeld door HBM2e met een capaciteit tot 128 GB. De software voor de chip is geoptimaliseerd voor Hugging Face-modellen en het PyTorch-raamwerk. Er zal een PCIe-variant van Gaudi 3 verschijnen.
Opvallend genoeg bakt Intel de Gaudi 3-accelerator niet zelf. Team Gelsinger doet beroep op de 5 nm-productiecapaciteit van TSMC. Aangezien TSMC’s capaciteit volgeboekt zit, doet dat de vraag rijzen of Intel met Gaudi 3 een voldoende grote impact kan hebben op de totale beschikbaarheid van krachtige accelerators wereldwijd.
Intel stelt Gaudi 3 vanaf het tweede kwartaal van dit jaar beschikbaar voor fabrikanten waaronder Dell, HPE, Lenovo en Supermicro.