AWS kondigt tijdens re:Invent de vierde generatie van de Graviton-chip en de tweede generatie van Trainium aan. Aan kernen en geheugen geen gebrek.
Graviton maakte zijn debuut in 2018. Amazon begaf zich destijds op een voor hen nieuw terrein met de ontwikkeling van een binnenshuis ontwikkelde chip, helemaal geoptimaliseerd voor de clouddiensten. Hardware vormt immers het fundament van cloudinfrastructuur. In 2019 volgde de tweede generatie en in 2021 de derde, die nog aangevuld werd met Graviton 3E. Na drie komt vier en dus kondigt AWS tijdens re:Invent Graviton4 aan.
Gravition4 is de meest krachtige chip tot heden die uit het lab van Amazon rolt. De chip telt maar liefst 96 Arm Neoverse VS-kernen, met in elke kern 2 MB L2 cache. In combinatie met de twaalf DDR5-5600-kanalen kan Graviton4 tot veertig procent snellere prestaties leveren voor database-applicaties dan zijn voorganger, volgens de cijfers die Amazon deelt in een persbericht. Voor web- en Java-applicaties bevat de prestatiewinst dertig en 45 procent.
Ook met security is rekening gehouden. Graviton4 neemt alle beveiligingsstandaarden van de vorige generaties en voegt daar nog twee nieuwe technologieën aan toe: encryptie van hogesnelheid hardware-interfaces en Branch Target Identification, ontwikkeld door Arm. Graviton4 is beschikbaar via geoptimaliseerde Rg8-instances in AWS EC2, die tot drie keer meer vCPU-capaciteit en drie keer meer geheugen ondersteunen.
Dorstig naar AI
Dat is niet het enige chipnieuws dat AWS te delen heeft. Geen aankondiging is compleet zonder ergens een bruggetje te maken naar AI en dus kondigt AWS ook Trainium2 aan. Zoals de naam al doet vermoeden, is dit een chip gemaakt voor het trainen van LLM’s, daardoor ook een ‘AI Accelerator’ genoemd. Nu Microsoft ook beschikt over AI-chips op maakt gemaakt voor Azure, was het hoogtijd om Trainium op te krikken, vond AWS.
lees ook
Microsoft toont eerste huisgemaakte processoren Maia en Cobalt
Technische details over de AI-chip blijven eerder schaars, zowel in de officiële aankondiging als tijdens de keynote van AWS CEO Adam Selipsky. Wat AWS wel zegt, is dat Trainium2 vier keer snellere trainingsprestaties kan leveren dan de eerste Trainium-chip en dat twee keer zo efficiënt doet. De geheugencapaciteit werd daarvoor verdrievoudigd van 32 GB naar 96 GB.
Naast de eigen chips heeft AWS nog troeven in zijn hand om bedrijven naar hun cloud te lokken voor het trainen van LLM’s. AWS werkt nauw samen met Nvidia en dat werd tijdens re:Invent nog eens duidelijk in de verf gezet. De cloudprovider mag als eerste de nieuwe GH200-GPU’s van Nvidia aanbieden en lanceerde ook nieuwe microservices met steun van de GPU-specialist.