AWS lanceert Trainium3: chips die minder kosten en meer uitgebreide opdrachten kunnen uitvoeren.
AWS heeft tijdens re:Invent zijn nieuwe Trainium3-chip gelanceerd, waarmee het bedrijf de concurrentie met Nvidia verder opdrijft. De techgigant maakt zijn Trainium3 UltraServers onmiddellijk beschikbaar, die tot 144 chips combineren. Ze leveren volgens AWS 4,4 keer meer rekenkracht en bijna vier keer zoveel geheugenbandbreedte als de vorige generatie. CEO Matt Garman noemde de servers “onze meest geavanceerde ooit, met 4.4x meer compute en 3.9 keer meer geheugenbandbreedte”.
Meer kracht, minder kosten
AWS claimt dat tests tot 50 procent kostenbesparing opleveren ten opzichte van GPU-training. Bedrijven zoals Anthropic mogen er als eerste mee aan de slag. De infrastructuur achter Trainium3 wordt opgeschaald via EC2 UltraClusters 3.0, die duizenden UltraServers met elkaar verbinden. Volgens Garman maakt dit opdrachten mogelijk “die vroeger niet uitvoerbaar waren”, zoals multimodale modellen op trillion-token datasets.
Trainium4 al in ontwikkeling
Ondertussen blijft Nvidia marktleider met een aandeel van 90 procent, al voorspellen analisten dat dit de komende jaren zal afnemen. AWS werkt al aan Trainium4, dat zes keer meer rekenkracht moet bieden en ondersteuning krijgt voor Nvidia’s NVLink Fusion. Garman stelde dat Trainium-chips steeds meer worden ingezet binnen AWS: “Het merendeel van de inference in Amazon Bedrock draait al op Trainium”.