De grote jongens uit de chipindustrie hebben samengewerkt aan een nieuwe standaard die de ontwikkeling van AI moet doen versnellen. Het geheim zit in het aantal bits.
De standaard staat gepubliceerd in een gezamenlijke whitepaper door Intel, Arm en Nvidia. Daarin schuiven de fabrikanten van chiptechnologieën een nieuw framework voor deep learning naar voren, dat gestoeld is op 8-bit floating points (FP8). Het framework moet bijdragen aan de standaardisering in de sector en een snellere ontwikkeling en implementatie van AI.
lees ook
Arm toont toekomst van Neoverse-datacenterchips
Waarom is het aantal bits zo significant voor AI-modellen? De bits moet je in deze context zien als een meeteenheid. Hoe meer bits een systeem ‘weegt’, hoe meer geheugen, bandbreedte en energie nodig zijn om de modellen te trainen. Huidige AI-standaarden zijn gebaseerd op 32-bit floating points (FP32) of 16-bit floating points (FP16).
Het framework dat Intel, Arm en Nvidia hebben opgesteld, reduceert dat aantal bits dus nog verder. Dat resulteert in AI-systemen die dus lichter verwerkbaar zijn en bijgevolg dus ook efficiënter kunnen ontwikkeld worden.
Geen toegeving op accuraatheid
Er is ook wel een keerzijde van de bitsmedaille. Het aantal bits verminderen heeft een negatieve impact op de accuraatheid van systemen. De grote uitdaging voor Intel, Arm en Nvidia was dan ook een 8-bit-standaard te ontwikkelen die niet moet inboeten op accuraatheid.
Daar menen de bedrijven ook in geslaagd te zijn. Uit praktijktesten blijk eigen hardware die het FP8-framework implementeren op verschillende AI-disciplines dezelfde accuraatheid te halen als 16-bit-systemen, en dat aan een dubbele snelheid.
Open voor iedereen
Intel, Arm en Nvidia doen de gulle geste om de FP8-standaard volledig licentievrij open te stellen voor andere fabrikanten. Uiteraard niet zonder eerst een voorsprong te nemen. Nvidia’s GH100 Hopper-architectuur en Intel’s Gaudi2 AI-chipset hebben FP8 al helemaal omarmd.
Onder meer IBM en AMD hebben hun interesse in FP8-systemen al uitdrukkelijk uitgesproken. Zij krijgen nu een onverwacht duwtje in de rug van de concurrentie.