AMD breidt zijn marktsegmenten uit met een nieuw AI-model ‘AMD-135M’, gericht op particuliere, zakelijke implementaties.
AMD kondigt zijn eerste kleine op Llama gebaseerde taalmodel AMD-135M aan, waarmee het bedrijf zijn marktsegmenten wil uitbreiden. Dit model is gericht op particuliere, zakelijke implementaties en werkt op basis van speculatieve decodering. Dit is een techniek waarbij een kleiner ‘conceptmodel’ meerdere kandidaat-tokens genereert in één enkele voorwaartse doorgang. Het model bestaat in twee versies: AMD-Llama-135M en AMD-Llama135M-code. Hiermee oogt het bedrijf nieuwe marktsegmenten aan te spreken, waar de concurrent Nvidia nog niet aanwezig is.
Speculatieve decodering
AMD stelt in een blogbericht zijn eerste kleine AI-model voor: AMD-135M. Volgens AMD is dit het eerste kleine taalmodel voor de Llama-familie dat vanaf nul is getraind op AMD Instinct MI250-accelerators met 670 miljard tokens en verdeeld is in twee modellen: AMD-Llama-135M en AMD-Llama-135M-code. Het model richt zich voornamelijk op particuliere, zakelijke implementaties.
Bovendien werd de AMD-Llama-135M-code verfijnd met 20 miljard extra tokens die specifiek gericht waren op codering. Het voltooide deze taak in vier dagen. AMD’s modellen zijn snel, aangezien ze werken met ‘speculatieve decodering’. Het basisprincipe hiervan omvat het gebruik van een klein ontwerpmodel om een set kandidaat-tokens te genereren in één enkele voorwaartse doorgang. Die tokens worden nadien doorgegeven aan een ‘doelmodel’ dat ze verifieert of corrigeert. Hierdoor kunnen meerdere tokens tegelijk gegenereerd worden, zonder dat dit ten koste gaat van de prestaties.
AMD gelooft dat verdere optimalisaties kunnen leiden tot nog betere prestaties. Het bedrijf biedt een open-source referentie-implementatie, waarmee het de innovatie binnen de AI-community wil stimuleren.