Meta brengt lichtgewicht versies uit van hun Llama 3.2-modellen. Die zijn ontwikkeld voor apparaten met een laag vermogen.
Meta wil zijn open-source large language models 3.2 1B en Llama 3B populairder maken met deze lichtgewicht versies, speciaal ontworpen voor apparaten met een laag vermogen. De modellen kunnen op energiezuinige bronnen draaien, en toch sterke prestaties leveren.
Gekwantiseerde modellen
Het AI-team van Meta benadrukte dat de modellen zijn ontworpen voor “korte-contexttoepassingen tot 8K”, vanwege het beperkte geheugen op mobiele apparaten. Door de taalmodellen te kwantiseren wordt de grootte ervan verkleint door de precisie van hun modelgewichten aan te passen.
De ontwikkelaars gebruikten daar twee verschillende methodes, waaronder “Quantization-Aware Training with LoRA adaptors”. QLoRA helpt prestaties te optimaliseren in omgevingen met lage precisie. Als het model eerder focust op draagbaarheid ten koste van prestaties, kan SpinQuant worden gebruikt. Die optimaliseert compressie om modeloverdracht naar verschillende apparaten te vereenvoudigen.
Meta heeft in samenwerking met Qualcomm en MediaTek de modellen geoptimaliseerd voor Arm-gebaseerde system-on-chip hardware. Dankzij de optimalisatie met Kleidi AI kernels kunnen de modellen draaien op mobiele CPU’s. Zo zijn meer privacyvriendelijke AI-toepassingen mogelijk, waarbij alle processen lokaal op het apparaat worden uitgevoerd.
De gekwantiseerde Llama 3.2 1B en Llama 3B-modellen zijn vanaf vandaag te downloaden via Llama.com en Hugging Face. Meta lanceerde eerder deze week ook videobewerkingsmodellen.