Meta brengt Muse Glimmer uit: een open-source AI-model van 30 miljard parameters dat lokale AI-agenten moet aandrijven.
Meta stelt Muse Glimmer voor. Dat nieuwe AI-model van dertig miljard parameters kan lokaal draaien op een laptop zonder speciale professionele GPU. Dat klopt, al zal je met een gewone kantoorlaptop niet ver komen. Meta gebruikt compressietechnieken om het model met zijn 30 miljard parameters te comprimeren van 55 GB naar 24 GB.
Niet voor iedereen
24 GB aan geheugen kan je vinden in GPU’s die beschikbaar zijn voor het grotere publiek, al zal je dan toch flink wat centen moeten neertellen voor een workstation. Toch is de beschikbaarheid een mooie stap vooruit: dergelijke LLM’s zijn zonder compressie gewoonweg niet toegankelijk zonder toegang tot een server of workstation met accelerator op maat van AI. De uitzondering zijn AMD’s Ryzen AI Max Pro-chips, waaronder de nieuwe 400-reeks.
De precisie gaat een beetje achteruit door de compressie, maar Meta stelt dat de prestaties met amper één procent degraderen. Muse Glimmer is hoe dan ook een doorbraak: hoe efficiënter grotere LLM’s en hoe kleiner hun voetafdruk, hoe realistischer echt bruikbare AI op een laptop of desktop echt wordt.
Lokale AI-assistent
Meta Superintelligence Labs ontwikkelde Muse Glimmer specifiek voor AI-agenten die volledig op het toestel van de gebruiker draaien, zonder internetverbinding. Daarmee wil het bedrijf lokale alternatieven bieden voor taken die vandaag doorgaans via de cloud verlopen, zoals coderen, functieoproepen en evaluaties door een ander taalmodel. Het bedrijf brengt de modelgewichten open source uit onder een Apache 2.0-licentie.
Muse Glimmer combineert verschillende vaardigheden die nodig zijn voor autonome agenten: langdurige taakuitvoering, precieze tool calling, meertalige ondersteuning in meer dan honderd talen en multimodale verwerking van tekst en beeld. Het model kan bijvoorbeeld schermafbeeldingen, grafieken en documenten interpreteren naast een gewoon gesprek. Het model herstelt zich ook zelf wanneer een tool call mislukt, in plaats van de taak simpelweg te stoppen.
Het model komt beschikbaar via Hugging Face en zal draaien op populaire tools zoals Ollama, LM Studio en Unsloth. Meta geeft aan samen te werken met onder andere AMD, Arm en Intel om optimalisaties te bekomen.
Meta zet zijn schouders onder opensource-AI, in contrast met bijvoorbeeld Anthropic en OpenAI. Het bedrijf is bijvoorbeeld wel lid van de Open Secure AI Alliance, in contrast met die twee. Daar staat tegenover dat CEO Mark Zuckerberg die openheid bundelt met andere argumenten om zijn eigen AI-agenda af te schilderen als een groot project waar de algehele mensheid zich achter moet scharen.