Grote taalmodellen krijgen steeds vaker kleinere varianten die gericht zijn op een specifieke dataset. Maakt dat van een SLM slechts een afgeslankte versie van een LLM, of schuilt er meer achter?
Waar Large Language Models (LLM’s) zoals ChatGPT of Gemini brede capaciteiten tonen, groeit tegelijk de aandacht voor een kleiner en praktischer alternatief: de Small Language Models (SLM’s). Dit zijn kleine taalmodellen die getraind zijn op een specifieke dataset.
Arno van de Velde, Principal Solutions Architect Benelux bij Elastic, noemt dergelijke modellen “specialistische taalmodellen”. Wat maakt deze kleine modellen nog meer verschillend van hun grote tegenhangers? Van de Velde schetst het verschil tussen een LLM en SLM en geeft een blik op wat kleine taalmodellen (nog) in petto hebben.
Specialistisch taalmodel
We kennen allemaal in grote lijnen de werking van een Large Language Model (LLM), maar wat is het verschil met een Small Language Model (SLM)? Dat is een vraag waarop van de Velde twee antwoorden klaar heeft. “Het korte antwoord op deze vraag is dat een SLM een veel kleinere vorm is van een LLM”, al vult hij meteen aan dat deze definitie een SLM niet helemaal recht aandoet.
Een SLM is een specifiekere manier van omgaan met een bepaalde subset van informatie.
Arno van de Velde, Principal Solutions Architect Benelux, Elastic
Een betere omschrijving van een SLM is volgens van de Velde “een specifieke manier van omgaan met een bepaalde subset van informatie”. Hij noemt dit ook wel een specialistisch taalmodel. “Je traint het model binnen een bepaald domein op specifieke informatie.”
Van de velde haalt het voorbeeld aan van advocaten. “Zij hanteren een heel specifieke taal om hun domein te beschrijven, waardoor je een ander type taalmodel creëert dat specifiek gericht is op een vakjargon.”
Snel en efficiënt
Het voordeel van een LLM is dat het diepere redeneringen kan uitvoeren en complexe vragen beantwoorden. Dit vergt uiteraard meer rekenkracht aangezien het model verschillende stappen moet uitvoeren om een antwoord te bieden.
“Wanneer je een vraag stelt aan een SLM, die past binnen het specifieke domein waarop het model getraind is, krijg je in een milliseconde al een antwoord voorgeschoteld”, legt van de Velde uit. Een SLM is kleiner, sneller en lichter, wat het model geschikt maakt voor directe taken zoals antwoorden geven binnen een bepaalde dataset.
Bovendien kunnen SLM’s lokaal draaien op een laptop of in omgevingen zonder constante internetverbinding, wat ze aantrekkelijk maakt voor toepassingen in bijvoorbeeld defensie of industrie. Dit in tegenstelling tot een LLM, dat continue verbinding nodig heeft.
Kleine LLM’s
LLM’s vind je tegenwoordig overal: in zoekmachines, kantoorsoftware, klantenservices maar ook mobiele apparaten. Zo ontwikkelde Google bijvoorbeeld Gemini Nano, een verkleinde versie van zijn LLM Gemini dat lokaal draait op een smartphone. Behoort dit dan ook tot de categorie van een SLM, of is het eerder een ‘verkleinde versie van een LLM’?
Van de Velde vindt dat die lijn steeds meer vervaagt. Toch classificeert hij dergelijke ‘kleine LLM’s’ eerder als een SLM. In het geval van Gemini Nano op bijvoorbeeld de recentste Pixel-telefoons, bestaat er een generatieve AI-functie die objecten in de verte herkent en zelf aanvult op een foto. “Dergelijke kleine modellen zou je eerder kunnen omschrijven als een specifieke SLM gericht op afbeeldingen”, stelt hij. Deze SLM’s zijn dus gericht op bepaalde deeltaken, en worden niet een ‘kleine LLM’ genoemd.
Doe-het-zelf?
Hoe eenvoudig is het dan voor een bedrijf of ontwikkelaar om zelf een SLM te maken? Van de Velde legt twee verschillende manieren uit om een SLM te maken. “Je kan een LLM als startpunt nemen om van daaruit informatie of onderdelen te destilleren. Op die manier haal je zaken die er minder toe doen uit het model, om tot een kleinere en gespecialiseerde versie te komen. Een andere manier is om een model vanaf nul te trainen op een specifiek domein.”
Voor veel organisaties zit de meerwaarde niet in het volledig zelf trainen van een SLM, maar in het slim inzetten en aanpassen van reeds beschikbare modellen.
Arno van de Velde, Principal Solutions Architect Benelux, Elastic
In beide gevallen blijft er echter een grote nood aan omvangrijke datasets en stevige investeringen, iets waar de meeste bedrijven niet standaard over beschikken. “Organisaties kiezen er daarom vaker voor om bestaande compacte modellen, waarvan Llama 3 een bekende is, te verfijnen en combineren met extra functies of meerdere kleine modellen naast elkaar. “Dit maakt het mogelijk om gerichte oplossingen te bouwen, zoals snellere toegang tot interne informatie, automatische samenvattingen of ondersteuning bij klantendossiers.”
“Voor veel organisaties zit de meerwaarde dus niet in het volledig zelf trainen van een SLM, maar in het slim inzetten en aanpassen van reeds beschikbare modellen. Het ontwikkelen van compleet nieuwe modellen blijft vooral het domein van grote spelers met aanzienlijke onderzoeksbudgetten”, stelt van de Velde.
Orkestrator
Van de Velde verwacht dat kleine taalmodellen een grote rol zullen spelen, zeker in combinatie met de opkomst van AI-agenten. “In plaats van één model dat alles doet, wordt een LLM meer een orkestrator die verschillende taken verdeelt: een stukje code oproepen, een hybride search uitvoeren, een SLM gebruiken voor een specifieke taak of een dedicated tool inschakelen.”
De grootste winst op korte termijn ligt volgens hem in kleinschalige, praktische toepassingen waarbij kleine modellen slim gecombineerd worden om directe meerwaarde te creëren.