Microsoft verwerkte in Phi-3 Mini 3,8 miljard parameters. De LLM is gevoelig kleiner dan algemene kennisconcurrenten GPT-4 en Llama 3, maar focust op verticale toepassingen.
De nieuwste versie van Microsofts kleinste LLM (Large Language Model), Phi-3, is nu beschikbaar op Azure, Hugging Face en Ollama. Het model is verkrijgbaar in drie smaken:
- Phi-3 Mini met 3,8 miljard parameters (vanaf nu beschikbaar)
- Phi-3 Small met 7 miljard parameters (binnenkort beschikbaar)
- Phi-3 Medium met 14 miljard parameters (binnenkort verkrijgbaar)
Eind vorig jaar lanceerde Microsoft nog de voorganger, Phi-2 waarvan het kleinste model 2,7 miljard parameters bevatte. De nieuwste versie zou beter presteren en levert antwoorden vergelijkbaar met LLM’s die tien keer groter zijn.
Het grote voordeel van kleine AI-modellen is dat ze minder energie vereisen om te draaien. Dat verlaagt de energiekost en maakt mobiele toepassingen mogelijk. Microsoft is niet de enige die aan kleine LLM’s werkt. Onder andere Google heeft met Gemma twee varianten in huis (2 miljard en 7 miljard parameters). Anthropic heeft ook een compacte versie van Claude 3 onder de naam Haiku. Vorige week lanceerde Meta nog Llama 3 in twee varianten: 8 miljard en 70 miljard parameters.
Microsoft zegt dat het Phi-3 heeft getraind met een ‘curriculum’, geïnspireerd door hoe kinderen leren uit verhaaltjes voor het slapengaan. De focus van Phi-3 ligt op coderen en redeneren. De softwaregigant zegt dat kleinere LLM’s voor heel wat bedrijven een logische keuze zijn. Hun interne datasets zijn compacter en modellen zoals Phi-3 zijn goedkoper om te draaien, omdat ze minder rekenkracht en energie vereisen.
Benieuwd naar meer informatie over artificiële intelligentie? Neem dan zeker een kijkje naar onze AI-themapagina met video en drie interessante, uitgebreide artikelen.