Microsoft introduceert het Phi-2-model met 2,7 miljard parameters dat beter presteert dan veel andere large language models (LLM’s) die tot 25 keer zo groot zijn.
Nieuwe ontwikkelingen en verbeteringen binnen de wereld van AI blijven zich aandienen. Zo introduceert Microsoft nu het Phi-2-model dat betere prestaties zou leveren dan andere LLM’s. Het model is getraind op basis van de textbook-quality, waarbij redenatie, kennis en gezond verstand centraal staan.
Phi-2 overstijgt andere LLM’s
De bekwaamheid van LLM’s wordt meestal gemeten aan de hand van hun totale omvang, uitgedrukt in parameters. Hoe meer parameters, hoe meer vaardigheden. Phi-2 doorbreekt deze regel en maakt indruk met geavanceerde capaciteiten zonder die regel te volgen.
Eén van de opvallendste uitspraken is ongetwijfeld dat het model zelfs de prestaties van de Gemini Nano van Google LLC, die vorige week gelanceerd werd, kan overtreffen. Gemini Nano is het meest efficiënte model binnen de Gemini-serie en kan ook op smartphones worden uitgevoerd.
Prestaties te danken aan textbook-quality
Het Phi-2-model is getraind op basis van een textbook-quality-dataset. Zo’n set is zorgvuldig samengesteld met gegevens, geselecteerd om redenatie, kennis en gezond verstand aan te leren. Op die manier kan het model meer leren van minder informatie.
Phi-2 heeft al enkele voorgangers gekend. Eerder dit jaar werd Phi-1 gelanceerd met 1,3 miljard parameters, verfijnd was voor standaard Python-codeertaken. Daarop volgde in september Phi-1,5 met 1,3 miljard parameters, getraind op nieuwe gegevensbronnen die verschillende synthetische teksten bevatten die gegenereerd werden met programmeren in natuurlijke taal.
Het model is door onderzoekers van Microsoft meermaals getest op taalbegrip, redenering, wiskunde en codeeruitdagingen. Phi-2 vormt volgens Microsoft het ideale platform voor onderzoekers die zich willen verdiepen in het verbeteren van de AI-veiligheid, interpreteerbaarheid en de ethische ontwikkeling.