Microsoft maakt drie nieuwe Phi-3.5-modellen beschikbaar op Hugging Face voor ontwikkelaars. De modellen scoren opvallend in de benchmarks naast enkele grote AI-bedrijven.
Microsoft introduceert drie nieuwe Phi-3.5-modellen: Phi-3.5-vision, Phi-3.5-MoE en Phi-3.5-mini. Phi-3.5-mini is geschikt voor veeleisende redeneertaken zoals het samenvatten van lange vergaderingen, terwijl Phi-3.5 Vision dan weer zowel teksten als beelden kan genereren. Het derde model, Phi-3.5-MoE, maakt gebruik van de Mixture of Experts-techniek die in de benchmarks zijn diensten bewijst. Binnen deze techniek worden er meerdere modellen toegevoegd die elk gespecialiseerd zijn in een bepaalde taak.
Ontwikkelaars kunnen elk van deze drie modellen nu downloaden via Hugging Face, onder een MIT-licentie van Microsoft. Alle drie de modellen komen met opvallende state-of-the-art-prestaties in enkele benchmarks. Hier verslaan ze andere AI-giganten waaronder Google’s Gemini 1.5 Flash, Meta’s Llama 3.1 8B en soms zelfs OpenAI’s GPT-4o.
Phi-3.5 modellen
Microsoft maakte de nieuwe Phi-3.5-modellen beschikbaar op Hugging Face. Phi-3.5-mini is een lichtgewicht AI-model met 3,8 miljard parameters en ondersteunt een tokenlengte van 128.000. Het model is geschikt voor omgevingen met geheugen- of computerbeperkingen, die sterke redeneermogelijkheden vereisen. Het model is ideaal om bijvoorbeeld lange documenten of vergaderingen samen te vatten.
De Phi-3.5 Vision is een geavanceerd multimodaal model dat tekst en beeldverwerkingsmogelijkheden combineert. Het is ontworpen voor taken zoals diagram- en tabelbegrip, videosamenvatting of beeldbegrip. Net als de andere Phi-3.5-modellen ondersteunt het een tokenlengte van 128.000. Microsoft benadrukt wel dat dit model getraind is met een combinatie van synthetische en gefilterde, openbare beschikbare datasets.
Mixture of Experts
Het laatste model Phi-3.5-MoE maakt gebruik van de Mixture of Experts-methode, waarbij een model meerdere verschillende modeltypen in één combineert, die elke gespecialiseerd zijn in verschillende taken. Het is het eerste model in de reeks dat deze techniek toepast, en het bewijst meteen zijn diensten in de benchmarks. Het model maakt gebruik van 42 miljard parameters en ondersteunt een tokenlengte van 128.000. Hierdoor is het geschikt voor diverse veeleisende toepassingen.
Ontwikkelaars kunnen elk van deze drie modellen nu downloaden via Hugging Face, onder een MIT-licentie van Microsoft.