OpenELM zijn kleine opensource-taalmodellen die lokaal op één apparaat kunnen draaien. Deze nieuwe modellen werden door Apple openbaar gesteld op Hugging Face.
Apple lanceert OpenELM (Open-source Efficient Language Models), een nieuwe familie van kleine, open source AI-modellen die ontworpen zijn om op één apparaat te draaien, in vergelijking met andere LLM’s die verbinding moeten maken met cloudservers. OpenELM omvat acht taalmodellen, waarvan vier vooraf getraind zijn en vier op instructies afgestemd. Hiermee krijgen we meer inzichten in wat Apple momenteel verwezenlijkt op gebied van AI. Apple maakte OpenELM openbaar beschikbaar op de AI-community van Hugging Face.
Lokale opensource-modellen
In tegenstelling tot de meeste grote taalmodellen die verbinding maken met cloudservers, draaien de nieuwe OpenELM’s lokaal op één apparaat. Apple lanceerde in totaal acht OpenELM’s op Hugging Face, waarvan vier vooraf getraind zijn en vier op instructies afgestemd. De modellen hebben verschillende parametergroottes tussen 270 miljoen en 3 miljard.
Sample code license
Apple biedt de OpenELM’s aan als ‘sample code license’, die commercieel gebruik of wijzigingen niet verbiedt. Dit beschouwt Apple als een voorbeeldcodelicentie samen met verschillende controlepunten van training, statistieken, instructies voor pre-training, evaluatie, instructie-afstemming en parameter-efficiënte fijnafstemming.
De OpenELM’s zijn bedoeld om volledig op een smartphone of laptop te kunnen draaien. Op het WWDC 2024 zal duidelijk moeten worden welke mogelijkheden OpenELM’s allemaal bieden.