Werken LLM’s binnenkort op alle Apple-apparaten?

Apple experimenteert met nieuwe technieken om Large Language Models (LLM’s) te laten draaien op flashgeheugen, zodat deze modellen gebruikt kunnen worden op alle iPhone- en Mac-apparaten.

Hoewel Apple nog steeds achterloopt op OpenAI, Google en Amazon, omarmt het steeds meer de mogelijkheden van AI. Nu onderzoekt Apple een manier om LLM’s te laten draaien op flashgeheugen, zodat deze modellen alomtegenwoordig worden op alle iPhone- en Mac-apparaten. Of de technieken effectief werken, is nog niet duidelijk. Is dit een inhaalmanoeuvre van Apple in de AI-race?

LLM’s in flashgeheugen

Het opslaan van LLM’s in flashgeheugen is geen sinecure. In principe draaien modellen volledig in het RAM-geheugen, waar ze direct toegankelijk zijn door CPU en accelerators. Toestellen zoals smartphones hebben geen enorme geheugencapaciteit. Door LLM’s rechtstreeks vanop het flash-geheugen te draaien, zouden meer modellen compatibel worden met de kleine toestellen. Apple experimenteert daarom met het opslaan van deze modellen op flash-opslag. Hiermee wil Apple de LLM’s alomtegenwoordig maken op zijn iPhone- en Mac-assortiment.

Het opslag-geheugen van smartphones waaronder iPhones is flash-geheugen (net zoals ook de SSD in je laptop). Het bedrijf experimenteert momenteel met twee technieken. Bij de eerste, genaamd windowing, hergebruikt het AI-model een deel van de gegevens die het al verwerkt heeft. Hierdoor moet er minder energie gestopt worden in het continu ophalen van reeds verwerkte gegevens, waardoor het proces sneller kan verlopen.  

Een tweede techniek is de Row-Column Bundling waarbij gegevens efficiënter worden gegroepeerd waardoor het AI-model sneller gegevens uit het flashgeheugen kan lezen en om het begripte vergroten.

Inhaalmanoeuvre in AI-race

Hoewel Apple in eerste instantie sceptisch stond tegenover AI-modellen, lijkt hij deze steeds meer te omarmen. Zo was het bedrijf recent bezig met de introductie van Apple GPT en ontwikkelde het een nieuw framework waarmee ontwikkelaars AI-modellen kunnen bouwen op Apple Silicon.

Met deze nieuwe experimenten hoopt Apple dat LLM’s ook efficiënt kunnen draaien op Apple-apparaten, waardoor deze een nieuwe opwaardering kunnen krijgen. Of deze technieken daadwerkelijk zullen werken, is nog afwachten.