Geen Nvidia-GPU’s in huis om LLM’s te draaien? Geen nood, met deze softwaretool bouw je de GPU in je laptop of smartphone om tot krachtige AI-chips.
Het draaien van LLM-modellen vereist normaal gezien servers vol met krachtige grafische chips. GPU’ zijn daardoor gewild goed, maar de vraag is groter dan het beschikbare aanbod. Maar wat als je de GPU’s in je smartphone of laptop zou kunnen gebruiken om grote AI-modellen te draaien? Het is veel minder complex dan het klinkt.
lees ook
Gezocht: GPU’s, maar is er wel een tekort?
De softwaretool exo-explore tovert GPU’s in huis-tuin-en-keukenapparaten om tot krachtige GPU’s en is publiek beschikbaar via Github. Het werkt op Android-, macOS- en Linux-apparaten. In een korte demovideo op X zien we hoe Meta’s Llama-3-70B draait met hulp van een iPhone 15 Pro Max, iPad Pro M4, Galaxy S24 Ultra, M2 MacBook Pro, M3 MacBook Pro, en twee MSI Nvidia GTX 4090 graphics cards.
Samen staan we sterk
Exo-explore voegt GPU’s van meerdere devices samen tot een AI-cluster. De software zoekt op je netwerk van verbonden apparaten met een geschikte GPU en verdeelt de werklasten over de apparaten in verhouding tot het beschikbare geheugen dat het apparaat in de weegschaal kan leggen. Via een API wordt het LLM binnengetrokken.
Dit is voor alle duidelijkheid een experimentele tool. Verwacht niet dat de software helemaal vlekkeloos zal draaien. Het ontbreken van Windows-compatibiliteit kan je geen kleine beperking noemen. Aan één smartphone en een laptop zal je niet genoeg om de meest krachtige LLM’s in je huiskamer te laten draaien. Voor de hobbyisten biedt het wel een laagdrempelige manier om te experimenteren met private AI.