Volgens Intel wil Microsoft delen van Copilot binnenkort lokaal op je pc draaien. Alleen: de minimumvereisten daarvoor zijn hoger dan wat Intel op dit moment kan aanbieden.
Microsoft wil zijn AI-Copilot binnenkort voor een stuk lokaal draaien. Dat bevestigt Intel op de AI Summit aan Tom’s Hardware. Microsoft Copilot is een generatieve AI-assistent gebaseerd op hetzelfde GPT-model dat ook ChatGPT van OpenAI aanstuurt. De Copilot kan je helpen bij allerhande dagelijkse taken, zoals het doorzoeken van mails naar actiepunten, of opstellen van PowerPoints. Op dit moment moeten alle query’s aan Copilot echter langs de cloud passeren, omdat enkel daar voldoende rekenkracht voor inferentie zit.
Lokale inferentie
Dat kost tijd, netwerkcapaciteit en rekenkracht in het datacenter. Bovendien moeten eventueel privacy-gevoelige data heen en weer en dat willen klanten niet altijd. De oplossing is om Copilot lokaal te laten draaien, toch minstens voor iets lichtere taken. Dat is mogelijk, zolang de lokale hardware voldoende rekenkracht bezit om dergelijke inferentietaken efficiënt te verwerken.
Intel communiceert zelfs een cijfer: Microsoft wil 40 TOPS aan NPU-rekenkracht. Datzelfde cijfer werd eerder al door Trendforce naar buiten gebracht en we zagen het eveneens op slides van HP passeren. Opvallend: Microsoft zelf verkiest om er op dit moment vaag over te blijven en wil de 40 TOPS niet bevestigen of ontkennen aan de redactie. Gelukkig doet Intel dat dan maar in de plaats van Microsoft.
Toekomstgericht minimum
40 TOPS (Tera Operations per Second) is een maatstaaf voor de AI-pk’s van een NPU. Op dit moment heeft geen enkele computer met enkel een processor aan boord voldoende TOPS. De NPU’s aan boord van de processors van Intel en AMD hebben maximaal tien en zestien TOPS. Copilot kan met andere woorden niet lokaal draaien op de huidige generatie van ‘AI-pc’s volgens de cijfers van Microsoft, die breed bevestigd worden door intussen zowat iedereen behalve Microsoft.
Intel maakt zich sterk dat het de ondergrens voor Copilot-prestaties met de volgende generatie van chips nog dit jaar zal bereiken. Ook AMD is ongetwijfeld op de hoogte van de vereisten en het zou ons verbazen als nieuwe Ryzen-chips de minimumgrens niet halen.
De plannen van Microsoft tonen aan waar AI naartoe evolueert. De Copilot moet alomtegenwoordig worden en dat met behulp van lokale hardware. Eigenlijk maakt Intel hier voor een stuk een verkooppraatje voor Nvidia en AMD: vandaag komen enkel computers met discrete GPU aan boord aan de nodige TOPS.