Onderzoekers van Rice University hebben een manier ontdekt om neurale netwerken sneller en goedkoper te trainen. Dat doen ze door cpu’s te gebruiken. Deze ontdekking maakt een compleet nieuwe manier van deep learning mogelijk.
AI is de centrale technologie achter toepassingen zoals Alexa en Siri, digitale assistenten die afhankelijk zijn van machine learning om goed te werken. Het trainen van de artificiële intelligentie producten is vaak een duur en tijdrovend proces voor de makers. Dankzij het gebruik van cpu’s in de plaats van duurdere gpu’s kan hier verandering in komen.
Normaal gebruiken bedrijven gpu’s als hardware voor het versnellen van deep learning in technologie. Dit is echter zeer kostbaar. Goede gpu-platformen kosten al snel meer dan €80.000. De Rice onderzoekers hebben nu een kostenbesparend alternatief gemaakt: een algoritme genaamd ‘sub-linear deep learning engine (afgekort als SLIDE). Het nieuwe algoritme maakt dezelfde deep learning mogelijk, maar dan zonder de gespecialiseerde hardware om het proces te versnellen.
Volkomen nieuwe benadering
SLIDE gebruikt een volkomen nieuwe benadering voor deep learning. GPU’s bestuderen enorme hoeveelheden data, vaak miljoenen of miljarden neuronen, en passen verschillende neuronen toe om verschillende soorten informatie te herkennen. Deze methode is echter niet heel efficiënt, aangezien je niet elke neuron voor elke situatie hoeft te trainen. SLIDE selecteert de neuronen die relevant zijn voor de specifieke taak en past alleen deze toe voor de deep learning. Dat maakt het proces efficiënter en daarmee sneller.
Volgens Anshumali Shrivastava, assistent professor aan de Rice’s Brown School of Engineering, heeft SLIDE ook als voordeel dat het dataparallel is. “Met dataparallel wordt bedoeld dat als er twee data-instanties zijn die je wilt trainen, bijvoorbeeld een foto van een kat en een andere van een bus, zullen deze waarschijnlijk verschillende neuronen activeren. SLIDE kan kan ze onafhankelijk van elkaar updaten en trainen”, legt Shrivastava uit.
Blijven doorontwikkelen
De nieuwe technologie brengt ook zo zijn nadelen met zich mee. “De keerzijde is dat we veel geheugen nodig hebben vergeleken met GPU”, vertelt Shrivastava. Er is een chache-hierarchie in het werkgeheugen en je kunt tegen een probleem genaamd cache thrashing aanlopen, waarbij je veel vertragende cachemisses oploopt. Samen met Intel wordt er nog gewerkt aan dit probleem. Tot dusver levert de samenwerking al veelbelovende resultaten op.
Hoewel SLIDE een veelbelovende ontwikkeling is voor iedereen die werkt met artificiële intelligentie, zal de technologie de GPU-based training voorlopig nog niet gaan vervangen. Dat komt doordat het makkelijker is om meerdere GPU’s aan een systeem toe te voegen dan meerdere CPU’s. Wel heelft SLIDE het potentieel om AI-training toegankelijker en efficiënter te maken.
Volgens Shrivastava is er nog veel meer om te ontdekken. “Er is veel dat we nog kunnen optimaliseren. We hebben nog geen vectorisatie toegapast en nog geen ingebouwde versnellers in het CPU geplaatst. We kunnen nog veel doen om de technologie nog sneller te maken”. Het belangrijkste is volgens Shrivastava dat SLIDE laat zien dat er meerdere manieren zijn om deep learning toe te passen. “Onze technologie mag dan de eerste algoritmische benadering zijn om GPU te verslaan, maar het is hopelijk niet de laatste.”