Intel heeft een algoritme gelanceerd dat de ontwikkeling van complexe AI-modellen zou kunnen versnellen. Het zogeheten Collaborative Evolutionary Reinforcement Learning (CERL)-algoritme is dinsdag gepresenteerd op de ICML-conferentie voor machine learning in Californië.
CERL belooft de trainingsfase van artificiële intelligentie (AI)-projecten te versnellen, een van de meest tijdrovende onderdelen van de ontwikkelingscyclus, aldus Silicon Angle.
Minder effectief
Doorgaans neemt een neuraal netwerk, dat slim wordt via op beloningen gebaseerde training, een veilige route om het aantal punten dat het ontvangt te maximaliseren. De AI neemt dan minder snel risico’s en experimenteert minder met nieuwe benaderingen. Dat beperkt uiteindelijk de hoeveelheid die het model tijdens de training leert. Hierdoor werkt het mogelijk minder effectief als het eenmaal in een applicatie is ingezet.
Zogenaamde beleidsmatige gradiëntgebaseerde machinale leermethoden kunnen een probleem vormen, een van de meest voorkomende manieren waarop ingenieurs AI-modellen trainen. Er is een alternatieve benadering die deze beperking niet heeft (evolutionary reinforcement learning), maar het vereist aanzienlijk meer hardware. Het CERL-algoritme van Intel biedt hier nu een oplossing voor, door sleutelconcepten van beide benaderingen te combineren in een hybride workflow.
Gerandomiseerde instellingen
Het nieuwe algoritme van Intel lanceert trainingssessies door een groep neurale netwerken te genereren met gerandomiseerde instellingen. Het algoritme kiest de modellen uit die de meeste punten verdienen terwijl ze leren, legt de rest weg en genereert een nieuw gewas van AI’s op basis van de best presterende modellen. Zo ontstaat een situatie, waarin elke nieuwe generatie neurale netwerken beter is dan zijn voorganger. “De hoogst gerangschikte ‘elites’ worden behouden en de rest wordt weggegooid. We voeren ook mutaties uit over de elites om goed presterende nakomelingen te genereren om de afgedankte netwerken te ondersteunen”, aldus Somdeb Majumdar, technisch onderzoekleider bij Intel’s AI Lab.
CERL is uitgerust met een mechanisme genaamd replaybuffer om de training te versnellen. Via dat communicatiekanaal kunnen neurale netwerken in elke generatie ervaringen met elkaar delen om sneller te leren. Tegelijkertijd optimaliseert een tweede mechanisme de toewijzing van hardware. Hierdoor is er meer rekenkracht beschikbaar voor de snelst lerende modellen, met aanzienlijk snellere trainingstijden als gevolg.
Humanoid
Intel heeft de prestaties van CERL gemeten, door het algoritme te laten werken aan Humanoid. Dat is een AI-uitdaging, waarbij een driedimensionaal menselijk model wordt geleerd om te lopen. Volgens Intel CERL voltooide de taak na slechts 4.000 roll-outs, of interacties met de simulatie. Een traditioneel evolutionair versterkingsleersysteem vereiste 62,5 miljoen implementaties.
Majumdar: “De CERL-oplossing is geschikt voor elk grootschalig besluitvormingsprobleem dat een complexe taak oplost. Het is met name geschikt voor taken met meerdere hiërarchieën van vereisten, zoals fysieke robotica, complexe games en autonoom rijden.”