De Alphabet-divisies Waymo, maker van zelfrijdende auto’s en AI-specialist DeepMind werken samen aan een efficiëntere manier om zelfsturende algoritmen te trainen en fine-tunen.
Het vinden van een meer efficiente manier om neurale netten te trainen, kan een cruciale voorsprong bieden in de hypercompetitieve wereld van geautomatiseerd rijden, aldus MIT Technology Review.
Population-based training
De eerder door DeepMind ontwikkelde techniek voor het verbeteren van videogame-algoritmen, genaamd population-based training (PBT), dient als basis. PBT haalt inspiratie uit de biologische evolutie. Daarbij versnelt de techniek de selectie van machine-learning algoritmen en parameters voor een bepaalde taak, door kandidaatcode te laten putten uit de sterkste specimens in een algoritmische populatie. Waarbij een specimens degene is die een gegeven taak het meest efficiënt uitvoert.
Het verfijnen van AI-algoritmen kan Waymo een voorsprong opleveren. In deze moeten algoritmen die zelfrijdende auto’s begeleiden, worden omgeschoold en opnieuw gekalibreerd naarmate de voertuigen meer gegevens verzamelen. Bovendien moeten ze op nieuwe locaties worden ingezet. Naast Waymo zijn er tientallen andere bedrijven die racen om de beste zelfrijdende technologie op echte wegen te demonstreren. Alphabet-divisie doet dat door verschillende manieren te onderzoeken om de ontwikkeling van zijn machine-learning algoritmen te automatiseren en te versnellen.
Machine-learning algoritmen
Machine-learning algoritmen worden gebruikt om weglijnen, borden, andere voertuigen en voetgangers te detecteren in sensorgegevens. Deze werken samen met conventionele of handmatig geschreven code om het voertuig te besturen en te laten reageren op verschillende gebeurtenissen.
“Een van de belangrijkste uitdagingen voor iedereen die machine learning uitvoert in een industrieel systeem, is het systeem opnieuw kunnen opbouwen om te profiteren van nieuwe code. We moeten het neurale net voortdurend opnieuw trainen en onze code herschrijven. En in het geval va hertrainen, moet je misschien je parameters aanpassen”, zegt Matthieu Devin, directeur van machine learning-infrastructuur bij Waymo.
Neurale netwerken
Zelfrijdende voertuigen vertrouwen vooral op deep learning, maar het configureren van zo’n diep neuraal netwerk is een lastige kunst. Zeker gezien het belang van de juiste eigenschappen en parameters. Zogeheten kandidaatnetwerken en parameters worden meestal handmatig geselecteerd, een tijdrovende bezigheid. Al behoort ook een willekeurige aangepassing door een computer tot de mogelijkheid, een die veel rekenkracht vereist.
“Bij Waymo trainen we tonnen verschillende neurale netten. Onderzoekers besteden veel tijd aan het uitzoeken hoe ze deze neurale netten het beste kunnen trainen”, zegt Yu-hsin (Joyce) Chen, infrastructuurbeheerder voor machine-learning bij Waymo.
Volgens Chen wordt PBT gebruikt om de ontwikkeling van diepgaande code te verbeteren, die wordt gebruikt om rijstrookmarkeringen, voertuigen en voetgangers te detecteren. Bovendien controleert het de nauwkeurigheid van gelabelde gegevens, die weer naar andere algoritmen voor machinaal leren worden gevoerd.
Ontwikkelingscyclus
PBT zou inmiddels de benodigde computercapaciteit om een ​​neuraal net te trainen met ongeveer de helft hebben verminderd. Ook zou de snelheid van de ontwikkelingscyclus zijn verdubbeld of verdrievoudigd. Het evolutie-achtige proces dat in PBT wordt gebruikt, zou het ook eenvoudiger maken te begrijpen hoe een deep learning-algoritme is aangepast. Naast ook geoptimaliseerd met iets dat lijkt op een genealogische boom.
Lees ook: Machine learning steeds populairder bij netwerkbeheerders