NVIDIA heeft een nieuwe manier gevonden om generative adversarial networks (GAN) te trainen. Dankzij de ontdekking is er minder input nodig om om GANs te trainen. Hierdoor kan de techniek vaker gebruikt worden in de praktijk.
Elk GAN bestaat uit twee neurale netwerken: een generator en discriminator. Wanneer het doel is om nieuwe afbeeldingen te creëren, moet de discriminator duizenden afbeeldingen onderzoeken om de generator te kunnen aansturen. Om een GAN goed te trainen, zijn er tussen de 50.000 en 100.000 afbeeldingen nodig.
Bij te weinig input, krijgt een GAN te maken met overfitting. De discriminator heeft dan te weinig informatie om de generator goed te kunnen aansturen. In het verleden probeerden AI onderzoekers dat probleem te omzeilen met data augmentation. Als er niet voldoende materiaal was om mee te werken, creëerden ze vervormde kopieën van de aanwezige data. Het idee hierachter is dat het netwerk nooit exact dezelfde afbeelding ziet.
Hoe werkt de oplossing van NVIDIA?
De klassieke manier om een tekort aan input om een GAN te trainen op te lossen, brengt wat problemen met zich mee. Het GAN leert van de vervormingen, waardoor het minder accuraat bij het creëren van geheel nieuwe afbeeldingen. Hoe minder vervormingen nodig zijn, hoe preciezer het GAN zijn werk kan doen.
De nieuwe benadering van NVIDIA (adaptive discriminator augmentation, afgekort als ADA) maakt nog altijd gebruik van data augmentation, maar dan op een andere manier. Afbeeldingen worden niet langer in het hele trainingsproces vervormd. In plaats daarvan pakt ADA-vervormingen heel selectief aan, zodat het precies genoeg is om overfitting te voorkomen.
Grote impact op wetenschappelijk onderzoek
De ontdekking van NVIDIA lijkt een kleine verandering, maar de potentiële impact is groter dan je misschien zou verwachten. Veel onderzoekers die gebruik willen maken van AI hebben namelijk niet genoeg input om goed gebruik te maken van GAN.
Het is bijvoorbeeld moeilijk om een algoritme te trainen een zeldzame neurologische hersenaandoening te ontdekken, juist doordat de aandoening niet vaak voorkomt. Door een GAN te trainen met de ADA-benadering van NVIDIA kunnen onderzoekers wél gebruik maken van AI om zeldzame aandoeningen op te sporen.
Wanneer onderzoekers de techniek op deze manier gebruiken, levert het nog een extra voordeel op. Artsen en onderzoekers kunnen hun bevindingen makkelijker delen, doordat ze werken met afbeeldingen gecreëerd door een AI en niet alleen gegevens van echte patiënten.