Nvidia heeft een AI-model gebouwd dat het werk van app-ontwikkelaars in de virtuele wereld een flink pak kan verlichten.
Generate Explicit Textured 3D-meshes (GET3D) is de naam van het nieuwe AI-programma dat Nvidia lanceerde. GET3D genereert razendsnel karakters, gebouwen, dieren, voertuigen en andere 3D-objecten. Het model kan tot 20 objecten per seconden genereren via één GPU. Door die snelle manier van beelden genereren, kunnen app-ontwikkelaars sneller en eenvoudiger games of andere VR-toepassingen realiseren.
2D foto’s
Nvidia-onderzoekers trainden het AI-model met 2D foto’s van driedimensionale objecten. Het duurde volgens Nvidia slechts twee dagen om een miljoen afbeeldingen in het model te pompen via niet eens zo recente A100 Tensor Core GPU’s. In een blog zegt ondervoorzitter Sanja Fidler (AI-research Nvidia) dat ‘dankzij GET3D de democratisering van AI-aangestuurde content een stap dichterbij is. Dit kan een gamechanger zijn voor ontwikkelaars door de snelle manier waarop ze gevarieerde en interessante objecten in de virtuele wereld kunnen brengen.”
GET3D is getraind met een dataset aan 2D-afbeeldingen waar het model mee aan de slag gaat. Aan de hand van die beelden maakt GET3D talloze variaties van auto’s, dieren, huizen, stoelen enzovoort. Eerdere 3D-modellen zijn een pak trager en met minder oog voor detail dan GET3D. Ontwikkelaars die deze 3D-vormen in een grafische applicatie stoppen, kunnen het object naar wens aankleden, belichten en draaien.
Via een andere AI-tool van Nvidia, StyleGan-NADA, kunnen ontwikkelaars een specifieke stijl geven aan de objecten, simpelweg via tekst. Op die manier kunnen ze een auto tunen of, zoals de blog schrijft, een gewoon huis omtoveren in een spookhuis.
Toekomstbeeld
GET3D is, uiteraard, niet het eindstation in de ontwikkeling van 3D-beelden. Volgens de Nvidia-onderzoekers zal een toekomstige versie van GET3D nog een paar stappen verder gaan. Zo moet het mogelijk zijn om via camerabeelden het AI-model te trainen op levensechte data in plaats van afbeeldingen. Het zal ook mogelijk worden om GET3D te trainen op verschillende 3D-vormen tegelijk, in plaats van op één specifiek object per keer.