Chinese onderzoekers delen een nieuwe techniek om foto’s van mensen om te zetten naar bewegende animaties. Op enkele details na zien de video’s er levensecht uit.
Met hedendaagse AI-hulpmiddelen is het niet meer zo moeilijk om realistische foto’s en video’s te maken. Zelfs in het weergeven van menselijke figuren wordt AI steeds beter. Foto’s omzetten naar bewegend beeld, dat was tot heden echter nog een moeilijk te nemen horde. Chinese onderzoekers hebben met een tool genaamd Animate Anyone een doorbraak weten realiseren.
Om van stilstaand naar bewegend beeld te gaan, distilleert een AI-model fysieke kenmerken uit de foto van een persoon. Vervolgens wordt op basis van die kenmerken aan de hand van stable diffusion-technieken, een reeks afbeeldingen gemaakt van diezelfde persoon in een andere pose. Die beelden achter elkaar plakken creëert het effect van een animatie.
Die omzetting verloopt nu nog vaak stroef. De bewegende beelden bevatten inconsistenties in het fysieke uiterlijk of de kledij van het personage. In een paper onthullen de Chinese onderzoekers, gelinkt aan Alibaba, hoe ze dat hebben opgelost. Het model neemt een extra tussenstap om de relatie tussen het referentiebeeld en een ruimte beter te begrijpen, wat leidt tot betere weergave van de uiterlijke kenmerken.
Geanimeerde dansjes
In een reeks voorbeelden zien we hoe Animate Anyone zowel echte personen als 2D-animaties en zelfs humanoids een dansje laten doen op basis van één stilstaand beeld. De bewegende beelden zien er levensecht uit, maar als je goed kijkt zie je nog wel enkele imperfecties. Zo geven de onderzoekers aan dat handen en ogen voorlopig nog het grootste obstakel zijn.
Uiteraard zijn er wel ethische vragen te stellen bij deze technologie. Het model is nu nog enkel bestemd voor academisch gebruik, maar je kan je de vraag stellen wat er gebeurt wanneer deze technologie of een evenwaardige variant voor het grote publiek ter beschikking komt. Deepfakes zorgen nu al voor problemen voor de geloofwaardigheid van visuele content. Als de technologie nog beter wordt, hebben mensen met slechte bedoelingen niet meer dan een foto van een sociaal mediaprofiel nodig om je eender wat te laten doen.