Het nieuwe AI-model van Stability AI kan op basis van één afbeelding een 3D-scène genereren.
Stability AI introduceert een nieuw AI-model, Stable Virtual Camera, dat volgens het bedrijf 2D-beelden kan omzetten in “meeslepende video’s met realistische diepte en perspectief”. Het model kan op basis van slechts één afbeelding een 3D-scène creëren. Stable Virtual Camera is momenteel enkel beschikbaar voor onderzoeksgebruik onder een niet-commerciële licentie.
Van 2D naar 3D
Vorige zomer lanceerde Stability AI nog een model dat één video omzet in nieuwe video’s vanuit acht verschillende perspectieven. Het nieuwe aangekondigde model gaat niet van video tot 3D-model, maar van 2D-beeld tot 3D-video. Dit multi-view diffusiemodel genereert nieuwe weergaven van een scène op basis van een of meer invoerbeelden vanuit verschillende camerahoeken, met als resultaat een 3D-video.
Stable Virtual Camera kan video’s genereren in verschillende formaten: vierkant (1:1), staand (9:16) en liggend (16:9) met beeldverhoudingen tot 1.000 frames. Verder kan het model 3D-video’s genereren op basis van één of maximaal 32 invoerafbeeldingen. Het bedrijf meldt erbij dat in bepaalde scenario’s, zoals afbeeldingen van mensen, dieren of dynamische structuren (bv. water) de resultaten van lagere kwaliteit kunnen zijn.
De gebruiker kan bovendien zelf de verschillende camerahoeken bepalen voor de 3D-video. Het model is namelijk in staat om video’s te genereren die langs “dynamische’ camerapaden reizen, zoals ‘Spiral’, ‘Dolly Zoom’, ‘Move’, of ‘Pan’.
Stable Virtual Camera is momenteel enkel beschikbaar voor onderzoeksgebruik onder een niet-commerciële licentie, en kan gedownload worden op Hugging Face.