AI-model Shap-E zet tekst om in 3D-beelden

OpenAI heeft met Shap-E een AI-model uitgebracht waarmee je tekst kan omzetten in 3D-beelden

Na boekbesprekingen via ChatGPT kan je die teksten nu ook omzetten in 3D-beelden, dankzij Shap-E. Dat is het nieuwe AI-model van OpenAI. Je kan de resultaten zelfs omzetten in een STL-bestand en doorsturen naar een 3D-printer.

Aan de slag

Shap-E is gratis verkrijgbaar op GitHub. Zodra je alle bestanden en modellen hebt gedownload is het internet niet meer nodig om het model te gebruiken. Ook een API-sleutel van OpenAI is niet nodig, je wordt dus ook niets aangerekend voor het gebruik ervan.

Er komt wel wat bij kijken om alles te installeren en goed te laten draaien, OpenAI voorziet niet meteen een handleiding. Je begint in elk geval wel via de Python-pip. Na installatie heb je dan toegang via Jupyter Notebook.

Er zijn drie verschillende notebooks waarmee je aan de slag kan: tekst-to-3d (een tekstpromp), image-to-3d (om een 2D-beeld om te zetten in een 3D-object) en encode_model (om een bestaand 3D-beeld te gebruiken via Blender).

Goede evolutie

In tegenstelling tot Point-E – een eerder model van OpenAI om 3D-beelden te genereren – produceert Shap-E geen point clouds gebaseerd op tekstpromps, maar vormt dit model meteen de omtrek van objecten via een functie die ‘neural radiance fields’ heet; kortweg NeRFs. Zo zijn de beelden een stuk duidelijker.

NeRFs wordt ook gebruikt in virtuele of toegevoegde realiteit om een zo getrouw mogelijk uitziende en fotorealistische omgeving op te bouwen. Shap-E maakt gebruik van deze technologie om de omtrek en textuur van de objecten die door de tekstpromp wordt gesuggereerd, te creëren.

Shap-E is ook veel sneller dan zijn voorganger; alles verloopt via één enkele NVIDIA V100 GPU. De ontwikkelaars geven toe dat er voor grote projecten wel veel meer vermogen nodig is dan bij Point-E. Daarbij komt ook nog dat de AI voorlopig nog last heeft met meer complexe objecten. Maar algemeen is dit model al een hele stap voorwaarts.