Amerikaanse onderzoekers presenteren LegoGPT: een AI-model dat op basis van tekstprompts boekenrekken en andere constructies met Lego-blokken bouwt.
Met generatieve AI kan je vandaag veel maken. Van teksten tot beeld, video of muziek: voor alles bestaat tegenwoordig wel een AI-model. Onderzoekers van de Amerikaanse Carnegie Mellon University in Pittsburgh doen een gooi naar het meest originele model tot nu toe: LegoGPT. Zoals de naam doet vermoeden, is dit model gespecialiseerd in spelen met Lego-blokken.
Van tekst naar Lego
In een paper demonstreren de onderzoekers hoe het model werkt. Dat is in de basis niet veel anders dan hoe andere AI-modellen met tekstprompts werken. Je beschrijft wat je wil en het model zet het om naar een digitale tweeling van een Lego-constructie. Als je het model linkt aan een robotarm, hoef je de blokjes niet eens zelf te leggen. Van een boekenplank tot een gitaar of een tafel: LegoGPT kan met verschillende constructies overweg.
LegoGPT voorspelt stap voor stap welk stukje wanneer en op welke plaats gelegd moet worden. Daarbij wordt telkens gecontroleerd of de stenen correct zijn geplaatst, fysiek mogelijk zijn en of de structuur stabiel blijft. Als een structuur instabiel blijkt, rolt het systeem automatisch terug naar het laatste stabiele ontwerp.
47.000 Lego-structuren
Om het model te trainen, bouwden de onderzoekers een nieuwe dataset: StableText2Lego. Die bevat meer dan 47.000 Lego-structuren met ruim 28.000 unieke objecten, telkens gekoppeld aan gedetailleerde beschrijvingen. Elk ontwerp werd bovendien geanalyseerd op fysieke stabiliteit. Deze teksten werden gegenereerd door het renderen van Lego-objecten vanuit 24 verschillende hoeken, gevolgd door tekstgeneratie via GPT-4o. Het model is een afgeleide van Meta’s Llama.
Naast de basisstructuren kan het model ook texturen en kleuren toevoegen op basis van stijlgerichte beschrijvingen. In demonstraties slaagde ook een robot erin om automatisch enkele gegenereerde modellen fysiek te assembleren. De volledige dataset, het model en de code zijn publiek beschikbaar gemaakt.