Nvidia wil met 3D-avatars een gezicht plakken op zijn geavanceerde AI-technologie. De avatars moeten conversatiepartners worden voor gebruikers in het echte leven.
Nvidia wil zijn veelvoud aan geavanceerde AI-technologie vermenselijken. Daartoe introduceert CEO Jensen Huang op de digitale GTC 2021-conferentie het Nvidia Omniverse Avatar-platform. Daarmee kunnen organisaties AI-assistenten bouwen die kunnen praten.
De 3D-assistenten combineren spraak-AI, computerzicht, taalbegrip en reccomendation-modellen met gezichtsanimatie en graphics. Het geheel steunt op een veelvoud aan moderne technologie:
- Voor spraakherkenning zet Nvidia zijn Riva-softwarekit in. Die herkent spraak in verschillende talen en kan ook spraak genereren zodat de avatars antwoorden kunnen uitspreken.
- Het taalbegrip komt van het pas geïntroduceerde Megatron 530B large language-model (LLM). Dat kan spraak herkennen, begrijpen en vervolgens genereren. Megatron 530B is een voorafgetraind model dat met beperkte aanpasbaarheid vragen kan beantwoorden en kan praten over een veelvoud aan onderwerpen.
- Nvidia Merlin laat de avatars suggesties maken via de AI-reccomendation engine. Met Merlin kunnen organisaties deep learning inzetten op hun eigen data om zo relevante voorspellingen te faciliteren.
- Heeft de avatar camera’s ter beschikking, dan kan het ding kijken met de hulp van Nvidia Metropolis: het computervision-framework van Nvidia.
- Tot slot is er de avatar zelf. Die wordt geanimeerd via Nvidia Video2DFace, dat 2D en 3D-gezichtsanimatie combineert met AI en renderingtechnologie.
Bovenstaande technologieën worden in één applicatie geïntegreerd via het Nvidia Unified Compute Framework. De avatars nemen de vorm aan van schaalbare microservices die organisaties kunnen uitrollen via Nvidia Fleet Command.
lees ook
Microsoft maakt van Teams een computerspel voor vergaderingen
De avatars passen in de Nvidia Omniverse-wereld, waarmee het Nvidia organisaties digitale tweelingen van bedrijven en voorwerpen wil laten maken. Dat ligtdan weer voor een stuk in de metaversum-visie van Mark Zuckerberg, al is de visie van Nvidia een stuk concreter.
Grote impact
Nvidia ziet zijn 3D-avatars op korte termijn opwachting maken in onder andere restaurants, bij banken of op andere plaatsen waar eenvoudige interacties met klanten belangrijk zijn. In combinatie met de achterliggende technologie ziet Huang de opkomst van de intelligente assistent. Hij verwacht dat de impact groot zal zijn. “De use cases van robots en virtuele assistenten zijn ongelofelijk en verregaand.”
Concrete voorbeelden van gebruik van de avatars in het wild komen van Project Tokkio. Daarin zien we onder andere een avatar gebouwd naar de gelijkenis van Huang zelf, die praat over onderwerpen zoals biologie en het klimaat. Een tweede meer praktische demo toont een restaurantkiosk waar een digitale assistent begrijpt wat klanten willen bestellen.