Nu we de technologie voor spraakbesturing redelijk onder de knie hebben, is conversationele AI de volgende stap. Nvidia heeft drie nieuwe technologieën opensource beschikbaar gemaakt om die ontwikkeling te versnellen.
In plaats van één commando aan één actie te koppelen, is het doel van conversationele AI om het gesprek met een spraakassistent interactiever en natuurlijker te maken. De spraakasssistent moet daarvoor een begrip krijgen van context.
De eerste resultaten daarvan zie je bijvoorbeeld al bij de Google Assistant. Die kan na een correct antwoord op de vraag “Wie was de hoofdrolspeler in Indiana Jones?” (Harrison Ford) vervolgens ook de vraag “Wat is zijn leeftijd?” (77 jaar) correct beantwoorden. De Assistent onthoudt bij vraag twee dat wordt terugverwezen naar de eerste vraag. Dat is een evidentie voor mensen, maar een stuk lastiger voor een computer.
Hoewel de bouwstenen van conversationele AI gelijk zijn aan die voor klassieke spraakherkenning, liggen de eisen voor training, inferentie en modelgroottes hoger, waardoor meer rekenkracht nodig is. Om de ontwikkeling te versnellen, heeft Nvidia drie nieuwe technologieën ontwikkeld en opensource beschikbaar gemaakt via GitHub, zo meldt ExtremeTech.
Snellere training
Het trainen van conversationele AI gebeurt via bestaande taalmodellen, zoals BERT van Google. Zo’n referentiemodel moet evenwel nog voor elke specifieke taak opnieuw worden getraind. Dat trainingsproces kan zelfs op high-end GPU-clusters dagen duren.
Nvidia heeft die klus nu in minder dan een uur geklaard met behulp van een DGX SuperPOD. Die is opgebouwd uit maar liefst 1.472 Tesla V100-gpu’s (SXM3-32GB), 92 DGX-2H-servers en 10 Mellanox Infiniband-switches per node. De huurprijs om daar gebruik van te maken zal niet mals zijn, maar het kan de time-to-market aanzienlijk verkorten.
Snellere inferentie
Ook het inferentieproces, waarbij op basis van het model en de data-input nieuwe informatie wordt gegenereerd, kan dankzij ontwikkelingen van Nvidia worden versneld. De benchmark die de industrie hanteert voor natuurlijke conversaties ligt op 10 milliseconden. Het begrijpen van de vraag en aanbieden van een antwoord is maar een deel van dat proces en moet dus nog sneller gaan.
Door BERT te optimaliseren met TensorRT 5.1, is Nvidia erin geslaagd om het inferentieproces terug te brengen tot 2,2 milliseconden met een Nvidia T4. Dat is een gpu die binnen het bereik ligt van elk ietwat serieus project.
Grotere modellen
Tot slot heeft Nvidia een manier bedacht om meerdere gpu’s tegelijk in parallel te laten meewerken aan het trainen van een model. De omvang en complexiteit van een model worden beperkt door de hoeveelheid beschikbare RAM, omdat alle parameters van het model tegelijk in het geheugen verwerkt moeten worden.
Dat betekent dat de grootte van een model wordt beperkt door het beschikbare RAM-geheugen. Een cpu kan in vergelijking met een gpu over veel meer RAM beschikken, maar dat gaat ten koste van de snelheid van de training. Door meerdere gpu’s te laten samenwerken, is meer geheugen beschikbaar voor training van complexere modellen.
Gerelateerd: Met de neus tegen de muur: het einde van de grote sprongen in computerkracht