Nvidia geeft grote bedrijven de tools om aan de slag te gaan met complexe taalmodellen, om zo bijvoorbeeld chatbots te bouwen met geavanceerde functionaliteit binnen nichesectoren.
Op de digitale GTC 2021-conferentie introduceert Nvidia een set aan tools die grote bedrijven moet helpen om aan de slag te gaan met zogenaamde large language models (LLM). LLM’s zijn complexe AI-taalmodellen die computers helpen om op menselijke taal te reageren. Ze geven toepassingen een geavanceerd taalbegrip, niet alleen wat algemene spraak betreft maar ook in nichedomeinen.
Grootste LLM ter wereld
Concreet onthult Nvidia drie zaken, te beginnen met het Nvidia NeMo Megatron-framework om taalmodellen te trainen met biljoenen parameters. Megatron 530B is een LLM getraind binnen het raamwerk en kan getraind worden om met nieuwe domeinen en talen om te gaan. De Nvidia Triton Inference Server omdat tot slot software om met multi-GPU-servers snelle inferentie met de LLM’s te bolwerken. In combinatie met de juiste hardware duurt het zo minder dan een seconde voor een model taal geïnterpreteerd heeft en een antwoord kan bieden.
Het NeMo Megatron-raamwerk bouwt verder op het Megatron-Turing Natural Language Generation-model dat Nvidia begin oktober al introduceerde. Megatron 530B is volgens Nvidia het grootste aanpasbare taalmodel dat vandaag bestaat.
Hardware en inferentie
Het raamwerk en het LLM zijn ontworpen om te draaien op schaalbare infrastructuur met accelerators. Nvidia verwijst weinig verwonderlijk naar zijn DGX SuperPOD-hardware als basis voor de training. Die hardware combineert de strafste chips van Nvidia tot kleine HPC-modules, die organisaties kunnen combineren tot een groot AI-HPC-systeem.
Voor inferentie volstaat het volgens Nvidia om twee Nvidia DGX-systemen te combineren met de pas aangekondigde Triton Inference Serversoftware om de verwerking van data door het LLM tot minder dan een halve minuut te beperken.
Het model wordt momenteel al gebruikt door enkele Nvidia-klanten wereldwijd. Met Nvidia LaunchPad kunnen organisaties gratis expertise opdoen in de uitrol van grote taalmodellen. Verder stelt Nvidia zijn NeMo Megatron early access-programma open. De Triton-server is beschikbaar via de Nvidia NGC-catalogus.