Nvidia lanceert Nemo Guardrails: een opensource toolkit die ervoor zorgt dat chatbots niet van het padje gaan, toegeven wanneer ze iets niet weten en zwijgen wanneer ze iets niet mogen zeggen.
Nvidia stelt NeMo Guardrails voor. Dat is een toolkit waarmee het relatief eenvoudig is om gedragsregels voor chatbots te programmeren. Nvidia maakt NeMo Guardrails meteen opensource en stelt de code via GitHub ter beschikking. Het is de bedoeling dat ontwikkelaars overal ter lande er op verder bouwen, zodat chatbots zo snel mogelijk zo veilig en zo betrouwbaar mogelijk worden.
“Doorgaans praat je als gebruiker niet rechtstreeks met een Large Language Model, maar met een toolkit die daar tussen zit”, licht Jonathan Cohen toe. Hij is Vice President voor Applied Research bij NVIDIA en stelde NeMo Guardrails aan ons voor in anticipatie voor de lancering. “LangChain is zo’n populaire toolkit. NeMo Guardrails zit tussen de gebruiker en het LLM of zo’n toolkit.”
3 domeinen
Daar moet NeMo Guardrails chatbots houvast bieden in drie domeinen:
- Onderwerp-gerelateerd: NeMo kan beperken over welke onderwerpen een ChatBot kan praten. Zo kan een bedrijf een LLM bijvoorbeeld verbieden om dieper in te gaan op producten van de concurrentie.
- Veiligheid: NeMo Guardrails voorkomt hallucinaties, waarbij een chabot een antwoord verzint zonder feitelijke fundering. De toolkit moet ook gevaarlijke antwoorden of misinformatie tegengaan.
- Beveiliging: De opensource toolkit zorgt ervoor dat een LLM niet zomaar aan een externe toepassing kan gekoppeld worden.
Colang
NeMo Guardrails is eenvoudig te programmeren via een taal die Nvidia ontwikkelde: Colang. Die lijkt erg op Engels en dient om NeMo te vertellen wat een chatbot wel en niet mag. Nvidia geeft het voorbeeld van een HR-chatbot binnen het eigen bedrijf. Die mag enkel op HR-vragen antwoorden. Om te voorkomen dat de chatbot informatie over financiële resultaten van Nvidia geeft, die misschien zelfs foutief zijn, volstaat het om enkele voorbeeldvragen rond dat onderwerp te geven en die te koppelen aan een voorbeeld van een weigering.
Stel je dan een vraag over de kwartaalresultaten, dan zegt de chatbot dankzij NeMo iets als “Sorry, ik ben een HR-bot, op die vraag kan ik niet antwoorden.” Hetzelfde geldt voor alle types van ongeoorloofde of malafide vragen. Via Colang moet je niet alle mogelijke ongeoorloofde prompts ingeven; een tweetal voorbeelden volstaat.
Een LLM voor je LLM
NeMo is dus best intelligent. Dat komt omdat de toolkit zelf werkt via een LLM dat voor de job getraind is. “Voorlopig is één van de beste manieren om een LLM te controleren om een ander LLM te gebruiken om antwoorden te verifiëren”, verduidelijkt Cohen. Als een chatbot een antwoord heeft op een vraag, kan NeMo aan zijn fact check-LLM vragen of dat antwoord klopt op basis van de beschikbare bedrijfsinformatie.” Volgens Cohen werkt dat systeem best goed.
Als gebruiker praat je met NeMo, en niet rechtstreeks met het LLM. NeMo verifieert dan antwoorden, maar zorgt er ook voor dat malafide vragen nooit tot bij het LLM geraken. In het voorbeeld van de HR-chatbot kan je bijvoorbeeld als werknemer vragen of Nvidia werknemers die willen adopteren kan bijstaan. Die legitieme vraag gaat naar het LLM, waarna een feitelijk antwoord volgt. Vraag je hoeveel mensen die bij Nvidia werken, al geadopteerd hebben, dan blokkeert NeMo de vraag. Je krijgt te horen dat de chatbot het antwoord op die vraag niet kan delen. In feite is het NeMo die de weigering communiceert, en niet de achterliggende chatbot zelf.
Niet onbaatzuchtig, wel heel relevant
Cohen denkt dat NeMo Guardrails een goed systeem is om chatbots allerhande veilig te houden. “We maken de toolkit opensource, omdat betere chatbots volgens ons een goede zaak zijn voor iedereen”, zegt hij. Toch zien we ook een beetje eigenbelang. Cohen: “De NeMo Engine is bescheiden en gebruikt weinig rekenkracht, maar wanneer NeMo Guardrails zelf iets aan een LLM moet vragen, gaat daar wel een kost mee gepaard.” Met andere woorden: NeMo zelf vertrouwt op inferentie via LLM’s. En wie zou de marktleider zijn in hardware voor dergelijke workloads?
lees ook
Nvidia toont nieuwe GPU’s om inferentie-honger van nieuwe AI-modellen te stillen
NeMo Guardrails lijkt wel een best complete oplossing die de grootste problemen van chatbots vandaag oplost. Door antwoorden van LLM’s na te kijken, hallucinaties te voorkomen en gesprekken af te bakenen tot onderwerpen waarvoor het achterliggende LLM de juiste informatie ter beschikking heeft, wordt de technologie plots een stuk betrouwbaarder. Via Colang kost het bovendien niet zoveel moeite voor programmeurs om de juiste handvaten voor een chatbot te implementeren.
NeMo Guardrails is per direct beschikbaar via GitHub. Nvidia voorziet meteen verschillende templates van handvaten waar ontwikkelaars mee aan de slag kunnen.