Nvidia lanceert binnenkort Chat met RTX. Dat is een tool waarmee je lokale data kan koppelen aan een groot LLM, om de output ervan zo te personaliseren.
Microsoft toonde op CES in Las Vegas een demo van Chat met RTX. Dat is een demo-toepassing waarmee je de kennis van een LLM kan uitbreiden met eigen relevante data. Met de tool kan je eigen data waaronder documenten en video’s linken aan het LLM zodat die gegevens worden meegenomen in je vraagstelling. Antwoorden worden zo in theorie een stuk nauwkeuriger.
De tool van Nvidia gebruikt de nieuwe TensorRT-LLM-bibliotheek voor Windows, waarmee een Tensor-GPU van Nvidia AI-workloads kan accelereren. Verder berust Chat met RTX op een techniek die RAG heet, wat staat voor Retrieval-augmented generation.
Externe bronnen
RAG zorgt ervoor dat je een LLM eenvoudig aan externe bronnen kan linken, die zo telkens context bieden bij de vragen die je stelt. Zo kan je bijvoorbeeld via Chat met RTX de meest recente versie van je productcatalogus aan een LLM koppelen, waarna je vlot vragen over die catalogus aan de AI-chatbot kan stellen.
Chat met RTX draait in eerste instantie lokaal. Zo kan je met een compatibele computer vlot relevante data aan je prompts toevoegen. De app werkt met gewone tekst, pdf, doc(x), xml en zelfs YouTube-video’s. Volgens de demo van Nvidia lijkt ook het getrainde LLM waaraan je de data koppelt, lokaal te draaien. Dat wordt dan geaccelereerd door de RTX-GPU.