De ‘waarheid-checker’ controleert de output van taalmodellen zoals ChatGPT op fouten met een juistheidspercentage van negentig procent.
Op welke manier kan je gemakkelijk controleren dat de inhoud van een artificieel gegenereerde tekst correct is? Dat is misschien wel hét grootste probleem waar gebruikers van AI-taalmodellen als ChatGPT voor staan. Volgens Silicon Angle komt Got It AI nu met een oplossing voor de dag. De start-up van autonome, op AI-gebaseerde conversaties zegt een tool te hebben ontwikkeld die kan identificeren wanneer een chatbot in de fout gaat.
Waarheidchecker
Zowat iedereen die sinds begin december experimenteerde met ChatGPT raakte danig onder de indruk. In geen tijd maakt de chatbot, met slechts enkele prompts, een kant-en-klare tekst. Die tekst is gegenereerd op basis van miljoenen data over het internet. En net daar loert het gevaar om de hoek. Want vaak sluipen kleine, maar ook grote, fouten in de tekst. Daar heeft Got It AI naar eigen zeggen een oplossing voor gevonden.
De start-up ontwikkelde een autonome waarheidchecker, dat uiteraard ook is gebaseerd op artificiële intelligentie. De tool kan zichzelf dus trainen en, net als elk ander taalmodel, steeds correcter worden. Got It AI trainde de toepassing voor één specifieke taak: checken dat uitspraken van AI-modellen waar zijn en dat de chatbots dus niet aan het hallucineren zijn. Op die manier moeten gebruikers meer zekerheid krijgen van het waarheidsgehalte van hun AI-gegenereerde teksten.
lees ook
AI-taalmodellen dragen bij aan meer geloofwaardige phishingmails
Getest op 1.000 artikels
Got It AI testte de nieuwe tool op 1.000 artikels, over verschillende databases en met de implementatie van co-referentie, complexe taalkundige structuren, context en veranderende onderwerpen. Wanneer de toepassing een onjuist antwoord detecteert, dan krijgt de gebruiker in de plaats een verwijzing naar relevante artikelen waar ze de antwoorden kunnen vinden. Volgens Got It AI sluipen in twintig procent van de ChatGPT teksten grote of kleine fouten.
“De autonome waarheidchecker slaagt er in om tot negentig procent van die foutieve informatie te detecteren”, zegt mede-oprichter Chandra Khatri. “We bieden onze klanten een eenvoudige interface voor de waarheidscontrole waarmee we de dienst verder kunnen optimaliseren. Op die manier zullen we erin slagen om meer onwaarheden te ontdekken en vrijwel alle onnauwkeurige antwoorden te voorkomen.”
Bèta-versie
De waarheidchecker van Got It AI is in private bèta verkrijgbaar als onderdeel van de Autonomous Articlebot-dienst. Die dienst gebruikt dezelfde OpenAI generatieve taalmodellen die van ChatGPT. Bedrijven kunnen Articlebot verwijzen naar een interne kennisbank of een reeks artikelen zonder dat aanvullende training nodig is. Op die manier kunnen bedrijven ChatGPT effectief inzetten als een zakelijke chatrobot voor klantenondersteuning, helpdesk en supporttoepassingen.
“Dit is een doorbraak voor bedrijven omdat de tool erop is gericht om fouten te halen uit ‘bekende’ domeinconversaties die de gegevens putten uit de eigen kennisbanken, in plaats van ‘open’ conversaties over willekeurige onderwerpen. Het is een afzonderlijk taalmodel waarmee bedrijven nauwkeurige en vloeiende conversaties kunnen leveren aan de klanten”, besluit de andere mede-oprichter Amol Kellar.