Salesforce wil het trainen van modellen van neurale netwerken uitbreiden met ‘gezond verstand’. Het bedrijf ontwikkelde daarvoor een nieuwe dataset genaamd Common Sense Explanations (CoS-E).
Machine learning en deep learning gebeurt door enorme hoeveelheden data toe te voegen om vragen zo nauwkeurig mogelijk te beantwoorden. Het nu toevoegen van gezond verstand moet een verklaring geven waarom die antwoorden het beste zijn.
Onderzoekers van Salesforce hebben hun bevindingen verwoord in een document, waarin een manier wordt beschreven hoe de situatie verbeterd kan worden. Het document wordt gepresenteerd tijdens de jaarlijkse bijeenkomst van de Association of Computational Linguistics, die van 29 juli tot en met 2 augustus plaatsvindt in het Italiaanse Firenze, aldus Silicon Angle.
Verkeerde antwoorden
AI-technieken als machine learning en deep learning hebben de afgelopen jaren veel doorbraken opgeleverd. Denk dan aan zelfrijdende auto’s en spraak- en beeldherkenning. Toch beschikken deze technieken niet over gezonde, verstandelijke kennis. Het ontbreekt aan context die mensen wel hebben, zoals sociale conventies en natuurwetten. Maar ook oorzaken en gevolgen. Dit kan ervoor zorgen dat beslissingen en antwoorden van virtuele assistenten als Alexa, Google Assistant of iedere willekeurige chatbot soms verbijsterend of ronduit verkeerd zijn. Iets wat onderzoekers van Salesforce nu willen veranderen.
Voor de ontwikkeling van de CoS-E-database sloeg Salesforce de handen ineen met onderzoekers van de Tel Aviv University. Naast ook het Allen Institute for Artificial Intelligence en Amazons crowdsourcing-service Mechanical Turk. Zo kwamen onder meer onderstaande verklaringen tot stand als uitleg bij een vraag:
Beeld: Salesforce Research
Redeneren
“De database is in staat om grote hoeveelheden niet-gecontroleerde tekst op te nemen. Het destilleert gezond verstand uit die tekst en geeft daarvoor een redenering”, zegt Richard Socher, Chief Scientist bij Salesforce. Het neurale netwerk presteerde zelfs beter op de test ná het zien van de voorbeelden van menselijk redeneren, aldus Nazneen Rajani, Research Scientist bij Salesforce. “We speculeren dat de uitleg waardevolle informatie over de manier waarop de wereld werkt vastlegt. Het netwerk leert redeneren op basis van de informatie tijdens de training.”
Het vervolgens trainen van een tweede neuraal netwerk leverde een nog beter resultaat op. Hier werd het netwerk in een tweede fase getraind om te leren met gezond verstand te redeneren op basis van tekst die het heeft gelezen om de menselijk gegenereerde verklaringen van CoS-E na te bootsen.
CAGE-framework
Dit zogeheten Commonsense Auto-Generated Explanations (CAGE)-framework deed het zelfs nog beter in termen van nauwkeurige antwoorden, zo’n 65 procent was accuraat. Al heeft het nog een lange weg te gaan vergeleken met de 95 procent nauwkeurigheid waarmee mensen antwoorden geven.
Bovendien ligt er ook nog een uitdaging op het gebied van een vertekening in de modellen. Dit vanwege vertekening in de gegevens. Zo hebben de onderzoekers het onder meer over een “aanzienlijke ongelijkheid en vooroordelen op het gebied van geslachten, waarbij een groter aantal vrouwelijke voornaamwoorden in negatieve context verschijnen.