Microsoft introduceert een nieuw type neurale architectuur. Het artificiële intelligentie (AI)-systeem maakt gebruikt van unsupervised learning, een tak van machine learning die kennis verzamelt van niet-gelabelde, niet-geclassificeerde en niet-gecategoriseerde testgegevens.
Dit maakte Microsoft onlangs bekend in het onderzoeksrapport Almost Unsupervised Text to Speech and Automatic Speech Recognition. De oplossing voor het ontwikkelen van het nieuwe AI-systeem bleek te liggen in Transformers, een neurale architectuur geïntroduceerd in 2017. Het systeem werd onder andere geschreven door wetenschappers van Google Brain, de AI-onderzoeksafdeling van Google.
Volgens Venturebeat bereikt het nieuwe AI-systeem een woordnauwkeurigheid van 99,84 procent en 11,7 procent PER voor automatische spraakherkenning. Het model vereiste slechts 200 audioclips en bijbehorende transcripties.
Transformers
Net als alle diepe neurale netwerken bevat Transformers digitale neuronen gerangschikt in onderling verbonden lagen, die signalen verzenden op basis van invoergegevens. Neuronen zijn mathematische functies, die losjes gemodelleerd zijn naar biologische neuronen. Bovendien passen ze langzaam het gewicht (belang) van elke verbinding met andere neuronen aan. Zo leert het model langzaam maar zeker dingen correct te voorspellen. Het unieke aan Transformers is dat ieder uitvoerelement verbonden is met ieder invoerelement. De onderlinge wegingen worden dynamisch berekend op basis van feedback, waardoor het systeem zichzelf kan verbeteren.
Weinig menselijke controle
Onderzoekers van Microsoft namen een Transformer-component op in hun AI-systeemontwerp, dat spraak of tekst als invoer of uitvoer kan verwerken. Daarbij gebruikten ze de openbaar beschikbare LJSpeech-dataset, die 13.100 Engelse audiofragmenten en transcripties bevat, als trainingsgegevens. De 200 clips zijn willekeurig uitgekozen met als doel het maken van een trainingsgegevensset. Een ruisarme auto-encodercomponent werd gebruikt om corrupte spraak en tekst te reconstrueren.
“In dit werk hebben we de bijna niet-gesuperviseerde methode voor tekst-naar-spraak en automatische spraakherkenning voorgesteld, die slechts enkele gepaarde spraak- en tekstgegevens en extra ongepaarde gegevens gebruikt. We laten in onze experimenten zien dat onze ontworpen componenten noodzakelijk zijn om de mogelijkheid van spraak- en teksttransformatie met weinig gepaarde gegevens te ontwikkelen”, aldus de onderzoekers.
Lees ook: Microsoft schenkt Azure nieuwe AI- en Blockchainmogelijkheden