Microsoft heeft nieuwe updates aangekondigd voor Azure Media Services, waaronder de populaire Video Indexer. Hierdoor is het voortaan mogelijk naar video’s te zoeken op basis van een persoon, object, visuele tekst, gesproken woord, entiteit of emotie.
Dit maakte Microsoft volgens MSPowerUser bekend tijdens de International Broadcasting Convention (IBC), die momenteel in de RAI in Amsterdam plaatsvindt.
Video Indexer kan voortaan automatisch inzichten en metadata uit video’s extraheren en ondersteunt nu ook geanimeerde karakterherkenning en meertalige spraaktranscriptie. Ook is Video Indexer voorzien van een nieuwe reeks modellen die geanimeerde tekens automatisch detecteren en groeperen. Hierdoor worden gebruikers in staat gesteld om deze eenvoudiger te taggen en te herkennen via geïntegreerde aangepaste vision-modellen.
Talen herkennen
Verder maakt Microsofts Video Indexer ook gebruik van machine learning (ML) voor een nieuwe, automatisch gesproken taalidentificatie voor meerdere inhoudsfuncties. Sommige media-items zoals nieuws, actualiteiten en interviews bevatten audio met sprekers die verschillende talen gebruiken.
De meeste bestaande spraak-naar-tekst-mogelijkheden vereisen dat de taal voor audioherkenning vooraf wordt gespecificeerd. Dat vormt een obstakel voor het transcriberen van meertalige video’s. ML identificeert nu de verschillende talen die in een media-item worden gebruikt. Na detectie ondergaat ieder taalsegment een automatisch transcriptieproces in de geïdentificeerde taal, waarna uiteindelijk alle segmenten samen worden geïntegreerd in één transcriptiebestand. Dit bestand bestaat uit meerdere talen.
Brand detection
Daarnaast is de brand detection verbeterd, waaronder bekende namen en locaties als bijvoorbeeld de Eiffeltoren in Parijs of de Big Ben in Londen zijn toegevoegd. Bovendien voegt een nieuwe functie een set tags toe in de metadata. Denk dan bijvoorbeeld aan een wide shot, medium shot, close-up, extreme close-up, meerdere personen en het verschil tussen buiten en binnen.