Bijna 7.000 conversaties met AI-assistent Muse van Meta waren zichtbaar via het publieke internet, inclusief gesprekken met gevoelige bedrijfsgegevens. De fout ligt bij Meta, maar toont het risico van Shadow-AI.
Muse, de persoonlijke AI-assistent van Meta, is “van de grond opwaarts gebouwd voor privacy en beveiliging.” Dat zei Meta-baas Mark Zuckerberg bij de lancering van de persoonlijke AI-assistent. Nu blijkt dat de constructie van al die privacy en beveiliging niet van de grond is gekomen zoals Zuckerberg in gedachte had: gegevens van al zeker 6.800 private gesprekken waren publiek toegankelijk omwille van een constructiefout in de tool.
Het gaat daarbij om conversaties die gebruikers op eigen initiatief wilden delen met andere mensen. Muse maakt in dat geval een unieke url en wie daarop klikt, kan de conversatie zien. Dat is geen inherent onveilig systeem: complexe en voor privaat gebruikte url’s bieden wel degelijk een goede beveiliging tegen ongewenste ogen.
Deelbare url
Meta is er echter niet in geslaagd zo’n veilig url-systeem te bouwen. In de plaats daarvan werden de deel-url’s van Muse op een manier gegenereerd die eenvoudig te ontdekken was.
Als een gebruiker Muse, de AI-agent van Meta, vraagt om een gesprek te delen, zet Muse dat gesprek op een eigen webpagina en krijgt de gebruiker zoals verwacht een link om door te sturen. Iedereen met die link kan het gesprek bekijken zonder in te loggen, en de link verloopt nooit. Het adres van de pagina in kwestie bestaat uit de titel van het gesprek plus een willekeurige code (bijvoorbeeld home-sale-budget-9f21c8a3.cf.metaaiusercontent.com). Die code moest ervoor zorgen dat niemand het adres kan raden.
Raden is echter niet het probleem: wanneer de ontvanger de gedeelde link opent, vraagt de computer eerst aan een DNS-server op welk adres die domeinnaam te vinden is, zoals het zoeken van een nummer in een telefoonboek.
Passieve DNS vergeten
Bedrijven die passieve DNS aanbieden, verzamelen al die opzoekingen in een doorzoekbare database. Dat kan handig zijn in het kader van bijvoorbeeld beveiliging, omdat er zo een log van verkeer ontstaat met daarin een link tussen adres en domein zoals die tijdens de opzoeking was. Beveiligingsonderzoekers van Claroc zochten in zo’n commerciële database naar alle domeinnamen onder het domein van Muse. Zo kregen ze een lijst van meer dan 6.800 gedeelde gesprekken, telkens met de titel erbij.
Als je het ons vooraf had gevraagd, dan hadden we gegokt dat deze data vergaren echte moeite zou kosten. We hadden maar één query nodig.
Claroc
Raden of kraken was niet nodig: ze openden de adressen in een gewone browser en de pagina’s laadden meteen. Ze bekeken er een paar honderd. “Als je het ons vooraf had gevraagd, dan hadden we gegokt dat deze data vergaren echte moeite zou kosten”, zeggen de onderzoekers van Claroc. “Maar we hadden maar één query nodig.”
Bedrijfsgeheimen
De onderzoekers geven op basis van een steekproef aan dat de meeste conversaties relatief onschadelijk waren, maar niet allemaal. Zo vonden ze persoonlijke gegevens terug, waaronder interne zakelijke documenten, zoals de voorbereiding van een vertrouwelijk gesprek met managers van een groot AI-bedrijf. Ze vonden ook financiële gegevens van een groot marketingbedrijf, en de vakantieplanning van alle werknemers van een andere onderneming.
De enorme privacy-bug heeft voor alle duidelijkheid niets te maken met de inherente veiligheid of onveiligheid van AI-technologie. Het gaat om een constructiefout. Meta en Zuckerberg gaven dan wel aan dat ze Muse van de grond af hebben opgebouwd voor privacy, een kritische geest kan de vraag stellen of Meta überhaupt weet hoe het iets moet bouwen met privacy als kernwaarde. Deze bug suggereert alvast van niet.
Meta heeft de functionaliteit voor het delen van chats met Muse als reactie op de onthullingen van de onderzoekers gepauzeerd. Het bedrijf gaat nu onderzoeken hoe het de deelfunctionaliteit veiliger kan maken.
Shadow-AI
Bedrijfsgegevens (en persoonlijke data) delen met een AI-assistent is niet zonder risico. De data komen terecht bij het bedrijf achter de assistent. Dat bedrijf moet dan adequate beveiliging inbouwen. Meta heeft dat niet gedaan.
Ook bij de gebruikers die gevoelige data deelden met de AI-assistent, vermoedelijk niet altijd met medeweten of goedkeuring van hun bedrijf, ligt een verantwoordelijkheid. Breed beschikbare AI-tools voldoen nu eenmaal niet aan dezelfde vereisten als zakelijk gecertifieerde oplossingen.
Toch is zogenaamde shadow-AI ingeburgerd, ook bij ons. Zo zagen we pas nog cijfers van SecureDNS van Secutec. Daaruit bleek dat het domein van ChatGPT het meest opgevraagde was van allemaal (gevolgd door enkele andere AI-tools en sociale netwerken). Dat wil zeggen dat medewerkers van bedrijven aangesloten bij de DNS-dienst massaal naar ChatGPT surfen.
Zwarte lijst
Alleen werken heel veel aangesloten bedrijven met Microsoft. Toch staat Copilot veel lager in de rangschikking. Dat impliceert dat werknemers op eigen initiatief naar een AI-dienst van hun keuze surfen. De data en conclusies komen wel met een kanttekening: het is niet zo dat we het exacte beleid van alle DNS-gebruikers kennen, ChatGPT staat niet noodzakelijk op een zwarte lijst. Vermoedelijk stond Muse van Meta bij de getroffen organisaties echter evenmin op een zwarte lijst.
AI-assistenten zijn IT-tools waar gebruikers heel vlot heel vertrouwelijke informatie mee delen. Zowel bedrijf als gebruiker staan daar best even bij stil voor ze er mee aan de slag gaan: hoe is de tool beveiligd? Van welk bedrijf is de AI-assistent? Is het een Europese of een Amerikaanse speler? En heeft de aanbieder van de AI-tool in kwestie een degelijke reputatie wat privacy betreft?