Mozilla is al enkele weken aan de slag met de preview van Claude Mythos, en deelt enkele inzichten met de wereld. De essentie: Mythos doet wat het belooft, mits de juiste omkadering.
Mozilla klapt uit de biecht. Normaal gezien deelt de Firefox-maker geen details over intern gevonden bugs tot minstens enkele maanden na de lancering van een patch, maar nu maakt het bedrijf een uitzondering. Mozilla wil immers delen wat de impact en de meerwaarde is van AI in de zoektocht naar bugs.
271 kwetsbaarheden
In april liet Mozilla al weten 271 kwetsbaarheden opgespoord en gepatcht te hebben, met dank aan de Claude Mythos-preview van Anthropic. Ter opfrissing: begin april onthulde Anthropic het bestaan van dat Large Language Model (LLM), speciaal ontwikkeld om kwetsbaarheden in software te ontdekken. Mythos zorgde meteen voor consternatie: de AI kon in geen tijd kwetsbaarheden detecteren in software die zelfs de beste onderzoekers met de beste tools jarenlang niet hadden gezien.
Anthropic wist wat het in handen had: Mythos werd niet breed gelanceerd, maar toegang werd heel gericht voorzien voor een select groepje softwarebedrijven. Die konden dan aan de slag gaan met het LLM om bugs te patchen, voor in de nabije toekomst criminelen onvermijdelijk gelijkaardige technologie in handen zouden krijgen. Naast Anthropic werken immers ook de andere AI-bedrijven een AI voor bugs, en niemand maakt zich de illusie dat de technologie exclusief in handen zal blijven van de ‘goede’ kant.
Achterdocht
Mozilla is als maker van Firefox één van de partijen die Mythos inzet. Doel is de Firefox-browser veiliger te maken en eventuele AI-gedreven criminelen te snel af te zijn. De onthulling van de 271 gepatchte bugs kon echter meteen op enige scepsis rekenen, onder andere omdat Mozilla niet de gewoonte heeft om intern ontdekte bugs breed te delen of er een CVE aan toe te wijzen.
Bovendien hebben AI-bedrijven sinds de lancering van de eerste versie van ChatGPT niet bepaald een reputatie van nuance opgebouwd. Hoewel de impact van AI op verschillende sectoren, waaronder softwareontwikkeling, vandaag concreet en onmiskenbaar is, zijn de waarderingen van de betrokken bedrijven toch vooral gebaseerd op toekomstbeloftes, en staan immense investeringen in contract met het al even immense gebrek aan wist. Een gezonde achterdocht rond de rol van Mythos bij Mozilla, is dus begrijpelijk.
Meer details
Daarom komt het bedrijf nu naar buiten met meer details. Het is naar eigen zeggen niet de bedoeling om Mythos zelf te lauweren, maar wel om te illustreren wat de meerwaarde is voor dat LLM en gelijkaardige systemen.
Mozilla geeft eerst en vooral aan wat de situatie enkele maanden geleden was. AI kon al wel bug-rapporten genereren, maar die namen eerder de vorm aan van ongewenste slop. De rapporten lijken plausibel, maar waren vaak gehallucineerd. Project maintainers moesten reageren op vermoedelijke problemen en staken daar heel veel tijd in, ook als de vermoedelijke bug achteraf een hallucinatie bleek.
Niet alleen het LLM
Op enkele maanden tijd is die dynamiek volledig veranderd. Daarvoor wijst Mozilla naar twee oorzaken:
- De AI-modellen zijn plots veel krachtiger geworden (met Claude Mythos als voorbeeld),
- Mozilla heeft zijn technieken om LLM’s in te zetten drastisch aangepakt.
Het is de combinatie van beide, en dus niet alleen de lancering van een nieuw LLM, waar de grote winst volgens Mozilla zit.
Model in een harnas
Concreet heeft Mozilla geïntroduceerd wat het een harnas noemt. Het gaat daarbij in feite om een hele concrete afbakening van wat het LLM mag doen, op welke manier en met welke tools. Mozilla bouwde een heel systeem om een AI-model te integreren in zijn bestaande pijplijn voor bug-onderzoek.
Het bedrijf heeft met andere woorden niet zomaar AI losgelaten op de code. Het LLM kreeg specifieke instructies om te zoeken naar afgebakende problemen binnen een nuttige context. Waar het AI-systeem moest zoeken, besliste ingenieurs op basis van hun kennis en automatische signalen.
Het resultaat van die afbakening was dat bugrapporten plots erg concreet werden: het LLM kon duidelijke fouten vinden en aantonen wat er scheelde, op een manier waarop programmeurs iets aan hadden.
Concrete bugrapporten
Door de afgebakende integratie van de AI verdwenen de valse positieven en hallucinaties. Bugrapporten werden plots heel erg goed, met concrete en reproduceerbare resultaten. Het aantal ontdekte bugs steek daardoor exponentieel.
Mozilla wijst erop dat de uitwerking van het harnas een complexe taak was, met vele iteraties om tot het gewenste eindresultaat te komen. Mozilla bouwde een feedbackloop met menselijke ingenieurs om de aanpak uit te bouwen.
Natuurlijk speelt ook het nieuwe LLM een grote rol. Claude Mythos kon binnen de afbakening van het harnas aan de slag gaan met complexe logica over verschillende processen heen, om op die manier ongekende problemen te vinden. Het harnas is echter LLM-agnostisch. Mozilla kan eenvoudig Claude Mythos vervangen door een ander LLM, wanneer er een nieuwe of meer performante versie beschikbaar is.
Mozilla raadt softwarebouwers aan om vandaag al te beginnen met de bouw van een harnas dat werkt binnen de eigen context, met eender welk modern model. Dat harnas staat dan klaar voor de integratie van nieuwe modellen wanneer die beschikbaar komen.