Itdaily - Wereldwijde storing hing al maanden in de lucht: bug uit juli legde Microsoft 365 plat

Wereldwijde storing hing al maanden in de lucht: bug uit juli legde Microsoft 365 plat

Houten blokken van een wankele toren die bijna omvalt, tegen een groene achtergrond.

De wereldwijde Microsoft 365-storing werd veroorzaakt door een bug die sinds juli al in een netwerkgateway van Microsoft sluimerde. Extra belasting door Teams en minder beschikbare servers deden de fout opduiken.

Vorige week kampte Microsoft met een wereldwijde storing die Outlook, Teams en Copilot op 12 en 13 november bijna 24 uur lang niet of beperkt beschikbaar maakte. De storing begon donderdag 12 november om 17.17 uur CET bij Exchange Online. Outlook, Teams, Copilot Chat, Intune en Purview werkten daardoor urenlang niet of slecht, en het herstel verliep zeer moeizaam.

Microsoft deelt een eerste analyse van de storing via het Microsoft 365-admindashboard. Voor wie daar geen toegang toe heeft maar toch wil weten wat er gebeurde, geeft Charles Lamanna, executive vice president Copilot, Agents & Platform bij Microsoft, via X een verkorte versie, met welgemeende excuses namens zijn werkgever.

Bug sluimerde sinds juli

Volgens Lamanna vielen drie factoren samen. De eerste is een latente fout in de servers van de netwerkgateway, de laag waarlangs het verkeer naar veel Microsoft 365-diensten binnenkomt. Onder bepaalde belasting ontstond in een intern proces lock contention, waarbij threads op dezelfde vergrendeling blijven wachten. De servers raakten overbelast en reageerden niet meer.

De fout kwam binnen met een aanpassing die Microsoft specifiek voor die gatewayservers had gemaakt. De fout en de aanpassing gelden volgens Lamanna niet voor andere Windows-omgevingen. Microsoft rolde de aanpassing vanaf juli gefaseerd uit volgens zijn procedure voor safe deployment. Na enkele weken draaide ze wereldwijd, ruim drie maanden lang zonder problemen.

De gewone belastingtests vingen de fout niet op, omdat het testlab een andere mix van verkeer en hardware gebruikt. Het probleem wordt erger op nieuwere servers met meer cores. De tests draaiden vooral op zwakkere hardware met minder cores.

Teams-verkeer en ontbrekende servers

Microsoft 365 heeft twee onafhankelijke netwerkgateways met een verschillende opbouw, zodat diensten bij problemen van de ene naar de andere kunnen overschakelen. Ongeveer vijftien uur voor de storing schakelde Teams over van de alternatieve gateway naar de primaire, die ook Exchange Online bedient. Dat verhoogde de belasting en veranderde het verkeerspatroon. Zo’n overschakeling hoort volgens Lamanna bij de normale werking.

Tegelijk stond bijna veertien procent van de servercapaciteit van de gateway buiten dienst, door een los probleem van de dag ervoor. Op zich had dat volgens Lamanna geen gevolgen, omdat de dienst genoeg reservecapaciteit had.

De hogere belasting en de kleinere capaciteit samen deden de bug uit juli plots opnieuw opduiken, tijdens de drukste uren in de Verenigde Staten. Verzoeken stapelden zich op tot de servers niet meer reageerden.

Kettingreactie over het hele serverpark

Valt een server weg, dan stuurt het verkeersbeheer van Microsoft gebruikers automatisch door naar gezonde endpoints. Daardoor kregen de resterende servers meer verkeer en liepen ze op hun beurt tegen dezelfde fout aan. In minder dan twee uur dook de fout in het hele serverpark op. Op het dieptepunt reageerde meer dan 80 procent van de servers niet meer.

De gateway bestaat uit duizenden capaciteitseenheden, stukken capaciteit met eigen hardware en netwerkinfrastructuur die per regio zijn ingedeeld. Scheidingen tussen die partities horen een kettingreactie tegen te houden. Door een afzonderlijk probleem deden ze dat deze keer niet. Wat dat probleem was, staat niet in de analyse.

Teams, OneDrive, SharePoint en de Office-apps konden uitwijken naar de andere gateway en kwamen daardoor sneller terug. Chats en vergaderingen in Teams werkten voor de meeste gebruikers het grootste deel van de tijd. Exchange Online kan niet uitwijken naar de andere gateway.

Herstel liep stroef

Het herstel verliep allesbehalve vlot. Servers die terug online kwamen, werden meteen terug overspoeld door wachtend verkeer en vielen opnieuw uit. De geautomatiseerde herstelprocessen van Microsoft zijn niet gebouwd voor een toestand waarin zo veel servers tegelijk niet reageren. Omdat de bug al maanden in productie zat, bood ook een rollback geen soelaas.

Toen vaststond dat de bug de oorzaak was, ontwikkelden de ingenieurs een update die het codepad terugzette naar de laatste versie die goed werkte. Ze haalden telkens groepen servers uit dienst, installeerden de update en herstartten ze voor ze weer in gebruik gingen. Dat gebeurde in grote blokken, soms meer dan de helft van een regio tegelijk.

Microsoft belooft tegen het einde van de week een incidentrapport. Het incident zal veel bedrijven doen nadenken over hun afhankelijkheid van het bedrijf. Werknemers wiens werkdag grotendeels in Teams en Outlook afspeelt, waren virtueel werkloos. Voor één dag levert dat misschien grappige memes op, maar als dergelijke storingen langer duren of vaker voorkomen, kan dit de productiviteit van bedrijven ernstig schaden.