Eind maart kreunde Microsoft Azure onder de zware workload als gevolg van de corona-pandemie. Europese gebruikers stootten tegen capaciteitslimieten aan en konden onder andere geen nieuwe virtuele machines opstarten. De lange onderbrekingen werden initieel niet ontdekt door Microsoft omdat… de verantwoordelijke manager lag te slapen.
De onderbrekingen werden gedurende drie dagen lang geregistreerd vanaf 24 maart. Microsoft heeft voor zichzelf een doel opgelegd om binnen 10 minuten op elk probleem te reageren. Eind maart heeft het die limiet zwaar overschreden met vijf uur.
Chad Kimes, director of engineering bij Azure, geeft in een update toe dat de communicatie tijdens het incident problematisch was. Hij verontschuldigt zich voor de frustratie en verwarring die 6.136 klanten hebben ervaren. De reden voor de trage reactie was omdat de incident manager in de VS gebaseerd was en tijdens de problemen lag te slapen omwille van andere tijdzones.
Virtuele machines
Het technisch probleem werd veroorzaakt door capaciteitslimieten wat betreft virtuele machines (VM). Door de plotse piek in gebruik omwille van de corona-pandemie duurde het soms tot negen uur voordat er nieuwe Linux- en Windows-builds mogelijk waren.
“Het probleem hier is dat onze live-site processen een gap hanteren voor dit type incidenten”, zegt Kimes. “Wanneer er incidenten zijn zoals het falen van processen of prestatieproblemen, schieten er geautomatiseerde tools in actie. Die lanceren een incident bij de DRI (designated responible individual) en de PIM (primary incident manager). De PIM is de persoon die verantwoordelijk is voor de externe communicatie om incidenten te bevestigen.”
PIM en DRI
“Pipeline delays zoals nu het geval was bij de VM’s, worden gedetecteerd door andere tools. De PIM werd niet op de hoogte gebracht voor dit type incidenten. Als gevolg was de DRI volop bezig met het begrijpen van de technische problemen om mogelijke mitigaties uit te rollen. De PIM lag ondertussen te slapen. Pas wanneer de PIM online verscheen, ’s morgens vroeg aan de oostkust van de VS, werd het probleem erkend.”
Microsoft laat weten dat het live-site processen heeft verbeterd door de initiële communicatie van pipeline delay incidenten gelijktijdig te laten verlopen met andere incident-types. Tegelijk heeft het in Azure veranderingen aangebracht in de architectuur om flessenhalzen te mitigeren wanneer nieuwe agents worden geactiveerd in een hosted agent pool.