Het kan de beste overkomen. Een codeerfout bij Microsoft zorgde ervoor dat gebruikers van Azure Container Apps urenlang beperkt tot niet aan hun logboekgegevens konden.
De storing in Azure Container Apps begon in de nacht van 6 op 7 juli en werd pas in de late voormiddag opgelost. Ook het SIEM-platform Sentinel deelde mee in de klappen. Microsoft blikt nu uitgebreid terug op het incident en steekt daarbij de hand ruiterlijk in eigen boezem. Naar verluidt lag een interne codeerfout aan de problemen, met vervelende gevolgen voor gebruikers van dien.
Wat ging er mis?
Microsoft voerde op 3 juli een code-implementatie uit voor het containerplatform in Azure. Wat normaal een standaardprocedure zou hebben moet zijn, ging verkeerd. Een misconfiguratie in de code zorgde ervoor dat de bootstrap-service in een lus verzeild geraakte waarbij het elke vijf tot tien seconden opnieuw werd opgestart. Hierdoor werd ook elke tien seconden een herconfiguratie van het telemetriecontrolepaneel doorgevoerd.
De ontwikkelaars merkte de fout op 6 juli op , maar op dit moment was de capaciteit van het telemetriebesturingsvlak uitgeput geraakt. Verzoeken van andere applicaties werden hierdoor afgewezen of uitgesteld, waardoor ze niet konden opstarten. Met enkele dagen vertraging bereikte de impact van de codeerfout uiteindelijk dan ook gebruikers van Azure Container Apps.
Leren van je fouten
Je fout toegeven is een ding, er iets uit leren is een andere zaak. Microsoft belooft maatregelen te nemen om de impact van interne fouten te beperken, moest dit zich ooit nog eens voordoen. Naast het toevoegen van extra capaciteit aan het telemetriebesturingsvlak, zal Microsoft ook de caching en throttling uitbreiden. Meer informatie lees je in deze blog.
De eerste week van juli was woelig voor Microsoft Azure. Het hevige stormweer in Nederland deed een glasvezelkabel breken, met cloudpannes in West-Europa tot gevolg. Ook hier wist Microsoft snel in te grijpen en deelde ook al een uitgebreid incidentrapport.