Microsoft geeft meer inzicht in de tools die het gebruikt om de kwaliteit van zijn Windows-updates te verbeteren. Data speelt daarbij een centrale rol.
De Windows 10 October 2018 Update (1809) liep niet bepaald van een leien dakje. Zo’n vier maanden na lancering draait de update nog steeds maar op 21 procent van alle Windows 10-systemen. Door alle problemen kon Microsoft op kritiek rekenen over de kwaliteitseisen die het aan zijn updates stelt voor release. Als reactie geeft het nu meer inzicht in het proces dat het daarvoor hanteert.
Volgens Jane Liles en Rob Mauceri van Microsofts Windows Data Science-team wordt elke release benadert vanuit dezelfde vraagstelling: “Is deze Windows-update klaar voor klanten?”
“Het is de bedoeling om te bevestigen dat er automatische en handmatige tests zijn uitgevoerd, voordat we de kwaliteit evalueren via diagnostische gegevens en op feedback gebaseerde meetwaarden”, schrijven ze in een blogpost.
Alvorens een build bij Windows Insiders terechtkomt, gaat er een proces van interne kwaliteitstests aan vooraf. Na een automatische check gaan Microsofts eigen engineers met de software aan de slag om te stresstesten. Pas wanneer een Windows-update die controles doorstaat, wordt hij naar de eerste publieke testers uitgerold.
Herhaalbare metrics
Om te kunnen bepalen of een update klaar is, zijn betrouwbare en herhaalbare metrics nodig. “We bekijken de statistieken meerdere keren per week als onderdeel van ons normale ritme om de impact van de codeveranderingen beter te begrijpen”, schrijven de datawetenschappers. “Tegen de tijd dat we klaar zijn om naar onze klanten uit te rollen, moeten onze statistieken ten minste gelijk zijn aan of hoger zijn dan de kwaliteitsniveaus van de vorige release.”
Om de kwaliteit van een update te bepalen, kijkt het team naar het unieke aantal maandelijks actieve apparaten. Ze evalueren hoe het upgradeproces is verlopen en wat de “algemene gezondheid van de gebruikservaring” is. Vervolgens wordt gekeken naar concrete gebeurtenissen, zoals het aantal keer dat succesvol met wifi verbinding werd gemaakt, een PDF werd geopend in Microsoft Edge of ingelogd met Windows Hello.
RQV-dashboard
Centraal in het verzamelen en analyseren van al die data, staat het Release Quality View (RQV)-dashboard, dat meer dan 1.000 verschillende metingen in kaart brengt. Het dasboard wordt zowel tijdens de interne en publieke testfases gebruikt, als wanneer een update algemeen beschikbaar is.
Op basis van dit dashboard wordt bepaald in hoeverre een update klaar is voor lancering en welke bugs eerst moeten worden aangepakt. Meerdere keren per week worden meetings georganiseerd om de kwaliteit van de software te evalueren. “Te beginnen met de probleemgebieden met de laagste scores, lopen we langs de lijst met onderdelen waarvan de meetresultaten verhoudingsgewijs het verst van hun doelen af ​​liggen”, vertellen Liles en Mauceri.
Tussen meetings door evalueren engineers en managers op regelmatige tijdstippen zelf hun meetresultaten. Ze gaan op zoek naar fouten met behulp van analysehulpmiddelen om cohorten van faalcondities te correleren met problemen in de code. Dit stelt hen in staat om problemen gemakkelijker te diagnosticeren en op te lossen.
“Fixes die engineers toewijzen aan toekomstige builds worden bijgehouden door het systeem, zodat reviewers kunnen zien wanneer een fix wordt afgeleverd via een nieuwe build en de impact kunnen monitoren terwijl de build door zijn normale validatiepad beweegt”, klinkt het in de blogpost.
Klantenfeedback
De datawetenschappers zeggen trots te zijn op het valideringsproces dat ze hebben opgezet, maar erkennen tegelijk dat er nog belangrijke werkpunten zijn. Zo geven ze toe dat nog meer in klantenfeedback geïnvesteerd moet worden om “ons te helpen lacunes of inconsistenties in onze op diagnostische gegevens gebaseerde maatregelen te identificeren.”
Dat het verwerken van klantenfeedback nog kan worden verbeterd, was ook duidelijk bij de Windows 10 October 2018 Update. Die werd na lancering geplaagd door verschillende bugs, waarvan sommige nochtans al maanden eerder door Windows Insiders werden opgemerkt. De meldingen raakten evenwel niet hoog genoeg op Microsofts feedback-tracker, waardoor ze over het hoofd werden gezien of niet snel genoeg aangepakt.