Google heeft enkele van zijn cloudklanten een vervelend weekend bezorgd. Door verkeerd toegewezen IP-adressen functioneerden een heel aantal virtual machines niet meer naar behoren. De problemen zijn ondertussen van de baan, maar getroffen klanten moeten hun VM’s verwijderen en opnieuw aanmaken om weer verder te kunnen.
De problemen begonnen op vrijdagnamiddag rond 15u27 Pacific Time, ofwel net na middernacht Europese tijd. “Google Compute Engine VM-instanties zijn toegewezen met duplicate interne IP-adressen”, klinkt de uitleg in het statusdashboard.
Anderhalf uur later volgde het bericht dat een mogelijke workaround werd gevonden: “We denken dat klanten dit probleem kunnen omzeilen door f1-micro-instanties te lanceren en te stoppen totdat er geen dubbele IP-adressen meer worden verkregen. We wachten op bevestiging dat deze workaround werkt voor klanten.”
Tegen 20u03 PT, vier en half uur nadat de problemen begonnen, volgde de bevestiging dat de workaround werkt. Google verduidelijkte ook de oorzaak van het probleem: “Instanties die op enig moment zijn gestopt tussen 2018-06-14 08:42 en 2018-06-15 13:40 US/Pacific kunnen mogelijk niet beginnen met netwerken. Een nieuw toegewezen VM-instantie heeft hetzelfde IP-adres als een VM-instantie die binnen de vermelde periode is gestopt.” Hoeveel VM’s precies getroffen zijn, maakte het bedrijf niet bekend.
VM’s verwijderen
Om 03u33 PT volgde een nieuwe update: “Het mitigatiewerk wordt momenteel uitgevoerd door ons Engineering Team. Google Compute Engine VM’s met een intern IP-adres dat niet is toegewezen aan een andere VM binnen hetzelfde project, regio en netwerk, zouden dit probleem niet meer mogen zien optreden. Instanties waarbij een andere VM hun interne IP gebruikt, starten mogelijk niet met netwerken.”
Pas op zaterdagmiddag om 13u13 PT waren de problemen helemaal opgelost aan Googles kant. Getroffen klanten worden wel nog altijd gevraagd om hun getroffen VM’s te verwijderen (zonder de opstartschijf te verwijderen) en opnieuw aan te maken.
Het is niet duidelijk hoe de vergissing in het IP-beheer is kunnen gebeuren. “We zullen een intern onderzoek naar dit probleem uitvoeren en passende verbeteringen aanbrengen aan onze systemen om dit in de toekomst te helpen voorkomen of minimaliseren”, besluit Google.