Google vertrouwt nog steeds voornamelijk op harde schijven voor opslag, maar heeft zijn eigen opslag ‘drastisch verbeterd’.
Bijna alle producten van Google vertrouwen op Colossus, een zelfgebouwd geautomatiseerd gegevensopslagsysteem dat harde schijven, ofwel hard disk drives (HDD), even snel laat werken als solid state drives (SSD). Een ontwikkelaar en opslagtechnoloog van de techgigant deelden de werking ervan in een blog.
Kolossaal systeem
Colossus is de basis voor Youtube, Gmail, de cloudopslagdiensten van Google en andere applicaties. Het systeem beheert exabytes aan data verspreid over verschillende datacenters. “De meeste datacenters hebben één cluster en dus één Colossus-bestandssysteem, ongeacht hoeveel workloads er worden uitgevoerd,” schrijft het duo. Het systeem werkt met zeer hoge snelheden tot wel 50 TB/s lees- en 25 TB/s schrijfsnelheden.
lees ook
‘Google plant nieuw datacenter in Wallonië’
Natuurlijk gebruikt Google naast schijfopslag ook flash-schijven. Om enkel daarop te vertrouwen is de technologie nog iets te duur. Een combinatie van harde schijven en SSD’s werkt daarom perfect. “De uitdaging is om de juiste data op SSD’s te zetten, terwijl het grootste deel op harde schijven blijft.”
Automatisering
Die uitdaging lost Google op door een geautomatiseerd cachesysteem genaamd ‘L4’ te gebruiken. Die kiest via machine learning dynamisch welke data het meest geschikt is voor SSD en welke voor HDD.
Colossus heeft echter een “groot zwak punt”, en dat is het gebruik van harde schijven. Die werken goed als er vaak dezelfde gegevens geüpdatet worden, maar minder bij bestanden die regelmatig kleine toevoegingen krijgen. “Het is beter om voor die use cases harde schijven volledig over te slaan.”
Het combineren van HDD en SSD blijft voor veel leveranciers van opslaghardware een lastige zaak. HDD is voorlopig nog steeds de goedkoopste en meest ingeburgerde optie, maar die gaat ten koste van de snelheid van SSD’s.