Twitter heeft al enkele samenwerkingen met Google en gaat nu ook gebruik maken van de datacapaciteiten van de Google Cloud. Dat laat Twitter CTO Parag Agrawal weten in een blogpost. Het gebruikt de opslag in de Google Cloud als ‘koude opslag’.
Twitter schakelt Google Cloud in om zijn amper gebruikte data op te slaan. Deze zogenaamde ‘koude opslag’ worden samen met flexibele Hadoop-clusters vanaf nu verstuurd naar de Google Cloud-service. Hadoop is een populaire open sourcesysteem om diverse servers samen te weven tot à©à©n krachtige computer.
Hadoop-clusters
Hadoop is de basis van Twitter wat betreft data-opslag. Het draait meerder grote Hadoop-clusters, een van de grootste ter wereld. Hun Hadoop bestandssystemen zijn in totaal goed voor meer dan 300 PB petabyte (300 miljoen gigabyte) over tienduizenden servers. In de afgelopen jaren heeft Twitter regelmatig de noden voor hun platform en bijhorende infrastructuur herzien om te kunnen blijven groeien.
Twitter laat ook weten dat het de Google Cloud gaat gebruiken om bepaalde Hadoop computertaken zal draaien op de clouddienst. Wanneer je naar de architectuur kijkt, is het interessant om compute en opslag Hadoop-workloads te splitsen om op lange termijn beter te schalen.
De samenwerking is een teken aan de wand dat Google Cloud steeds meer business wil loskrijgen van Microsoft en Amazon, die beide de public cloud beheersen met hun dominant marktaandeel. Twitter heeft al langer nauwe banden met Google, onder andere een grote deal rond online doorzoeken van tweets sinds 2015.