Google rust Dataproc uit met enkele nieuwe functies. Zo wordt de dienst, die je kan gebruiken om Hadoop en Spark-clusters te draaien, krachtiger maar ook flexibeler.
Dataproc krijgt een upgrade. De dienst is een onderdeel van het Google Cloud Platform en biedt klanten de mogelijkheid om op een gemanagede manier Apache Hadoop- en Spark-clusters te draaien. Die clusters zijn voortaan compatibel met gpu-accelerators. Dat moet specifiek machine learning-gerelateerde workloads drastisch versnellen. Google voorziet keuze uit acht verschillende gpu’s van Nvidia, waaronder de Tesla V100, P100, K80, P4 en T4.
Autoscaling
Verder integreert Google autoscaling. Dat betekent dat de back-end voortaan elastisch en in realtime mee kan schalen met de noden van de workloads die je erop wil draaien. Is er een piek, dan krijgen de clusters automatisch meer hardware gealloceerd. Andersoms schaalt de geprovisioneerde hardware automatisch terug wanneer er minder pk’s nodig zijn.
Autoscaling moet verder de uitrol van nieuwe algoritmes vereenvoudigen. Raakt een toepassing succesvol door de testfase, dan kan Dataproc voortaan automatisch de nodige hardware provisioneren voor een uitrol in productie zonder dat IT daar tijd in hoeft te steken. De rekening wordt zoals steeds per seconde opgemaakt, zodat je enkel betaalt voor wat je gebruikt.
Verder integreert Google nog twee kleine nieuwigheden. Management wordt eenvoudiger met enkele nieuwe configuratie-opties en SparkR krijgt automatisering aan boord. In een blogpost, waarin Google de nieuwigheden aankondigt, vind je meer details.