Europa krijgt een nieuwe weercomputer. Dat op AMD gebaseerde systeem zal meer dan een miljoen rekenkernen tellen en moet de resolutie van huidige simulaties vrijwel verdubbelen. Nauwkeurigere voorspellingen zijn het gevolg, ook voor ons land.
Atos gaat een nieuwe supercomputer bouwen voor het European Centre for Medium-Range Weather Forecasts (ECMWF). De Franse HPC-specialist haalde daarvoor een vierjarencontract ter waarde van 80 miljoen dollar binnen. Het ECMWF voorziet weersvoorspellingen voor lidstaten aan de hand van krachtige computermodellen. Onder andere België vertrouwt op het werk van de organisatie. De nieuwe supercomputer zal die modellen nauwkeuriger maken.
Hogere resolutie
“De simulaties op ons huidige systeem hebben een resolutie van 18 km op 18 km”, vertelt Andy Brown van het ECMWF. In die simulaties combineert de weerdienst data afkomstig van allerhande bronnen zoals satellieten, schepen, meetstations en weerballonnen.
De kwaliteit van de weersvoorspelling hangt af van de kwaliteit van de simulatie, en die wordt deels bepaald door de capaciteiten van de onderliggende hardware. “Met de nieuwe supercomputer kunnen we de resolutie opvoeren tot 10 km op 10 km.” Dat betekent dat de simulaties nauwkeuriger rekening kunnen houden met eigenschappen van het landschap, zoals kustlijnen, verstedelijkte gebieden en bergen. “Het verschil in nauwkeurigheid voor de voorspellingen is groot, zeker dicht bij de grond”, aldus Brown.
De supercomputer die Atos gaan bouwen, bestaat uit vier aan elkaar gekoppelde Bullsequana XH2000-systemen. “Om onze simulaties te bouwen, hebben we er maar twee nodig”, vertelt Brown. “We zijn echter een operationele dienst met klanten die rekenen op onze voorspellingen. Redundantie is daarom essentieel.”
AMD en vloeistofkoeling
“De nieuwe supercomputer is gebouwd rond AMD Epyc 7742-chips”, legt Andy Grant van Atos uit aan Techzine. “Iedere node in het systeem bevat twee van de 64 core-cpu’s. In totaal bevat de computer 7920 nodes, goed voor 1.013.760 kernen.” Atos koos voor AMD’s Epyc-processors, omdat die tijdens de benchmarks de beste prijs-kwaliteitsverhouding boden voor de workloads die het ECMWF wil uitvoeren. “De laatste tijd zien we AMD steeds meer als beste optie naar voren komen”, weet de specialist.
De computer is een technisch hoogstandje, uitgerust met een vloeibaar koelsysteem dat ongeveer ieder component van het systeem koelt. De koeling zit geïntegreerd op onder andere cpu en geheugen in iedere blade. Individuele blades klikken op de koelingloop met een geavanceerd systeem, dat ervoor zorgt dat de dingen eenvoudig te plaatsen en te verwijderen zijn zonder dat er een druppel water uit het koelsysteem lekt. Dat is natuurlijk noodzakelijk voor het onderhoud.
Besparing
De directe vloeibare koeling zorgt voor een compacter en stiller systeem, dat minder verbruikt. Brown: “Als instituut dat de planeet en het klimaat onderzoekt, wilden we onze eigen impact zoveel mogelijk beperken.”
Het systeem heeft dankzij het koelsysteem gecombineerd met nieuwere en efficiëntere processors een ‘power usage effectiveness’ van 1,05. Voor het ECMWF betekent dat dat het systeem vermoedelijk bijna de helft minder energie zal verbruiken dan de vorige supercomputer. Bovendien is een watergekoelde supercomputer meer dan drie keer kleiner in omvang.
Accelerators
De computer bevat verder enkele Nvidia Tesla V100-accelerators, maar die zijn niet bedoeld voor operationele productie. “De technologie staat niet stil, dus we willen vandaag al experimenteren met dergelijke hardware”, weet Brown. De nauwkeurigheid van de voorspellingen hangt zoals gezegd deels af van de hardware, maar ook van de kwaliteit van de gebruikte modellen. Die moeten geoptimaliseerd worden voor de onderliggende componenten. Vandaag is dat niet het geval, en volstaat een traditioneler HPC-systeem zonder accelerators.
De computer draait enkele keren per dag een vijftigtal simulaties die gecombineerd worden tot weersvoorspelling. Die worden verdeeld over telkens twee van de vier subsystemen en kunnen tijdig draaien op twee, moest dat nodig zijn. Tussendoor wordt de computer ingezet voor onderzoek. Volgens Brown zal de computer permanent voor ongeveer 90 procent van de capaciteit in gebruik zijn.
Rekenkracht
Het systeem wordt in Bologna in Italië geplaatst in de loop van dit jaar, en wordt in 2021 operationeel. De exacte prestatie wil Grant nog niet verklappen, al maakt hij zich sterk dat de supercomputer zo’n vijf keer krachtiger zal zijn dan het huidige systeem dat het ECMWF gebruikt. We vermoeden dat de rekenkracht ergens tussen de 30 PFLOPS en de 35 PFLOPS zitten. Als die inschatting klopt zit het systeem zowel wat piekrekenkracht als wat aantal kernen betreft in de top 3 volgens de huidige HPC-ranking van Top 500.