Wie denkt dat een HPC-installatie of supercomputer in essentie een samenraapsel is van beschikbare componenten, heeft gelijk. Wat je misschien niet weet, is dat elke type workload specifiek is en dat er heel wat vooraf wordt gebenchmarkt voordat een installatie groen licht krijgt.
Wie vandaag naar een HPC-installatie (High Performance Computing) kijkt, ziet een ruimte vol met racks, die via lucht of water gekoeld worden. In de racks zitten in feite een hele hoop specifieke computers, die verbonden worden met elkaar over een “low-latency” netwerk. Omdat de systemen fysiek dicht tegen elkaar staan in één ruimte, worden die vandaag ook wel clusters genoemd.
Een supercomputer bevat alle componenten die een klassieke server of computer vandaag heeft, zoals processors, opslag, geheugen of voeding. Het enige verschil is dat zo’n installatie op een heel andere schaal opereert, met onder andere (tien)duizenden processors. We zitten samen met Rick Koopman, EMEA Technical Leader HPC bij Lenovo, om dieper te graven in de HPC-wereld.
Lenovo heeft sinds de overname van de x86-servertak van IBM een flink marktaandeel opgebouwd en is met 174 systemen het prominentst aanwezig in de Top 500-lijst van snelste supercomputers. HPE-Cray is goed voor 71 systemen en staat gelijk met het Chinese Sugon. De verdere lijst: Inspur (66), Atos (23), IBM (16), Fujitsu (15), Dell EMC (11) en Huawei (10). IBM staat nog steeds apart in de lijst omdat het zijn Power PC-architectuur niet heeft verkocht aan Lenovo en daarmee een concurrent blijft.
Elk HPC-systeem vooraf testen
Alles begint bij de productie van de diverse componenten waarmee je een HPC-installatie uitrust. Heel wat fabrikanten assembleren de diverse componenten in één node in China en zijn afhankelijk van talrijke toeleveranciers. Denk daarbij aan Intel en AMD voor cpu’s, Nvidia en AMD voor gpu’s, Mellanox of Intel voor interconnects, geheugen, NVMe-kabeltjes en andere toebehoren: de lijst gaat door.
Alles begint bij de productie van de diverse componenten waarmee je een HPC-installatie uitrust.
Tijdens het begin van de coronacrisis was dat een behoorlijk lastige zaak, omdat je afhankelijk bent van elke toeleverancier om een compleet product neer te kunnen zetten. Koopman: “Net als bij andere OEM’s hebben we de crisis ook gevoeld in China, maar gelukkig hebben we productiefaciliteiten over de hele wereld. Zo wordt bijvoorbeeld het meeste materiaal binnen onze datacentertak voor Europa in elkaar geschroefd in Hongarije.”
Bij Lenovo installeren en testen experts elke rack vooraf om na te kijken of alles naar behoren werkt en er geen defecte componenten of losse aansluitingen zijn. Elke rack draait een HPL-benchmark (LINPACK) en de rapportage daarvan wordt meegeleverd aan de klant.
Benchmarken voor vertrek
“In Hongarije kunnen we tot vijf racks tegelijk testen. Die worden daarna compleet verscheept zodat de klant niet meer aan de rackconfiguratie hoeft te komen. Wie zijn eigen racks heeft geïnstalleerd en liever de componenten apart wil ontvangen, kan ook bij ons terecht. Daarvoor hebben we een bijzondere ‘kartonnen rack’ ontwikkeld zodat alles op zijn plaats blijft en de klant eenvoudigweg alles op zijn plaats kan schuiven.”
Dankzij de HPL-benchmarks per rack kan de klant perfect zien welke hardware volgens de norm presteert, welke iets minder en welke iets meer. “Soms kan daar tot 10 procent verschil op zitten. Met die rapporten kan de klant daarna de fysieke of logische nodes met dezelfde eigenschappen bij elkaar zetten voor betere prestaties.”
Nodes met dezelfde prestaties zet je best bij elkaar, zodat je runtime voorspelbaarder wordt. Daarom dat vooraf benchmarken voor levering belangrijk is om het maximale uit een systeem te halen. Twee of drie procent winst lijkt weinig, maar wanneer je kijkt naar een HPC-systeem is elke procent waardevol.
Elke configuratie is anders
De supercomputer is bij de klant toegekomen, maar hoe weet die nu wat er echt nodig is? Soms vindt een HPC-installatie zijn weg naar een autofabrikant voor heel specifieke toepassingen. Andere installaties moeten dan weer heel universeel zijn, opdat allerlei (wetenschappelijke) instanties ze kunnen huren. Op die momenten is een benchmarkcentrum nodig. Elke fabrikant heeft zijn eigen site waar diverse nodes staan opgesteld om configuraties te testen.
Binnen het benchmarkcentrum van Lenovo staan totaal 16 racks met apparatuur, waarvan 5 racks aan compute die tjokvol zitten.
“We merken wanneer we naar grote klanten gaan dat ze soms al weten wat ze nodig hebben”, zegt Koopman. “Wanneer we dan hun applicatie draaien op al onze diverse systemen, kunnen we zwart-op-wit laten zien welke configuratie de beste prestaties geeft en eventueel betere opties aangeven. Of dat nu AMD of Intel is, gpu’s of andere acceleratoren, dat maakt voor ons geen verschil. We zoeken altijd samen met de klant naar de meest performante oplossing, die binnen zijn budget en energievoorziening past.”
Het benchmarkteam van Lenovo is verdeeld over de wereld en het benchmark systeem staat fysiek in Stuttgart, waar deze specialisten fulltime dag in en dag uit testen. “Het is zeer tijdsintensief werk, omdat er ontzettend veel verschillende configuraties en meerdere iteraties mogelijk/nodig zijn. We moeten met een strikte planning werken om alles te kunnen testen.”
Eigen benchmarkcentrum
Binnen het benchmarkcentrum van Lenovo staan totaal 16 racks met apparatuur, waarvan 5 racks aan compute die tjokvol zitten. De rest van de racks zijn gevuld met HPC netwerk en opslag oplossingen. Dat is een mix van Intel en AMD. Er zijn ook twee interconnect-opties om te benchmarken: Intel Omni-Path of Mellanox InfiniBand. Intel parkeert daar op 100 Gbps, terwijl Mellanox vandaag 200 Gbps aanbiedt (volgens de Mellanox planning volgend jaar 400 Gbps), maar volgens Koopman kan Intel Omni-Path wel interessant zijn in bepaalde HPC-installaties afhankelijk van budget en meer specifieke requirements.
Nagenoeg alle componenten die op de markt beschikbaar zijn, zitten in de testracks om te benchmarken. “Vandaag werken we voornamelijk samen met Intel op vlak van cpu’s, maar we merken wel dat AMD sterk opkomt. We doen heel wat vergelijkende benchmarks en werken nauw samen met benchmarkspecialisten bij Intel en met input van AMD. De benchmarks waar we al resultaten voor hadden en welke we opgeslagen hebben in een benchmark repository, draaien we nu ook op AMD om de sweetspot te bepalen.”
Het grote nadeel aan technologie is dat bijna elk jaar de line-up van de grote chipfabrikanten wordt aangepast. Resultaat: opnieuw testen.
Het grote nadeel aan technologie is dat bijna elk jaar de line-up van de grote chipfabrikanten wordt aangepast. Zelfs met een kleine refresh moet alles opnieuw worden getest op vlak van snelheid, koelprestaties en nog veel meer.
Projecties maken is een kunst
De grootste moeilijkheid zijn grote (prestige)projecten in de toekomst, waarbij je de fysieke hardware nog niet in handen hebt om die te kunnen benchmarken. Je weet wat er verwacht wordt, maar het blijft vooral werken met simulaties en benchmarkprojecties in samenwerking met alle fabrikanten. Fabrikanten krijgen gelukkig al heel wat samples op voorhand om te kunnen starten met testen voor projecten in de nabije toekomst. Van zodra de fabrikant een jaar of verder vooruit moet werken, wordt het pittiger.
“Projecties maken is een kunst apart,” gniffelt Koopman. “Dat doe je op basis van de huidige technologie en ervaring. Het is belangrijk om soms terug te kijken in de geschiedenis om nieuwe architectuur zo goed mogelijk in te schatten.”
“Toch blijft het een enorme puzzel die we telkens opnieuw moeten leggen. Met de toenemende schaling in de richting van Exascale, welke we over de gehele wereld zien plaatsvinden, wordt deze puzzel steeds groter en complexer.”
Projecties maken is een kunst apart binnen de HPC-wereld.
“Daar moeten we kijken naar het type applicaties dat ze willen draaien, wat die doen bij welke cpu of gpu, wat het potentieel is, hoe efficiënt de nieuwste evolutie waterkoeling zal zijn, welke rol tensor cores kunnen spelen en ga zo nog maar even door.”
Off-the-shelf-materiaal
Iedere fabrikant heeft zijn eigen aanpak wat betreft assemblage van nodes. Lenovo gebruikt enkel off-the-shelf-materiaal terwijl andere Supercomputing specialisten een volledig eigen rack hebben met speciale nodes en eigen interconnect. Hiermee kan je topcontracten binnen halen in specifieke vakdomeinen, maar wordt het moeilijker om breed mee te bieden met de rest.
Hoe minder specifiek je te werk gaat, hoe breder HPC-installaties inzetbaar zijn dankzij tal van configuraties.