De VUB plaatst binnenkort de nieuwe Vlaamse Tier-1-supercomputer in een gloednieuw datacenter in Zellik, uitgebaat door Penta Infra. ITdaily gaat op bezoek in het groene datacenter, dat deel uitmaakt van een energie-onderzoeksproject.
De zon schijnt enthousiast op de gevel van het acht verdiepen tellende datacenter van Penta Infra in Zellik. Dat is goed nieuws voor de stroomvoorziening: de gevel is helemaal in zonnepanelen bekleed. De panelen tot 360 kW op. Penta Infra Bru01 zal straks een stuk meer nodig hebben, maar alle beetjes helpen en de panelen illustreren het duurzame karakter van het gloednieuwe gebouw.
Neusje van de zalm
“Het splinternieuwe datacenter is het neusje van de zalm”, stelt Ward Poelmans, afdelingshoofd Scientific Data & Compute bij de Vrije Universiteit Brussel. In het Nexus-datacenter komt straks een Tier-1-supercomputer: de vierde voor Vlaanderen maar de eerste onder beheer van de VUB. “Zo’n systeem consumeert heel veel elektriciteit”, vervolgt Poelmans. “Als de koeling al een klein beetje efficiënter kan, helpt dat heel veel in het totale verbruik.”
Penta Infra BRU01, of Nexus voor de vrienden, staat er met dank aan de VUB. Toen de universiteit op zoek ging naar een locatie voor een nieuw datacenter met ruimte voor een Tier-1-systeem, besloot Ghelamco om de koe bij de horens te vatten en meteen een groter datacenter te bouwen waar ook andere klanten welkom zijn. Na de bouw nam Nederlandse datacenterspecialist Penta Infra de site over, om zo voor het eerst voet aan grond te krijgen in België.
Partner met ervaring
“Dat het datacenter nu in handen is van Penta Infra, komt ons heel goed uit”, zegt Karin Voets, CIO van de VUB. “Het is een speler met ervaring, die net als de VUB sterk inzet op duurzaamheid.” “Een datacenter runnen vereist specifieke kennis”, vult Poelmans aan. “Het is indrukwekkend wat daar inkruipt. Het bedrijf heeft alle specifieke kennis over de koelinstallaties en warmtewisselaars en generatoren.”
Die noodgeneratoren zijn geen doetjes. Momenteel staan er drie immense exemplaren naast de zonovergoten zonnepaneel-gevel, maar in de toekomst is er ruimte voor zes vaste en een zevende mobiele. De aansluitingen daarvoor zijn al zichtbaar. De generatoren kunnen niet alleen het datacenter van stroom voorzien, maar kunnen ook aan het net leveren. Dat laat Penta Infra toe om zowel piekcapaciteit te leveren op vraag van Elia, maar ook om noodstroomtesten uit te voeren onder werkelijke capaciteit.
Bijen welkom
Ondanks al dat vermogen, is het datacenter toch gebouwd met het oog op duurzaamheid. Dat was essentieel voor de universiteit. Voets: “Het gebouw maakt deel uit van het Green Energy Park, nauw gelinkt aan de VUB.” De site waar het datacenter van Penta Infra staat, is in feite groot laboratorium waar onderzoek naar energie zal plaatsvinden.
Langs de grote noodstroomgeneratoren van het datacenter valt de focus op duurzaamheid ook letterlijk op. We zien groene bermen, bezaaid met een zaaimengsel dat wilde bloemen zal opleveren. Er is een vijver om regenwater op te vangen, met daarachter, in overleg met lokale natuurverenigingen, twee nestkastjes op een paal voor een lokale knaagdieren, die al eens kwamen snuffelen. Een bijenhotel tekent ook present.
Regenwaterput en warmtenet
We betreden het datacenter langs de dienstingang en begeven ons richting de zaal waar de Tier-1-supercomputer binnenkort zal staan. We passeren eerst door een gang met daarin deksels die toegang geven tot het grote onderaardse regenwaterreservoir. In een ruimte wat verder staan grote machines die de lucht conditioneren, naast een grote warmtewisselaar. Daar kan de restwarmte van het datacenter omgezet worden in bruikbare hitte.
Het Green Park wil een proeftuin zijn voor onder andere warmterecuperatie.
Karin Voets, CIO VUB
“Het Green Park wil een proeftuin zijn voor onder andere warmterecuperatie”, weet Voets. Op termijn zullen nieuwe gebouwen aangesloten worden op het warmtenet van het datacenter. Op hun beurt zullen zonnepanelen op die daken het datacenter van stroom voorzien, zodat de supercomputer en de andere servers zoveel mogelijk op zonne-energie kunnen draaien zonder het bredere elektriciteitsnet te belasten.
Passerelle met vitrine
We stijgen een verdieping en komen in een mooie inkomhal terecht. Van daaruit wandelen we verder langs een passerelle die zicht geeft op een vooralsnog lege serverruimte. We bezochten al menig datacenter, maar dit is toch een unicum. De serverruimte zal het Tier-1-systeem huisvesten, en moest op vraag van de VUB duidelijk zichtbaar zijn.
lees ook
“In de strijd tegen klimaatverandering mogen we de IT-sector niet vergeten”
“De computer krijgt een eigen look”, weet Poelmans. “We gaan het toestel versieren met een design en het krijgt een naam”. Details daarover kunnen we helaas niet ontfutselen. “Dat we het systeem tot bij ons hebben gehaald, heeft wel een stukje met prestige te maken”, gaat Poelmans verder. “We willen af van het label van kleine universiteit.” Wie in het Researchpark Zellik passeert, zal het krachtigste High Performance Computing (HPC)-systeem van Vlaanderen door de glazen wand kunnen bewonderen.
Educatieve rol
De VUB wil van de gelegenheid gebruik maken om een educatieve rol te spelen en HPC naar een breder publiek te brengen. “De zichtbaarheid van HPC binnen onze instelling verhoogt ook”, voegt Voets toe. “Wie niet spontaan de weg vindt naar HPC maar wel grote sprongen vooruit kan zetten door er gebruik van te maken, zullen we bij de hand nemen en naar onze systemen toe leiden.”
Hoewel de niet nader genoemde supercomputer nog niet op z’n plek staat, zien we toch al enkele interessante details. Langs weerkanten van de ruimte komen redundante aansluitingen voor de stroom binnen, met daarbij wat loodgieterij die minder vanzelfsprekend is. Vlaanderens nieuwste Tier-1 wordt immers een watergekoeld systeem.
Vloeistofkoeling
“We gingen er vanaf het begin al vanuit dat het nieuwe systeem niet exclusief luchtgekoeld zou zijn”, vertelt Poelmans daarover. “Als je ziet hoeveel stroom één GPU gebruikt en hoeveel ruimte er dan nodig is voor luchtkoeling, zou je serverracks halfleeg moeten houden. Wij werken nu met nodes van acht GPU’s per stuk en zes nodes in een rack. Om dat efficiënt te koelen, is er directe vloeistofkoeling voor de CPU’s en de GPU’s nodig.”
“Het vorige Tier-1-systeem is ook deels watergekoeld maar dat was niet vanzelfsprekend”, gaat hij verder. “We hebben er veel van geleerd. Er komt heel wat bij kijken. Je hebt warmtewisselaars nodig en er loopt een vloeistofcircuit door de nodes.”
Complexe loodgieterij
Poelmans is blij dat de kennis voor de achterliggende loodgieterij met kleppen, kabels en pompen uitbesteed kan worden aan Penta Infra. De datacenterspecialist maakt vervolgens van de gelegenheid gebruik om waterkoeling ook elders in het datacenter mogelijk te maken, moesten klanten daar in de toekomst om vragen. Penta Infra benadrukt dat het datacenter klaar is voor vloeistofkoeling en verwacht op termijn een mix van lucht- en vloeistofgekoelde installaties te huisvesten.
Het systeem zelf zal ondanks zijn rekenkracht niet zo heel veel plek in beslag nemen in de voorziene ruimte. Dat komt door de hoge dichtheid, mede mogelijk gemaakt door de waterkoeling.
GPU’s voor AI
“Voor dit systeem hebben we gekeken naar de vorige Tier-1-computer en gepraat met onderzoekers over hun noden”, licht Poelmans nog toe. “GPU’s en AI kwamen als speerpunten naar boven, maar die zijn natuurlijk nogal duur. Sommige onderzoekers hebben bovendien wel enkel CPU’s nodig. We hebben naar een compromis gezocht met een evenwicht tussen CPU en GPU, dat de rekenkracht maximaliseert binnen het budget.”
We stappen weg van de HPC-vitrine en dringen dieper door in het datacenter. Daar zien we installaties voor luchtkoeling die ietwat verrassend onder de datacentervloer staan. De airco’s blazen rechtstreeks koude lucht in een afgesloten koele gang, waarbij de afstand tussen koeler en corridor zo klein mogelijk is en de ventilatoren dus zo min mogelijk moeten draaien. De impact van dergelijke incrementele verbeteringen stapelt zich op, en maakt dat dit datacenter zo efficiënt is.
De VUB rekent ook op dergelijke expertise van Penta Infra, en ziet in de samenwerking een wisselwerking. De universiteit is immers van plan haar IT-infrastructuur met onder andere bestaande Tier-2-systemen en andere servers te consolideren binnen Nexus. “Als er ingrepen zijn die de duurzaamheid kunnen bevorderen, rekenen we ook op Penta Infra om ons dat laten weten”, zegt Voets.
Regenwaterverdamping
Voor een verder voorbeeld van duurzame datacenter-innovatie nemen we de lift naar de bovenste verdieping. Die technische ruimte illustreert meteen welke jobs AI in de toekomst niet zal vervangen: die van elektricien of loodgieter. We banen ons een weg langs een indrukwekkend kluwen van grote en kleine buizen, pompen en elektrische bekabeling naar een deur richting het dak.
Eens buiten proberen we ons recht te houden op de gigantische keien die de dakbekleding op hun plaats houden, en balen we dat we onze stapschoenen met enkel-ondersteuning niet aanhebben. We kijken recht op een immense radiator, waarop regenwater uit het reservoir onder het datacenter verneveld wordt. Die verdamping laat Penta Infra toe om het koelwater voor koeling op een efficiënte 19 graden te houden, zelfs wanneer het buiten 22 graden is. Pas daarboven moeten meer traditionele en minder zuinige chillers actief aan de slag.
Grootse plannen
Vanop het dak hebben we een mooi zicht over het hele onderzoekspark. Daar wil de VUB snel uitbreiden. “Het voormalige Roularta-gebouw is intussen in handen van de VUB en het Smart Village Lab staat er al”, vertelt Voets. “En Belnet komt hier een Point of Presence (PoP) installeren.” “Aan de andere kant van het park komt nog een bijzonder krachtige 7 Tesla-MRI”, voegt Poelmans toe. “Dat is een type MRI-scanner met een magnetische veldsterkte van zeven Tesla voor zeer gedetailleerde medische beeldvorming, die gebruikt zal worden door de vijf Vlaamse universiteiten en vier universitaire ziekenhuizen.”
De eerste fase van de Tier-1-supercomputer moet tegen eind dit jaar online zijn en zeker vier jaar draaien. Twee jaar later komt daar een tweede fase bij. De VUB rekent in eerste instantie op een levensduur van zes jaar voor het systeem. In die periode kunnen niet alleen onderzoekers rekentijd krijgen, maar ook partijen uit de industrie en het middenveld.
Samen sterk
“Klassieke grote gebruikers zijn onderzoekers die chemische berekeningen willen maken”, verduidelijkt Poelmans. “Of toepassingen uit de astrofysica en de vloeistofdynamica. Ook voor klimaatwetenschappers is het interessant, want simulaties van de aarde starten met een beetje data maar exploderen snel naar een waanzinnige complexiteit. Nu is AI er natuurlijk aan het bijkomen.”
lees ook
Duurzame en moderne BRU01-datacenter van Penta Infra officieel geopend
“Het is fijn dat deze Tier-1-supercomputer nu naar de VUB komt”, voegt Voets toe. “Maar eigenlijk maakt de locatie voor de onderzoekers in de praktijk niet zoveel uit. Wij hebben goede samenwerkingen met andere universiteiten, en gaan dit systeem beheren samen met de HPC-teams van de universiteiten van Leuven, Gent en Antwerpen. We doen het niet alleen.”
Op de weg naar beneden van het dak van het Nexus-datacenter passeert de lift heel wat voorlopig nog lege zalen. Daar zal vermoedelijk snel verandering in komen, aangezien de vraag naar efficiënte colocatie-ruimte snel stijgt. Telecomproviders hebben bovendien hun aansluitingen voorzien, zodat Penta Infra BRU01 provider-agnostisch is. Het datacenter op de groei heeft een initiële capaciteit van 7 MW, maar nog verder worden uitgebreid.
Op weg naar buiten werpen we nog een blik op de lege ruimte waar de VUB’s eerste Tier-1 komt. We zijn benieuwd naar de naam.