Nieuwe servers, nieuwe koeling: van een frisse bries aan de edge tot kopje onder in een oliebad

De server en het badeendje

[Partnercontent] Meer, krachtiger, meer divers maar ook warmer: HPC-servers vind je vandaag van aan de edge tot in de supercomputing-cluster in je datacenter met een combinatie van CPU en accelerators op maat van de gevraagde workloads. De steeds geavanceerdere hardware brengt echter een opkomend probleem aan het licht: hoe hou je alles op een ecologisch verantwoorde manier koel?

Waterkoeling alom op de ISC High Performance-beurs in Hamburg. De stand van Gigabyte toont zelf enkele oplossingen van partners zoals CoolIT, maar is lang niet de enige met demo’s van nieuwe en innovatie manieren om hardware koel te houden.

“Waterkoeling is zeker meer aanwezig dan voor de coronacrisis”, stelt ook Carlo Landmeter, Field Application Engineer bij Gigabyte vast. “Logisch, vroeg of laat zullen we wel naar nieuwe vormen van koeling moeten evolueren voor HPC. We komen aan de limieten van traditionele luchtkoeling. Vloeistof is de toekomst.”

Diversiteit

Landmeter staat op de Gigabyte-stand omgeven door een allegaartje van demoservers. Het meest in het oog springt de krachtige G492-PD0: een prestatiemonster met acht Nvidia A100 Tensor Core-GPU’s aan boord. Wat verder staat een GPU-serverkit voor ontwikkelaars met een Arm-gebaseerde Ampere-gpu, Nvidia A100 en Nvidia BlueField 2 DPU-data processing unit (DPU) en een supersnelle ConnectX-7 InfiniBand-interconnect. Die wordt op zijn beurt geflankeerd door een compacte edge-server die HPC tot ver buiten het traditionele datacenter moet brengen. Het portfolio toont aan dat high performance computing vandaag heel divers is, zowel wat hardware als wat toepassingen betreft.

“Voor nieuwe workloads zijn traditionele CPU-servers niet meer voldoende”, vertelt Hsueh-Li Wang, Senior Manager BDM voor Gigabyte in EMEA. “Accelerators winnen aan belang. GPU’s zoals Nvidia’s A100 kunnen toepassingen drastisch versnellen, zeker wanneer het om simulaties, AI of machine learning gaat. Dergelijke toepassingen komen bovendien steeds meer voor, waardoor het belangrijk is om HPC-hardware op maat te voorzien.”

Voor nieuwe workloads zijn traditionele CPU-servers niet meer voldoende.

Hsueh-Li Wang, Senior Manager BDM Gigabyte

Met andere woorden: in het datacenter van een universiteit kunnen verschillende compacte servers de A100-accelerators laten zwoegen op heel zware taken, terwijl de Edge-server met een iets een lichtere maar nog steeds best krachtige GPU zoals een Nvidia A2 of A10 bijvoorbeeld in een fabriek al de eerste complexe analyses kan uitvoeren. Voor ieder is er wat wils, al ziet Hsueh-Li wel een trend.

Meer dichtheid, meer warmte

“De dichtheid van de servers neemt enorm toe, stelt Hsueh-Li vast.” Dat merkt ook Brandon Peterson, VP Products bij vloeistofkoelingsspecialist CoolIT. “Daar komt bij dat het TDP van processors stijgt”, weet hij. Dat betekent dat componenten meer hitte genereren dan vroeger, maar daar houdt het niet op. “We zien ook nog dat de optimale operationele temperatuur van hardware daalt.” Er zitten dus meer chips dan ooit dichter op elkaar in warme servers, terwijl de componenten eigenlijk koeler moeten zijn dan vroeger.

Servers met krachtige accelerators genereren alsmaar meer warmte. Deze chips vertrouwen op luchtkoeling via rechtstreeks contact met een radiator.

Waar de server ook staat, efficiënte koeling is duidelijk belangrijker dan ooit. Het hoeft dan ook niet te verwonderen dat koeloplossingen zo prominent aanwezig zijn op ISC. Gigabyte zelf zet samen met partners in op verschillende oplossingen.

“Luchtkoeling blijft erg belangrijk”, verduidelijkt Landmeter. “Het is een beetje de legacy-oplossing. De meeste datacenters vandaag zijn gebouwd om met luchtgekoelde servers om te gaan.” Die infrastructuur met warme en koude gangen en luchtstromen is anders dan wat nodig is voor oplossingen die op vloeistofkoeling vertrouwen. “Bedrijven willen hun investeringen in datacenters maximaliseren en hopen luchtkoeling zo nog wel even te rekken.”

Directe vloeistofkoeling

Wat vloeistofkoeling betreft, krijgt directe vloeistofkoeling meer en meer tractie. Dat is een variatie op de waterkoeling die je misschien kent van bij gamingcomputers. Met deze technologie wordt hitte van de componenten via een warmtewisselaar overgebracht naar vloeistof in een circuit van buizen. De vloeistof loopt via infrastructuur van het datacenters naar radiatoren, waar de warmte wordt afgestaan. De aanpak vereist ondersteunende infrastructuur van het datacenter, maar is veelbelovend.

Directe vloeistofkoeling neemt de warmte weg via een warmtewisselaar en buisjes met vloeistof, die de hitte naar een radiator transporteren.

“Vooral voor CPU’s wint deze manier van koeling aan populariteit”, weet Landmeter. Proefprojecten waarbij ook GPU’s via directe vloeistofkoeling fris blijven, lopen ook al. “Validatie zal nog even duren, aangezien de hele flow van de warmte in een server verandert. Dat heeft ook impact op andere componenten.”

Server in een vloeistofbak

Gigabyte werkt ook samen met andere koelexperten zoals Submer. Dat Spaanse bedrijf is gespecialiseerd in immersiekoeling. Daarbij worden gevalideerde servers in een grote tank met olie geplaatst. “Die olie is diëlektrisch. Ze isoleert nog beter dan gewone lucht”, zegt Gloria Fluxà, Marketing Director bij Submer.

Een beetje voorbij de Gigabyte-stand op de ISC-beurs zien we zo’n tank van Submer in actie. Servers lijken wel in water te zitten. De toestellen zien er heel normaal uit, al ontbreken ventilatoren. Componenten die warmte genereren, worden rechtstreeks aan de vloeistof blootgesteld. De olie zelf is op kamertemperatuur en voelt zoals verwacht een beetje vettig aan. Aan de oppervlakte zwemt een badeendje.

Bij immersiekoeling wordt een volledige server in een bad vol met een niet-geleidende vloeistof ondergedompeld.

Volgens Fluxà heeft immersiekoeling verschillende voordelen vergeleken met directe vloeistofkoeling. Zo is het eenvoudiger om servers of onderdelen ervan te vervangen, aangezien je er gewoon aan kan zonder dat je zaken hoeft los te koppelen. “Bovendien is immersiekoeling efficiënter”, weet ze. “De techniek verbruikt minder energie. Onze vloeistof is bovendien biologisch afbreekbaar, wat de impact van de koeling op het milieu nog verder verlaagt.”

Gigabyte werkt aan servers gevalideerd voor de oplossingen van Submer, zowel voor CPU als GPU-servers en opslagservers. Landmeter: “Om krachtige componenten te koelen zonder dat prestaties of veiligheid in het gedrang komen, werken we samen met specialisten in immersiekoeling om totaaloplossingen te bieden”, zegt Hsueh-Li. “Onze focus ligt momenteel in de ontwikkeling van koeloplossingen voor de meest geavanceerde GPU-modellen en next gen-componenten. We merken dat de vraag veel hoger ligt dan voor Covid en hebben al verschillende projecten in de stijgers staan..”

Accelereren waar mogelijk

Dat is belangrijk, aangezien accelerators in het algemeen een steeds belangrijker onderdeel uitmaken van servers, of die nu aan de edge of in het datacenter staan. De demoserver met BlueField-2 DPU is daar een mooi voorbeeld van. BlueField-2 ontlast de CPU van overhead-taken, zodat het hele systeem sneller kan werken.

“In feite is Nvidia BlueField een datacenter op een chip”, zegt Gilad Shainer, Senior Vice President Marketing bij Nvidia. “De accelerator heeft een heuse processor aan boord die datagerelateerde taken overneemt van de CPU. De BlueField-chip behandelt die workloads efficiënter en zorgt ervoor dat de CPU zich met andere taken kan bezighouden. In combinatie met de ConnectX InfiniBand-interconnect krijgen servers helemaal een grote boost.” Zeker in scenario’s waarin verschillende krachtige servers in een cluster samenwerken, groeit het belang van die efficiëntie.

Hardware voor de toekomst

Voor de toekomst verwacht Hsueh-Li dat bestaande trends zich zullen verderzetten. “De densiteit van servers zal stijgen en koeling wint aan belang. HPC zal bovendien alomtegenwoordig worden.” Hij blikt vooruit op nieuwe accelerators en architecturen, zoals de pas aangekondigde Hopper H100 Tensor Core-GPU, en de Arm-gebaseerde Grace Hopper-superchip. “Een breed portfolio met een veelvoud aan oplossingen op maat van alle mogelijke scenario’s is belangrijker dan ooit”, besluit hij.

Wanneer we naar de uitgang van ISC wandelen, zien we nog eens duidelijk wat dat concreet betekent. Standhouders pakken massaal uit met grote en kleine cases voor HPC. We zien medische simulaties, onderzoek naar kernfusie, temperatuurscanning en analyse in realtime van passanten, AI die elektrische generatoren op basis van golven in de zee aanstuurt en meer. Je kan vandaag bijna geen sector meer bedenken, of een HPC-server of cluster is op z’n plaats als de fundering voor nieuwe en revolutionaire toepassingen.

nieuwsbrief

Abonneer je gratis op ITdaily !

  • This field is for validation purposes and should be left unchanged.
terug naar home