Nieuwe CPU’s doen datacenters zweten

Datacenter-processors huisvesten vandaag in een enkele chip dezelfde rekenkracht als een half serverrack enkele jaren geleden. Hogere dichtheid zorgt voor veel rekenkracht op een beperkte oppervlakte en dat is goed nieuws, als je koelinstallatie de uitdaging tenminste aandurft.

AMD’s stevigste server-CPU mag zich meteen ook ’s werelds krachtigste processor noemen, als we cijfers van PassMark mogen geloven. Afgaande op de specificaties is dat geen complete verrassing. De chip, die ongeveer even groot is als een kinderhand, huisvest een ongeziene 96 rekenkernen. Amper vier jaar geleden was 56 rekenkernen nog een absoluut record en classificeerden we 32 kernen nog vlotjes aan de bovenkant van het spectrum.

Veel kernen, meer efficiëntie

Intel kan vandaag niet volgen, maar doet toch zijn duit in het zakje met de Intel Xeon 8480H: een nieuwe Sapphire Rapids-processor met een respectabele 60 rekenkernen. Een hogere dichtheid van CPU-kernen is de nieuwe norm.

Dat is handig voor datacenters, waar ruimte steeds een premium is. De nieuwe chips zorgen voor meer kernen per server, wat er op zijn beurt weer voor zorgt dat een datacenter meer virtuele machines per rack kan aanbieden (en aanrekenen), of minder servers moet plaatsen om bepaalde SaaS-applicaties te ondersteunen.

Zowel AMD als Intel zijn bovendien trots op de efficiëntie van hun chips. Nooit eerder kreeg je zoveel rekenkracht in ruil voor zo weinig stroom. Al is dat wel erg relatief. Het TDP, kort voor thermal design power (of thermal design point, voor wie dat verkiest), is de afgelopen jaren gestegen van ongeveer 150 watt naar 350 tot 400 watt. Het TDP geeft in watt weer hoeveel warmte een component kan en mag genereren bij maximale belasting. Die hoeveelheid kan dan weggewerkt worden door het bijhorende koelsysteem.

Sauna of server?

Dat is gemakkelijker gezegd dan gedaan. Het energieverbruik en de warmteontwikkeling per kern zijn de afgelopen jaren wel gedaald, maar het doel daarvan is om meer kernen in één server te stoppen. Daardoor stijgt de absolute warmtegeneratie per server.

Een voorbeeld: in 2019 kon je een dual socket-server samenstellen met twee Intel Xeon Platinum 9222-CPU’s, goed voor 32 kernen per CPU en dus 64 kernen in totaal. Aan een TDP van 250 watt per Xeon zorgde de CPU zo voor 500 watt aan warmte-energie die een datacenter moest slikken, of net geen acht watt per kern.

Bouw je vandaag een systeem met twee AMD Epyc 9654-CPU’s, dan krijg je 192 kernen. Die genereren onder belasting ongeveer vier watt per kern. Dat is net niet de helft van wat enkele jaren eerder mogelijk was en beslist een grote vooruitgang. De server zelf is echter zwaarder: reken 800 watt aan CPU-TDP. Die 800 watt moet het datacenter kunnen wegwerken.

Dicht op elkaar

Server-dichtheid is de sleutel tot efficiëntie, dus denk maar niet dat datacenterboeren bereid zijn om slechts een half rack te vullen met de zwaardere servers. Het doel is net om de racks mooi vol te stoppen. We gaan er vanuit dat de servers uit ons voorbeeld één U in beslag nemen. Een standaard-rack is goed voor 42U. In 2019 genereerde dat rack 21 kW (opnieuw kijken we enkel naar de CPU).

Vandaag zorgt een 42U-rack voor 33,6 kW. Zoals gezegd krijg je daar veel meer rekenkernen voor, maar daar heeft de koelinstallatie geen boodschap aan. Die moet plots een kacheltje koelen dat 38 procent warmer is dan enkele jaren geleden.

In een datacenter staat niet één rack, maar volgen de racks elkaar op. Allemaal moeten ze servers met een hogere dichtheid huisvesten wanneer het datacenter competitief wil blijven. Elk rack stelt de koelinstallaties erg op de proef. Merk op dat we enkel over het TDP van de CPU spreken voor de eenvoud. Stop je nog wat Nvidia Hopper-GPU’s aan 700 watt TDP per stuk erbij, dan ontspoort de warmtegeneratie helemaal. Langs de andere kant zijn niet alle servers extreem high end, zodat er in de praktijk wel nog enige marge mogelijk is en rack-TDP’s ietwat begrensd blijven.

Niet voorzien

Het Uptime Institute merkt op dat veel iets oudere datacenters simpelweg niet ontwikkeld zijn met een dergelijke dichtheid in gedachten. Fysieke datacenters blijven lange tijd rendabel omdat ze op dezelfde oppervlakte steeds meer rekenkracht, opslag en diensten kunnen aanbieden. Tot de warmte ervoor zorgt dat dat niet meer kan. Volgens Uptime naderen we die grens met rasse schreden. Het instituut schat dat een rack binnen enkele jaren zo’n 42 kW aan stroom zal consumeren.

Het probleem komt niet uit de lucht gevallen. In een HPC-context worden datacenters er vandaag al uitgebreid mee geconfronteerd. Denk maar aan die dual-socket-server met daarin nog eens acht Nvidia H100-accelerators. Dergelijke opstellingenfris houden met luchtkoeling alleen, wordt complexer en complexer.

Vloeistofkoeling lijkt de oplossing. Tal van fabrikanten waaronder Intel zelf onderzoeken verschillende technieken waaronder immersiekoeling. Die technologie is veelbelovend aangezien ze krachtige servers fris kan houden in een compacte omgeving en met een beperkter verbruik van de koeling zelf. Op dit moment bestaan er echter geen standaarden voor vloeistofkoeling.

Afkoelen in een badje?

Oude en nieuwe datacenters staan zo voor een moeilijke open vraag: wat is de correcte oplossing voor het koelingsprobleem voor de komende tien tot vijftien jaar? Wordt vloeistofkoeling de norm? En zal het dan om directe koeling of immersiekoeling gaan? Of blijven we toch bij luchtkoeling? Wie vandaag een datacenter renoveert of er een nieuw bouwt, gokt maar beter juist.

Vandaag zweten datacenters, en zweet je ook in de datacenters. De operationele temperatuur van de omgevingen stijgt in een zoektocht naar meer efficiëntie, maar de grenzen zijn hoe dan ook in zicht. Zeker legacy-infrastructuur krijgt het moeilijk. Europa werkt aan nieuwe wetgeving waarmee het normen inzake energie-efficiëntie wil opleggen aan datacenters, maar in de praktijk kan het wel eens zijn dat nieuwe chips de uitbater geen keuze laten.

Globaal gezien is dat geen slechte zaak: misschien is het wel een goed idee om oude datacenters te renoveren naar moderne standaarden, op locaties waar groene energie beschikbaar is en met koeling die de PUE naar omlaag haalt. Al hoor je dat als uitbater die de investering mag doen natuurlijk liever niet.