Itdaily - AI-clusters in Belgische datacenters stellen nieuwe eisen aan de bekabeling

AI-clusters in Belgische datacenters stellen nieuwe eisen aan de bekabeling

Hand die gekleurde netwerkkabels aansluit op een server in een rek vol groene statuslampjes.
Beeld: panumas nikhomkhai/Shutterstock

Een AI-cluster bestaat uit tientallen tot honderden servers met GPU’s die tijdens het trainen van een model voortdurend gegevens met elkaar uitwisselen. Dat het rekenwerk veel stroom en koeling vraagt, is bekend, maar de netwerkverbindingen tussen al die servers bepalen mee hoe goed zo’n cluster presteert. Dit artikel bekijkt wat dat betekent voor de fysieke bekabeling in het datacenter. 

Het verkeer binnen een rekencluster 

In een gewone serverzaal gaat het meeste verkeer van servers naar gebruikers of naar opslag. In een AI-cluster loopt het verkeer vooral tussen de servers onderling. GPU’s moeten tussenresultaten met elkaar delen, en als één verbinding vertraagt, wachten de andere onderdelen op elkaar. Dat maakt de capaciteit en de stabiliteit van elke afzonderlijke verbinding belangrijker dan bij traditionele toepassingen. Per server zijn bovendien meerdere netwerkpoorten gebruikelijk, waardoor het aantal kabels per rack sneller toeneemt dan men van een klassieke opstelling gewend is. Daarom gaan netwerkarchitecten bij een cluster meestal uit van een vaste, voorspelbare opbouw, waarbij elke server op dezelfde manier met dezelfde switches verbonden is. Een verbinding die afwijkt van de rest, bijvoorbeeld door een ander kabeltype of een slecht aangesloten connector, valt in zo’n opstelling sneller op in de prestaties van het hele cluster. 

Wat dit vraagt van de fysieke verbindingen 

Bij de snelheden die in zulke clusters gebruikt worden, houdt koper het enkel vol over zeer korte afstanden. Voor verbindingen tussen racks en tussen zalen schakelt men daarom over op glasvezel. Over korte trajecten gebruikt men meestal multimode, voor langere afstanden singlemode. De keuze van de glasvezelkabels hangt dus af van de afstand, van het type optische modules en van de snelheid waarmee het netwerk moet draaien, en ze wordt best vastgelegd voordat de eerste server geplaatst wordt. 

Daar komt bij dat de marges kleiner worden naarmate de snelheid stijgt. Een stofdeeltje op een connector of een te scherpe bocht in de kabel, wat bij lagere snelheden onopgemerkt bleef, kan bij hogere snelheden leiden tot fouten en herhaalde verzendingen van data. Het reinigen en meten van elke verbinding bij de installatie is dan ook geen overbodige stap, want een probleem dat men achteraf in een draaiend cluster moet opsporen, kost veel meer tijd. 

Ruimte, koeling en beheer 

Racks met GPU-servers geven veel warmte af, en een dichte bundel kabels aan de achterkant kan de luchtstroom hinderen. Het loont dus om kabelgoten, geleiders en bundeling vooraf mee te plannen, zodat koeling en bekabeling elkaar niet in de weg zitten. Ook het gewicht en de buigstraal van de kabels spelen mee wanneer men veel verbindingen op een beperkte oppervlakte moet onderbrengen. 

Documentatie is minstens even belangrijk. Als een cluster gaandeweg groeit, moet men op elk moment kunnen nagaan welke server met welke switch verbonden is, welk kabeltype daarvoor gebruikt werd en wanneer de verbinding voor het laatst gemeten is. Een vaste voorraad van veelgebruikte kabels en connectoren scheelt bij storingen of uitbreidingen veel tijd. IT-teams die componenten voor glasvezelinfrastructuur zoeken, vinden een overzicht van onder meer kabels, patchkabels, connectoren en reinigingsmateriaal op www.maunt.be. 

Naarmate AI-clusters groter worden, verschuift een deel van de aandacht van de rekenkracht zelf naar de verbindingen ertussen. Een bekabeling die van bij het begin met voldoende marge en een duidelijke structuur is opgezet, beperkt het werk bij elke uitbreiding en houdt het cluster beter beschikbaar. Voor IT-teams die een dergelijke omgeving beheren, is het dus de moeite om de fysieke laag net zo goed op te volgen als de servers en de software die erop draaien. 


Dit is een ingezonden bijdrage. De redactie is niet verantwoordelijk voor de inhoud.