Nvidia toont vier referentie-ontwerpen voor servers met de eigen ARM-gebaseerde Grace-CPU. Die zijn geschikt voor een veelvoud aan workloads.
Op Computex toont Nvidia vier referentie-designs voor servers gebaseerd op de eigen Grace-CPU. Grace is een processor die Nvidia ontwikkelt op basis van de ARM-architectuur. De chip komt volgend jaar beschikbaar maar in anticipatie wil Nvidia serverbouwers al overtuigen om aan de slag te gaan met verschillende ontwerpen.
lees ook
Nvidia introduceert Hopper en H100: krachtige opvolger van Ampere voor AI in datacenters
In de servers zitten twee varianten van Grace. De eerste is de Dual CPU Superchip, die twee Grace-processors tot één geheel combineert met 144 rekenkernen en 1 TB/s aan geheugenbandbreedte. De andere is de gecombineerde CPU en GPU Superchip. Die heeft één Grace-complex gecombineerd met een Hopper-GPU. De CPU en GPU praten met elkaar via Nvidia’s eigen interconnect, die 15 keer meer bandbreedte levert dan PCIe 4.0.
Vier unieke designs
De vier referentiedesigns krijgen cryptische namen. CGX, OVX en HGX zijn gebouwd rond de Grace CPU Superchip. HGX tot slit heeft de Grace Hopper CPU/GPU Superchip aan boord.
- Nvidia CGX: dit design combineert de Grace-processor met een A16-GOU en een BlueField-3 DPU. Het is de lichtste van de vier servers. Het toesten is gericht op grafische workloads in de cloud en gaming.
- Nvidia OVX: In dit ontwerp kunnen fabrikanten de Grace CPU combineren met verschillende krachtige Nvidia GPU’s. Opnieuw tekent de BlueField-3 DPU present. De server is gericht op de creatie van digital twins en Omniverse-toepassingen.
- Nvidia HGX: deze server combineert twee Grace CPU Superchips en een BlueField-3 met I/O voorzien door de fabrikant zelf. Het toestel is gericht op niet geaccelereerde pure HPC-workloads. Over dit design deelt Nvidia meer details. Het is compatibel met tot 1 TB LPDDR5x en heeft een TDP van 500 watt. Er passen tot 84 nodes in één rack.
- Nvidia HGX: dit referentiedesign is tot slot geschikt voor HPC, AI-training en inferentie. In de server zitten twee Grace Hopper CPU/GPU-superchips, geschikt voor de acceleratie van workloads. BlueField-3 is opnieuw aanwezig. I/O komt van een oplossing van de OEM zelf, al kan die ook voor de vierde generatie van Nvidia NVLink kiezen. Deze server kan overweg met 512 GB LPDDR5x en 80 GB HBM3. Daardoor bedraagt de geheugenbandbreedte maximaal 3,5 TB. HGX heeft een TDP van 1.000 watt en er passen 42 nodes in één rack.
Nvidia voorziet de eigen hardware waaronder de Grace-chips voor OEM’s die aan de slag willen. Verder deelt de fabrikant de designs voor moederborden, die fabrikanten dan snel kunnen aanpassen of bouwen. De servers zijn gebouwd met een klassiek serverchassis in het achterhoofd, zodat bestaande ontwerpen bruikbaar zijn.
Waterkoeling in beschikbaarheid
In de marge van de grote Computex-aankondiging toont Nvidia ook nog ontwerpen voor watergekoelde GPU’s voor mainstream-servers. Zowel de PCIe A100 als de H100 krijgen een watergekoelde versie die handig bruikbaar is in het datacenter. Dat komt zowel het stroomverbruik als de mogelijke dichtheid van de chips in één rack ten goede.
De watergekoelde A100 verschijnt in Q3 van dit jaar. Op de H100 is het wachten tot begin 2023. Nvidia verwacht dat Grace-systemen in de eerste helft van 2023 op de markt komen.