VMware en Nvidia introduceren VMware Private AI Foundation met Nvidia: een gezamenlijk aanbod waarbij het AI-platform van Nvidia samen met de nodige hardware geïntegreerd wordt in het cloudplatform van VMware.
VMware en Nvidia houden VMware Private AI Foundation met Nvidia boven het doopvont. De oplossing is exact wat de naam doet vermoeden. De twee bedrijven werken samen om het AI-aanbod van Nvidia beschikbaar te maken binnen het platform van VMware.
lees ook
VMware breidt cloudaanbod uit met meer centraal beheer en flexibiliteit rond opslag
De introductie is van levensbelang voor VMware. Het bedrijf wil met zijn VMware Cloud en VMware Cloud Foundation een vendor-agnostisch cloudplatform bieden, waarmee klanten een hybride multicloudomgeving op een centrale manier kunnen beheren. De platformlaag van VMware draait bovenop die van individuele hyperscalers, zodat organisaties een zekere onafhankelijkheid genieten van die giganten.
Dat is een aantrekkelijke propositie, zolang de capaciteiten van het VMware-platform concurrentieel zijn met die van hyperscalers. De AI-hype brengt daar een uitdaging met zich mee. Als bedrijven met AI willen experimenteren, moeten ze dat binnen het VMware-platform kunnen. Anders lonken de individuele oplossingen van hyperscalers opnieuw, met alle vendor lock-in en fragmentatie van de multicloud-IT-omgeving die daarbij komt kijken.
(Geplande) functionaliteit
VMware Private AI Foundation met Nvidia combineert Vmware Cloud Foundation met de Nvidia AI Enterprise-softwarestack. Natuurlijk is ook GPU-integratie inbegrepen. De twee partijen stippen een aantal voordelen aan:
- Privacy: de oplossing laat klanten toe om hun AI-workloads te draaien dicht bij waar hun data staat, terwijl de privacy van de gegevens gegarandeerd wordt.
- Vrije keuze: je kan modellen trainen draaien waar je wil. In eerste instantie is dat op hardware van fabrikanten, in een volgend stadium komt daar de publieke cloud bij.
- Prestaties: het hoeft geen betoog dat workloads die geaccelereerd kunnen worden, daarvan zullen profiteren.
- Schaalbaarheid: de oplossing laat je toe om AI-workloads te schalen over maximaal 16 (v)GPU’s, met een enkele virtuele machine die meerdere nodes omhelst.
- Lagere kosten: de twee partijen claimen dat hun oplossing ervoor zorgt dat beschikbare rekenkracht van GPU’s en CPU’s gemaximaliseerd wordt. Dat kan dankzij de HCI-fundamenten van de oplossing, waarbij rekenkracht, opslag en netwerkcapaciteit samenstelbaar zijn op maat van de noden van een virtuele machine.
- Opslag: VMware verwijst naar zijn vSAN Express Storage-architectuur, die via GPUDirect over RDMA directe I/O met de GPU ondersteunt zonder dat de CPU daar rekentijd aan moet verspillen.
- Netwerk-acceleratie: VMware vSphere en Nvidia NVSwitch krijgen een diepe integratie.
- Snelheid: VMware en Nvidia voorzien images voor vSphere die kant en klaar zijn om met AI-workloads te beginnen en waarin de nodige raamwerken en bibliotheken al geïnstalleerd zijn.
Het aanbod is meteen compatibel met Nvidia NeMo. Dat raamwerk is onderdeel van Nvidia AI Enterprise en zorgt ervoor dat bedrijven relatief snel modellen kunnen trainen of aanpassen op basis van hun specifieke noden. Ook Llama-2 zit direct ingebakken en er is integratie van Hugging Face, wat een soort GitHub voor opensource LLM’s is.
Beschikbaarheid
VMware Private AI Foundation met Nvidia zal in begin 2024 beschikbaar zijn, al is het duidelijk welke functionaliteit het nieuwe aanbod meteen meekrijgt. Nvidia en VMware vermelden wel uitdrukkelijk de fabrikanten wiens servers de nieuwe oplossing in eerste instantie zullen ondersteunen. Dat zijn onder andere Dell, HPE en Lenovo.
De initiële focus ligt zo duidelijk op on-premises-omgevingen. Ondersteuning voor de hele hybride multicloud, waarbij klanten ook de capaciteiten van hyperscalers kunnen integreren, staat op de agenda voor een later tijdstip.
Iedereen moet mee
Nvidia-CEO Jensen Huang is een graag geziene gast op technologieconferenties dit jaar. Eerder sprak hij al op de Snowflake-summit in Las Vegas, waar Huang een gelijkaardig aanbod in de verf zette. Ook Snowflake wil een alternatief bieden dat losstaat van het aanbod van hyperscalers, al ligt de focus van het aanbod op data. Ook hier was de integratie van Nvidia en AI-capaciteiten cruciaal om het aanbod relevant te houden.