Dell voert hardware- en software-upgrades door binnen zijn PowerScale storage-oplossingen, om bedrijven te helpen met het trainen en implementeren van op maat gemaakte AI-modellen.
Bedrijven lopen warm van de mooie beloftes die rond generatieve AI worden gemaakt, maar het hosten van AI-workloads is een grote uitdaging. Dat zijn niet onze woorden, maar die van Dell-CTO John Roese. Amper enkele dagen na die uitspraak komt het bedrijf ook met de oplossing. Dell kondigt verbeteringen aan zijn PowerScale storageplatform om AI-workloads, en dan nog het liefst generatieve AI, te versnellen.
Dell voegt nieuwe all-flash storagesystemen, gebaseerd op de nieuwste generatie Dell PowerEdge-servers, die tot twee maal sneller zijn voor het streamen van reads en writes. PowerScale biedt daarnaast een nieuwe smart scale-out-mogelijkheid om de prestaties van afzonderlijke nodes te verbeteren voor een beter GPU-gebruik, wat leidt tot een snellere storageverwerking voor AI-training, checkpointing en inferentie.
Hardware is één component, maar software is minstens even belangrijk. Verbeteringen aan de ingebakken OneFS-software geven ondernemingen toegang tot snellere voorbereiding, training, fine-tuning en interferentie van AI-modellen.
HPC-kampioenen
AMD kondigde deze week zijn nieuwe HPC-kampioenen Instinct MI300X en MI300A aan om te concurreren met Nvidia en Dell laat er geen gras over groeien die opties aan te bieden in PowerEdge. De PowerEdge XE9680 met AMD Instinct MI300X biedt meer keuzealternatieven voor organisaties die willen differentiëren met op maat gemaakte grootschalige taalmodellen.
De oplossing heeft acht MI300X GPU’s, 192 GB 5,3 TB/s High Bandwidth Memory (HBM3) per GPU voor een totale coherente HBM3-capaciteit van 1,5 TB per server en meer dan 21 petaflops aan FP16-prestaties. Dit alles weer om de toegang tot generatieve AI te versnellen. Dell is van mening dat generatieve AI niet per definitie in de publieke cloud hoort te draaien, maar zich evengoed ook on-prem of aan de edge thuis kan voelen. Dat vereist dan wel voldoende stevige infrastructuur.
lees ook