Nvidia toont een framework waarbij de GPU rechtstreekse toegang heeft tot de SSD. Dat moet vooral AI-workloads ten goede komen.
Nvidia demonstreert BaM: Big Accelerator Memory. Dat is een framework waarin GPU’s en SSD’s naadloos samenwerken. Vandaag heeft een GPU geen rechtstreekse toegang tot de opslag. Dat hoeft ook niet in een scenario waarbij de grafische kaart dienstdoet als specifieke accelerator en de CPU de teugels in handen heeft.
Steeds meer workloads in de domeinen van analytics, machine learning, AI en HPC vertrouwen echter op de rekenkracht die de GPU levert. De CPU boet daarbij in aan belang. Om die workloads te versnellen, is het handig dat de GPU zijn eigen rechtstreekse toegang tot de opslag krijgt. Zo kan de grafische kaart eenvoudiger en efficiënter grote datasets verwerken.
Minder overhead
Geheugen is de belangrijkste factor voor dergelijke workloads. Daarom krijgen GPU-accelerators al tientallen gigabytes aan HBM2-geheugen mee. Dat geheugen haalt zijn data echter uit de SSD en daar wil Nvidia met BaM komaf maken met een nodeloze omweg. De rechtstreekse lijn tussen SSD en GPU verlaagt de last op de CPU, de druk op de beschikbare opslagbandbreedte en de overhead in het algemeen.
Met BaM gebruikt de GPU een enkele PCIe-interface, RDMA en een op maat geschreven Linux kernel driver om met de SSD te praten. De oplossing maakt GPU’s tot slot zelfstandiger, wat Nvidia ongetwijfeld als een bonus ziet. Het team achter BaM zal de details van de oplossing delen met de opensource-community.