CUDA Tile is een nieuwe programmeerlaag van Nvidia om GPU-programmeren makkelijker te maken.
CUDA Tile maakt het mogelijk om algoritmes op een hoger abstractieniveau te schrijven, los van de hardware zoals tensor cores. NVIDIA lanceert de technologie als onderdeel van CUDA 13.1.
Nieuw programmeermodel voor GPU’s
CUDA Tile is een nieuwe programmeerlaag in het bestaande CUDA-platform van Nvidia. Die laag introduceert een model waarbij ontwikkelaars algoritmes schrijven op basis van zogeheten ‘tiles’, of gegevensblokken. De compiler en runtime zorgen daarna voor de uitvoering op de onderliggende hardware, zoals tensor cores. Dat moet het eenvoudiger maken om code te ontwikkelen die op verschillende GPU-architecturen goed presteert, zonder dat de ontwikkelaar zich bezig moet houden met hardwaredetails.
CUDA Tile vormt een alternatief voor het bestaande SIMT-model (single-instruction, multiple-thread), dat fijnmazige controle biedt over GPU-parallelisme, maar ook een grotere complexiteit met zich meebrengt. In plaats van gegevens zelf toe te wijzen aan threads en blokken, deelt de ontwikkelaar gegevens op in grotere blokken, waarna de compiler deze verder toewijst. Het idee is vergelijkbaar met hoe Python-bibliotheken zoals NumPy met matrices werken.
Onderliggende laag en integratie met bestaande tools
De technologie is gebouwd rond CUDA Tile IR (intermediate representation), een virtuele instructieset die tile-bewerkingen ondersteunt. Deze nieuwe laag werkt naast PTX dat de huidige SIMT-programma’s ondersteunt. CUDA Tile IR is bedoeld voor ontwikkelaars van compilers, bibliotheken of domeinspecifieke talen. Voor de meeste programmeurs zal het gebruik via hogere softwarelagen verlopen, zoals Nvidia’s cuTile Python.
CUDA Tile is compatibel met bestaande en toekomstige generaties van Nvidia-hardware met tensor cores. De technologie vormt geen vervanging van SIMT, maar een aanvullende programmeeroptie. Ontwikkelaars kunnen beide modellen combineren, naargelang de aard van hun toepassing.
CUDA Tile is beschikbaar vanaf CUDA 13.1. Documentatie, voorbeeldcode en software zijn beschikbaar via de officiële CUDA Tile-pagina van Nvidia.