Het nieuwe AI-model DiffusionGemma van Google is sneller maar levert minder kwalitatieve output dan Gemma 4-modellen.
Google introduceert DiffusionGemma, een experimenteel open model dat tekstgeneratie tot vier keer sneller maakt op GPU’s. Het model, gebaseerd op de Gemma 4-familie, genereert hele tekstblokken tegelijk in plaats van token per token.
DiffusionGemma is een 26B *Mixture of Experts*-model dat onder een Apache 2.0-licentie wordt uitgebracht en geoptimaliseerd voor GPU’s. Het model is ontworpen voor onderzoeks- en ontwikkeldoeleinden, met name voor toepassingen waar snelheid cruciaal is, zoals interactieve lokale workflows.
Snelheid en efficiëntie
DiffusionGemma levert tot vier keer snellere tekstgeneratie op dedicated GPU’s, zoals de Nvidia H100 of RTX 5090. Op een Nvidia H100 haalt het model meer dan 1.000 tokens per seconde, terwijl dat op een RTX 5090 ongeveer 700 tokens per seconde is. Het model activeert slechts 3,8 miljard parameters tijdens inferentie, waardoor het past binnen de 18 GB VRAM-limiet van high-end consumenten-GPU’s.
Door tekst in blokken van 256 tokens tegelijk te genereren, kan elk token aandacht besteden aan alle andere tokens. Dat biedt voordelen voor niet-lineaire taken, zoals inline bewerking, code-invulling of het genereren van complexe structuren.
Experimentele status en toepassingen
Hoewel DiffusionGemma sneller is, is de algehele outputkwaliteit lager dan bij de standaard Gemma 4-modellen. Voor toepassingen waar kwaliteit vooropstaat, adviseert Google om de klassieke Gemma 4 te gebruiken. Wel kan DiffusionGemma via fine-tuning worden geoptimaliseerd voor specifieke taken, zoals het oplossen van sudoku’s, wat voor autoregressieve modellen moeilijk is.
DiffusionGemma is nu beschikbaar op Hugging Face onder een permissieve licentie. Ontwikkelaars kunnen het model integreren met tools als MLX, vLLM en Hugging Face Transformers. Google werkte samen met Nvidia om de prestaties te optimaliseren voor zowel consumenten- als enterprise-hardware.