De Gemma 4-modellen laten toe Gemini 3 op eigen hardware te draaien. Google schakelt over op een nieuw, volledig open licentiemodel.
Met een blog lanceert Google de nieuwste versie van het Gemma-model. Deze versie van Gemini stelt Google ter beschikking om op eigen hardware te draaien, in plaats van in de cloud. Gemma 4 volgt Gemma 3 op en is gebaseerd op Gemini 3.
De vierde generatie verschijnt in vier smaakjes: Effective 2B (E2B), Effective 4B (E4B), 26B Mixture of Experts (MoE) en 31B Dense. Het cijfer in de naam verwijst naar het aantal parameters. Volgens Google biedt ieder een ‘hoge intelligente per parameter’. De Gemma-modellen zouden op benchmarks beter scoren dan modellen die twintig keer zoveel parameters bevatten.
Gemini lokaal draaien
Gemma 4 verschilt van de klassieke Gemini-modellen omdat gebruikers ze op eigen hardware kunnen draaien. Google klopt zich op de borst dat de vorige generaties al 400 miljoen keer werden gedownload. Eigen hardware kan je heel breed nemen: de varianten 26B MoE en 31B Dense tellen 26 miljard en 31 miljard parameters. Om deze modellen te kunnen draaien, dien je nog steeds in bezit van een Nvidia H100 GPU of krachtiger te zijn.
De modellen zijn wel zodanig ontworpen om efficiëntie en lage latency te bieden. De 26B-variant roept voor inferentie standaard slechts 3 miljard parameters op, wat een hogere ’tokens-per-seconde-snelheid’ oplevert. De 31B-versie moet de hoogste prestaties en nauwkeurigheid opleveren. Gemma 4 ondersteunt tot 140 talen en contextvensters tot 128 tokens. Dat is wel een stuk minder dan de cloudversie, die tot 1 miljoen tokens kan verwerken.
De twee andere Gemma 4-versies zijn met twee miljard en vier miljard parameters veel lichter. Deze modellen kunnen op een smartphone met stevig binnenwerk draaien. Google gebruikt de Gemma-modellen als basis voor Gemini Nano: een Gemini-versie op maat van de Pixel-smartphones van het bedrijf. Het Gemini Nano-model zou binnenkort ook een update krijgen, bevestigt Google aan Ars Technica.
Open licentie
Met Gemma 4 verandert Google ook zijn licentiestructuur. Hoewel Google Gemma altijd als een ‘open’ alternatief voor het gesloten Gemini-model promootte, legde het ontwikkelaars zijn eigen licenties op. Die licenties legde ontwikkelaars beperkende voorwaarden op die Google bovendien eenzijdig kon aanpassen. De Gemma 4-modellen zijn via een Apache 2.0-licentie verkrijgbaar.