Het AI-model Gemini 1.5 Flash is uitgebracht in een nieuwe versie. Gemini Flash-8B is compacter, sneller en goedkoper dan zijn voorganger.
Gemini 1.5 Flash-8B is vanaf nu beschikbaar en zou een van de meest betaalbare lightweight LLM’s op de markt zijn. Het model is geoptimaliseerd voor snelheid en efficiëntie, en werd vooral ontwikkeld om te draaien op apparaten zoals smartphones en sensoren. De AI-workload is kleiner omdat die hardware geen grote prestaties toelaat.
Goede prestaties voor compact model
Toch moet deze lichtere versie niet onderdoen voor zijn voorgangers. Volgens benchmarks tests levert hij sommige vlakken zelfs vergelijkbare prestaties. Taken als chatten, transcriptie en contextueel correct lange teksten vertalen zijn geen probleem, weet SiliconANGLE.
Gemini 1.5 Flash is in mei 2024 aangekondigd op Google I/O, en werd enkele weken later beschikbaar gesteld voor betalende klanten. Op het moment van release meldde Google dat de input size 60 keer groter was dan dat van OpenAI’s GPT-3.5 Turbo. Flash-8B is nog eens dubbel zo snel. Ook het aantal verzoeken per minuut is verdubbeld naar 4.000 ten opzichte van 1.5 Flash.
Qua prijs ligt Gemini 1.5 Flash-8B rond de adviesprijs van vergelijkbare modellen van OpenAI en Anthropic PBC. Flash-8B kost 0,15 dollar per een miljoen uitput tokens en slechts 0,01 dollar per een miljoen hergebruikte input tokens. Bij OpenAI is het goedkoopste model GPT-4o mini met 0,15 dollar per een miljoen input tokens. Dat wordt de helft goedkoper als je prompt prefixes opnieuw gebruikt of met batches werkt. Claude 3 Haiku van Anthropic daarentegen hanteert een prijs van 0,25 dollar per een miljoen input tokens, en 0,03 dollar per een miljoen input tokens voor hergebruikte tokens.