Google stelt een nieuwe ‘variant’ van het Gemini-model beschikbaar als preview. Gemini 1.5 Pro kan tot miljoenen tokens accuraat verwerken.
Gemini 1.5 Pro is een nieuwe en verbeterde versie van het Gemini-model dat Google in december vorig jaar lanceerde. Het is een ‘middelgroot’ LLM dat op een vergelijkbaar niveau als Gemini 1.0 Ultra, maar daar minder rekenkracht voor nodig heeft. Alle Gemini-varianten hebben multimodale capaciteiten, wat inhoudt dat ze overweg kunnen met verschillende soorten input, van tekst tot beeld en audio.
Waar Gemini 1.5 Pro in moet uitblinken, is in de verwerking van lange documenten. Google gaat er prat op dat zijn nieuwste model over het langste contextvenster van alle grootschalige funderingsmodellen tot nu toe beschikt. De previewversie kan input tot en met een miljoen tokens verwerken, maar in de technische paper schrijft Google dat de limiet van Gemini 1.5 Pro op tien miljoen tokens ligt.
Ter vergelijking: Claude 2.1 verwerkt tot maximaal 200.000 tokens, GPT-4 Turbo is begrensd op ongeveer 130.000. In onderstaande demo laat Google Gemini 1.5 Pro zijn tanden zetten in het transcript van de Apollo 11-missie, een document dat 402 pagina’s telt.
Het zit hem in de details
Dit betekent dat Gemini 1.5 Pro enorme hoeveelheden informatie in één keer kan verwerken . Een miljoen tokens komt ongeveer overeen met 1 uur video, 11 uur audio, codebestanden met meer dan 30.000 regels code of meer dan 700.000 woorden. Het model kan bovendien zeer specifieke informatie uit die lange tokenreeksen filteren.
Tot een miljoen tokens doet het dat aan een accuraatheidsgraad van 99,7 procent en ook voor tien miljoen bedraagt die nog 99,2 procent, aldus benchmarks die Google meedeelt in de paper. Chatbots gebouwd op het model kunnen daardoor lange gesprekken voeren zonder details te vergeten, zelfs bij complexe taken of veel vervolg interacties. Volgens Google is het ook mogelijk het model te personaliseren zonder het te hoeven finetunen.
lees ook
Deel geen persoonlijke informatie met Google Gemini
Google zal al zijn Gemini-modellen aanbieden via Vertex AI. Daar krijgen Google Cloud-toegang tot kant-en-klare modellen, maar ook api’s waarmee ze hun eigen Gemini-bot kunnen bouwen. Het grote publiek zal Gemini wellicht leren ontdekken via de chatbot Bard, die sinds kort ook de naam draagt van het onderliggende model.