Opera rolt experimentele ondersteuning uit voor 150 lokale AI-modellen die geïntegreerd zitten in de Opera One-browser.
Webbrowserontwikkelaar Opera heeft in een blogbericht aangekondigd dat het experimentele ondersteuning voor 150 lokale grote taalmodelvarianten zal toevoegen aan zijn Opera One-browser. De modellen komen uit ongeveer 50 families en zullen aan de hand van een ingebouwde functie gemakkelijk toegankelijk zijn voor gebruikers, enkele hiervan zijn Lama van Meta, Vicuña, Gemma van Google en Mixtral van Mistral AI. De uitrol zit in een experimentele fase en is enkel toegankelijk in de ontwikkelaarsstroom van de One-browser.
Geïntegreerde LLM’s
De nieuwe functie is onderdeel van Opera’s AI Feature Drops-programma. Het is de eerste keer dat lokale LLM’s eenvoudig en toegankelijk toegevoegd worden aan een grote browser. Deze lokale LLM’s zorgen ervoor dat gebruikers rechtstreeks vanaf hun computer toegang hebben tot deze AI-modellen, wat betekent dat er een lagere latentie is aangezien de gegevens niet via het internet worden verzonden. Hierdoor kunnen gegevens ook niet gebruikt worden om andere modellen te trainen.
Opera One ondersteunt een hele reeks aan lokale modellen, waaronder Lama van Meta, Vicuña, Gemma van Google en Mixtral van Mistral AI. Hieruit kunnen gebruikers een LLM kiezen dat vervolgens naar je computer verstuurd wordt. Elk van die modellen neemt 2-10 GM lokale opslagruimte in, wat betekent dat ze aanzienlijk langzamer zijn in vergelijking met servergebaseerde LLM’s. De modellen nemen de plaats in van Aria, de native browser-AI van Opera.
Het gaat hier nog over een experimentele versie die momenteel enkel toegankelijk is in de ontwikkelaarsstroom van de One-browser. Voor wie de nieuwe functie wil testen, zal moeten upgraden naar de nieuwste versie van Opera Developer om toegang te verkrijgen tot lokale LLM’s.