Databricks mengt zich als nieuwe speler in het ruime aanbod aan LLM’s met DBRX. Het model wordt opensource aangeboden en is volgens het bedrijf het meest geavanceerde in die categorie.
Databricks mengt zich volop in de AI-debatten en lanceert vandaag zijn LLM DBRX. Het bedrijf investeerde tien miljoen euro in de opvoeding van het model, de nodige financiële middelen daarvoor werden vorig jaar bij elkaar gespaard. DBRX is opgebouwd uit 132 miljard parameters en werkt volledig tekstgebaseerd: het model kan dus enkel tekst verwerken en produceren.
In de competitieve AI-markt is het gedurfd om jezelf nog als de beste uit te roepen, maar Databricks heeft een categorie gevonden waarin het uitblinkt. Volgens het bedrijf is DBRX het meest geavanceerde opensource LLM van het moment. Het deelt benchmarks waarin het model zich in taalvaardigheid, programmeren en wiskunde de betere toont van Meta’s LLama2 (dat inmiddels al een opvolger LLama 3 kreeg), Elon Musk’s Grok-1 en de modellen van het Franse Mistral, dat tevens vriend aan huis is bij Databricks.
Mix van experten
Databricks DBRX werd ontwikkeld volgens een mixture of experts-architecture. Dat houdt in dat het model is onderverdeeld in meerdere submodellen die elks in een specifiek domein getraind zijn. Als je DBRX een wiskundig probleem voorlegt, dan wordt het model dat goed is in wiskunde opgeroepen en vragen over softwarecode worden doorgespeeld naar het model dat daarop getraind is. Dit maakt DBRX in principe lichter om te draaien.
‘Licht’ is een overschatting, want om DBRX te draaien heb je nog altijd minstens vier Nvidia H100-GPU’s nodig en die heeft de doorsnee organisatie niet in een schuif liggen. Databricks zal het model ook via zijn eigen Mosaics AI-platform aanbieden. Voor Databricks-klanten zal dit wellicht de meest toegankelijke weg zijn om DBRX eens uit te proberen.
Open vs gesloten
Databricks durft de benchmarks van DBRX niet naast GPT-4 of Google Gemini te leggen, maar meent wel dankzij het open karakter van het model te kunnen wedijveren met de twee giganten. Het model wordt opensource aangeboden via GitHub en Hugging Face voor onderzoek en commerciële doeleinden.
lees ook
KubeCon wijst met de vinger naar gesloten AI-modellen: “Concentratie van technologie heeft slechte neveneffecten”
“De meest waardevolle gegevens bevinden zich binnen organisaties. Dit is een sector waar hoge opleidingseisen de toegangsdrempel te hoog liggen voor kleine ondernemingen. Op dit moment zijn alleen de goed gekapitaliseerde bedrijven klaar om mee te spelen. Wij proberen AI voor iedereen mogelijk te maken met opensource modellen”, zegt CEO Ali Ghodsi aan SiliconAngle.