Databricks bouwde een AI-systeem met capaciteiten die aan ChatGPT doen denken, maar gebruikte voor de training een twee jaar oud opensource-model en een enkele computer in de plaats van een volledig datacenter.
OpenAI gebruikte miljarden van Microsoft, een supercomputer in de cloud met tienduizenden GPU’s en een complex neuraal netwerk met 175 miljard parameters om ChatGPT te ontwikkelen. ‘Overkill’, vinden ze bij Databricks. Dat bedrijf bouwde met Dolly een AI-systeem dat gelijkaardig gedrag vertoond als ChatGPT, maar deed dat aan de hand van een gewone computer en een twee jaar oud opensource-model met amper 6 miljard parameters.
Dolly kan net als ChatGPT antwoorden genereren op basis van je vragen, en dus tips geven rond een bepaald onderwerp, een promotionele tweet genereren of een liefdesbrief schrijven. Databricks denkt dat Dolly een doorbraak is die generatieve AI-modellen sneller naar een groter publiek kan brengen.
Veel minder moeite, gelijkaardige resultaten
De basis van Dolly is een twee jaar oud opensource-LLM-model gebouwd door EleutherAI. Dat heeft Databricks een klein beetje aangepast om het de mogelijkheid te geven om instructies te volgen en dus de link te leggen tussen input ‘Schijf X of Y’ en output gebaseerd op die vraag. Gewapend met dat raamwerk trainde Databricks het model op een kleine maar heel kwalitatieve gecureerde dataset. Dat deed het bedrijf in drie uur tijd op een enkele machine.
De resultaten hebben Databricks zelf verrast. Het model was erg snel in staat om zich met ChatGPT te meten. Het begrijpt vragen en instructies en genereert nuttige en zinnige tekst op basis van die vragen. Het succes suggereert volgens Databricks dat de doorbraken van OpenAI en consorten niet alleen te wijten zijn aan de toegenomen complexiteit van de gebruikte modellen, maar ook aan de kwaliteit van de datasets.
Dat Dolly met beperkte training en met een opensource-model als basis zo goed werkt, is veelbelovend voor de bredere adoptie van AI denkt Databricks. Het opent immers de deur voor bedrijven om modellen op eigen data te trainen zonder gegevens toe te vertrouwen aan een cloudprovider, of een klein fortuin te spenderen aan AI-hardware in de cloud. Databricks deelt een Github-project waar je zelf met Dolly aan de slag kan gaan.