Google zou 191 miljoen dollar gealloceerd hebben om Gemini Ultra vorig jaar te trainen. Dat is meer dan dubbel zoveel als de geschatte kost voor GPT-4 van OpenAI.
Google heeft vorig jaar 191 miljoen dollar opzijgezet om zijn Gemini Ultra-model te trainen. Dat weten analysten van Stocklytics. De investering is enorm, zeker als je weet dat OpenAI GPT-4 voor minder dan de helft van dat budget ontwikkelde. Let wel: ook GPT-4 kostte een enorm bedrag om te trainen met een geschatte investering van 78 miljoen dollar gedurende 2023.
De cijfers tonen hoe duur het is om fundamentele modellen te bouwen en te trainen. Ze illustreren eveneens dat Google geen genoegen neemt met een tweede plaats, en er niet voor terugschrikt om flink te investeren in AI. Om GPT-4 bij te benen, zette het bedrijf de grove financiële middelen in.
Niet voor kleine garnalen
Grote fundamentele generatieve AI-modellen bouwen is gezien het prijskaartje een heel ontoegankelijke praktijk, weggelegd voor de grootste techbedrijven met toegang tot GPU-supercomputers en een stevige oorlogskas. Kleinere spelers kunnen aan de slag gaan met dergelijke modellen, daarop innoveren, of in het beste geval kleinere alternatieve ontwikkelen. Een werkelijke concurrent voor de generatieve AI-modellen van Google, OpenAI en Facebook zal gezien het kostenplaatje niet plots van een kleine start-up komen.
Hugging Face liet pas weten dat het de rol van kleinere bedrijven wel wil versterken. Daartoe zet het bedrijf 10 miljoen dollar aan GPU-rekenkracht opzij, op te nemen door kleine ontwikkelaars, start-ups en academici om zelf oplossingen te bouwen.