Elke zoekopdracht kost ongeveer 36 dollarcent. Dagelijks kost ChatGPT OpenAI volgens een analyse 694.444 dollar.
De wereld is in de ban van ChatGPT, maar zo’n AI-model kost geld om te draaien. Allereerst moet je het AI-model trainen met heel wat data via machine learning om tot een Large Language Model (LLM) te komen dat GPT-4 is, het nieuwste model waar ChatGPT op draait. SemiAnalysis deed de rekensom voor GPT-3 en kwam uit op een kost van 841.346 dollar. Het hield hiermee rekening met 175 miljard parameters en 300 miljard tokens, getraind op Nvidia A100 GPU’s.
Belangrijke kanttekening: dit is puur de rekenkost (inference), niet de aankoop van de hardware of de lonen van de datawetenschappers die eraan sleutelen. GPT-4 bevat een nog grotere dataset dan GPT-3, wat de kost omhoog duwt. Het spreekt voor zich dat Sam Altman, CEO van OpenAI een trend ziet waar enorme sets aan data stilaan voorbij zijn. Alles opgeteld kostte de training van GPT-4 ongeveer 100 miljoen dollar volgens hem, inclusief hardwarekost en personeel.
Hij claimt dat het opschalen van de modelgrootte beperkte voordelen omvat. OpenAI moet ook rekening houden met de fysieke limieten van het aantal datacenters dat het bedrijf kan bouwen en hoe snel die er zijn.
lees ook
OpenAI CEO: ‘Gigantische AI-modellen behoren tot het verleden’
Dagelijks data voeden
Trainen is één, het AI-model dagelijks draaiende houden met de talrijke vragen die worden gesteld kost ook geld. Volgens hetzelfde SemiAnalysis mogen we rekenen dat ChatGPT dagelijks 694.444 dollar kost. Rekening houdend met het aantal zoekopdrachten dat er gemiddeld worden ingevoerd, kost elke zoekopdracht ongeveer 36 dollarcent.
Dat maakt de investering van Microsoft in OpenAI, het bedrijf achter ChatGPT, des te belangrijker. In januari injecteerde het al 10 miljard dollar in het bedrijf, om daarna nog honderden miljoenen te investeren in hardware om het neurale netwerk te trainen en draaiende te houden op zijn Bing-platform en ander toepassingen zoals Microsoft Copilot in Word en PowerPoint of Business Chat in Teams.
Bing wil marktaandeel afsnoepen
Sinds vorige week duiken er ook ChatGPT-antwoorden in zoekresultaten van Bing, wat de kosten verder opdrijft. Ook daar krijgen we een kostenanalyse voorgeschoteld. In het voorbeeld van SemiAnalysis kijken we naar Google dat in 2022 gemiddeld 320.000 zoekopdrachten per seconde verwerkte. Mocht de zoekgigant in elk zoekresultaat zijn ChatGPT-variant Bard inschakelen, dan zou hen dat 36 miljard dollar kosten.
Tel daarbij nog de investering van meer dan 100 miljard dollar om 512.820 Nvidia A100 HGX-servers te kopen met 4.102.568 A100 GPU’s aan boord, en je snapt dat AI niet direct de zoekmachine zal vervangen.
Deze nieuwe Bing forceert Google om buiten te komen en te dansen. Ik wil dat mensen weten dat wij hen hebben laten dansen.
Satya Nadella, Microsoft CEO
Dat Microsoft die investering wel wil doen met zoekresultaten in Bing, is logisch volgens CEO Satya Nadella. “Voor elk punt aan marktaandeel dat onze zoekmachine wint, staat een inkomstenopportuniteit van 2 miljard dollar aan advertenties.” Aangezien Bing een bijzonder klein marktaandeel heeft, 2,88% vergeleken met 93,17% bij Google (via Statcounter), snap je waarom Microsoft nu alle registers opentrekt om kostbaar marktaandeel af te snoepen.
Nadella wil Google maximaal uitdagen deze periode. “Deze nieuwe Bing forceert Google om buiten te komen en te dansen. Ik wil dat mensen weten dat wij hen hebben laten dansen.”
lees ook
Training GPT-5 (nog) niet begonnen
Eigen AI-chips ontwikkelen
Chips van Nvidia kopen is vandaag een snelle oplossing, maar op termijn wil Microsoft liever eigen AI-chips in Azure-servers stoppen. Het sleutelt daar naar verluidt al aan sinds 2019, lang voor de hype die ChatGPT vandaag is. Onder codenaam ‘Athena’ moet de chip performanter zijn dan die van derde partijen. Bovendien moet Microsoft de microchip niet extern aankopen, wat een positieve impact zal hebben op de eindafrekening.
Microsoft plant niet om het nieuwe Nvidia te worden. De chips van die AI-specialist zullen relevant blijven. Athena is een noodzakelijke extra die toekomstige workloads zal ondersteunen. De eerste Athena-chips worden momenteel al getest door Microsoft zelf, samen met OpenAI. Het is de ambitie om de eerste generatie van Athena in 2024 uit te rollen. Daarna zouden in principe nieuwe generaties volgen.