De training van GPT-4 kostte 100 miljoen dollar en omvatte een enorme set aan data met miljarden woorden en tekst.
OpenAI is het bedrijf geworden dat AI tastbaar maakte voor de grote massa. Nvidia CEO Jensen Huang noemde ChatGPT “het iPhone-moment’ voor AI”. Met de lancering van GPT-4 presenteerde OpenAI zijn meest geavanceerde model tot nu toe vorige maand. Dat project kostte ongeveer 100 miljoen dollar om het AI-model te trainen over tienduizenden krachtige GPU’s.
Sam Altman, CEO van OpenAI, zegt tijdens een MIT-event dat hij in de toekomst geen progressie meer verwacht door steeds grotere modellen te ontwikkelen. “Ik denk dat we aan het einde van een periode komen waar het dergelijke gigantische, gigantische modellen zijn. We zullen ze beter maken op andere manieren.”
Deze woorden van Altman suggereren dat GPT-4 de laatste algemene evolutie is binnen de strategie van OpenAI om modellen steeds groter te maken met meer data. In een paper dat GPT-4 omschrijft, claimt het bedrijf dat het opschalen van de modelgrootte beperkte voordelen omvat. OpenAI moet ook rekening houden met de fysieke limieten van het aantal datacenters het bedrijf kan bouwen en hoe snel die er zijn.
lees ook
GPT-4 onder de loep: beelden lezen, talenknobbel en meerdere persoonlijkheden
Aan Wired vertellen AI-experts dat er andere manieren zijn om dergelijke modellen te verbeteren naast het vergrootten van de dataset. Nieuwe modellen of architecturen om een AI-model te ontwikkelen bieden heel wat interessante pistes. Er zijn ook nog manieren om de huidige modellen veel beter en meer bruikbaar te maken zonder dat er extra parameters moeten worden toegevoegd.
Nog geen GPT-5 in ontwikkeling
Eerder deze week zei Altman dat GPT-5 op dit ogenblik niet wordt getraind. Bovendien is OpenAI ook niet van plan om daar in de nabije toekomst mee te beginnen.
Dat betekent niet dat onderzoek naar generatieve AI plots op een laag pitje staat. OpenAI werkt immers naarstig verder aan de capaciteiten van GPT-4 en kijkt ook naar betere beveiliging van het model. Het is onduidelijk wat het bedrijf nog kan verwezenlijken met dat model. OpenAI kan in theorie nog heel wat verbeteringen introduceren zonder een nieuw versienummer achter zijn GPT-model te plakken.
Voorganger GPT-3 kreeg bovendien ook een upgrade met GPT 3.5. Het is perfect mogelijk dat we nog verbeterde varianten van GPT-4 zullen zien. Bovendien is GPT-4 nog erg nieuw. Het is lang nog niet duidelijk waar de limieten van dat model liggen. Ook zonder GPT-5 zal OpenAI nog wel even aan het voorfront van AI-onderzoek staan.