Een onderzoeker is erin geslaagd om het GPT-2-model in een Excel-bestand te krijgen. Het experiment dient om inzicht te bieden in hoe het LLM en de onderliggende architectuur in elkaar zitten.
Past een LLM in een Excel-spreadsheet? Wie zich die vraag al eens heeft gesteld, weet nu het antwoord. Onderzoeker Ishan Anand toonde tijdens een conferentie in Seattle hoe hij erin geslaagd het GPT-2-model van OpenAI in een spreadsheet te proppen. Hij deelt zijn werk nu ook via GitHub.
Het GPT-2-model is een voorloper van de huidige versie GPT-4, al zijn beide modellen nauwelijks nog met elkaar te vergelijken. GPT-2 is gebouwd met ‘slechts’ 1,5 miljard parameters, tegenover 1,76 biljoen(!) parameters voor GPT-4. Het GPT-2-model kan ook maar maximaal tien tokens of enkele woorden tegelijk verwerken, waar de limiet van GPT-4 op 128.000 duizend ligt.
lees ook
Lanceert OpenAI binnenkort GPT-4.5 Turbo?
Anand moest bovendien ook nog eens een ‘kleinere’ versie van het model gebruiken om dit in de XLSB-bibliotheek van Excel te krijgen, waar ruimte is voor 124 miljoen parameters. Omwille van die beperkingen is Anand er voorlopig nog niet in geslaagd om GPT-2 in een Google-spreadsheet te verwerken.
Tokens voorspellen
Met GPT-2 kan je ook niet chatten zoals met ChatGPT. De eerste versie van de populaire chatbot was op een latere versie van GPT gebouwd, GPT-3.5. GPT-2 werkt volgens een voorspellingsmechanisme, waarbij het model de invoer verder aanvult met het meest waarschijnlijke vervolg. Het experiment dient dan ook vooral om op een laagdrempeligere manier meer inzicht op te doen in de werking van een LLM en de onderliggende Transformers-architectuur.
OpenAI lanceerde GPT-2 in 2019: de broncode en neurale netwerk staan ter beschikking voor onderzoek via de website van het bedrijf. Opmerkelijk is dat het dat aanvankelijk niet durfde, uit schrik dat de toepassing zou misbruikt worden ‘om misleidende, bevooroordeelde of beledigende taal op schaal te genereren.’ Vijf jaar en enkele GPT-versies later klinken nog steeds dezelfde bezorgdheden rond generatieve AI, maar is het inmiddels wel, mede door OpenAI, uitgegroeid tot een ongeziene hype in de technologiesector.