Google DeepMind stelt in een paper een nieuwe methode voor om AI te trainen. Die zou dertien keer zo performant en vooral tien keer zo efficiënt zijn dan huidige technieken.
Google DeepMind stelt in een onderzoekspaper JEST voor, kort voor Joint Example Selection. Dat is een nieuwe techniek om AI-modellente trainen. JEST zou dertien keer performanter zijn dan huidige technieken om AI te trainen, en tien keer zo efficiënt. Zeker dat laatste is heel belangrijk, aangezien AI-training de vraag naar energie van datacenters van vooral technologiereuzen heeft doen exploderen. Google zelf zag zijn CO2-uitstoot mede daardoor niet dalen, maar met 48 procent stijgen in vijf jaar tijd.
Kwaliteit boven kwantiteit
JEST moet helpen om AI-training beheersbaar te maken. Het model werkt in verschillende stappen. Eerst wordt er een klein AI-model gebouwd, dat de trainingsdata kan onderverdelen op basis van kwaliteit. Vervolgens worden data gegroepeerd in batches. In een tweede fase start de training van het grote model, op basis van de batches met hoogkwalitatieve data. Door preventief te filteren op kwaliteit, daalt de nood voor kwantiteit.
De beschikbaarheid van gegevens van hoge kwaliteit is cruciaal voor de JEST-aanpak. In de praktijk is deze complexere techniek vooral relevant voor grotere spelers, die grote modellen willen trainen. Efficiëntiewinst komt daarbij gelegen. GPT-4o trainen, kostte al zo’n 100 miljoen dollar. De CEO van Anthropic voorspelt dat de kost van de volgende generatie van modellen rond de één miljard dollar zal liggen.