Duurzaamheid speelt geen grote rol bij bedrijven die AI implementeren. Een kleine minderheid is zich bewust van de milieu-impact van hun AI-gebruik, hoewel die vele malen groter is dan bij klassieke technologie-oplossingen. Bij de selectie van oplossingen speelt impact zelfs amper een rol.
Slechts twaalf procent van de bedrijven meet actief de milieu-impact van hun gebruik van generatieve AI. Dat blijkt uit een onderzoek van Capgemini bij 2.000 leidinggevenden bij grote bedrijven met een omzet van meer dan één miljard dollar in Noord-Amerika, Europa en Azië. Nochtans heeft 80 procent van de organisaties hun investeringen in generatieve AI het afgelopen jaar opgekrikt.
Grote impact
Generatieve AI heeft een grote impact op de omgeving. De training van GPT-4 verbruikte naar schatting tussen de 51.772 MWh en de 62.319 MWh, of het equivalent van het jaarlijkse energieverbruik van 5.000 Amerikaanse gezinnen. Inferentie is niet veel beter, gezien de grote schaal waarop het gebeurt. In 2022 al ging 60 procent van het energieverbruik van Google gerelateerd aan machine learning naar inferentie. Het Internationaal Energie-agendschap berekende eerder al dat één query aan ChatGPT ongeveer 2,9 Wh aan elektriciteit verbruikt: tien keer meer dan een Google-zoekopdracht.
De impact laat zich voelen. 42 procent van de bevraagde ondernemingen herbekijkt zijn klimaatdoelen onder impuls van het groeiende belang van generatieve AI. Amper 31 procent van de organisaties neemt maatregelen om de impact van GenAI ook effectief te verminderen.
Transparantie en stijging
Een eerste uitdaging daarbij is transparantie. 74 procent van de organisaties wijst met de vinger naar grote techbedrijven zoals Microsoft en Google, omdat die niet transparant genoeg zouden zijn over de CO2-voetafdruk van hun AI-modellen. 64 procent worstelt er zelf mee om de impact te meten gekoppeld aan applicaties.
Volgens het rapport zal het aandeel van generatieve AI in de totale uitstoot van bedrijven de komende twee jaar stijgen van 2,6 procent naar 4,8 procent. Dat percentage is gebaseerd op de cijfers van de weinige bedrijven die de impact effectief voldoende meten om een schatting te maken.
Geen prioriteit
Amper twintig procent geeft aan dat duurzaamheid vandaag een criterium is bij de keuze voor een vendor of een generatief AI-model. De impact van een generatieve AI-oplossing speelt met andere woorden niet noemenswaardig mee in de keuze voor een oplossing. 57 procent bevestigt dat kost en kwaliteit de prioriteit zijn, en de ecologische voetafdruk van een model slechts een kleine bedenking.
Het rapport toont aan dat grote bedrijven wereldwijd de mogelijkheden van generatieve AI zien, en er vooral als de dood voor zijn niet snel genoeg te innoveren. Beloftes over duurzaamheid en milieu-gerelateerde afwegingen verdwijnen naar het achterplan wanneer efficiëntiewinst op tafel ligt.
Oplossingen
Er bestaan nochtans manieren om vandaag wel duurzaam te innoveren met generatieve AI. Het rapport van Capgemini stipt enkele mogelijkheden aan. Die tonen dat duurzaamheid wel een onderdeel kan zijn van het beslissingsproces over zowat de hele AI-implementatie, van de keuze van modellen en partners tot infrastructuur.
Capgemini wijst bijvoorbeeld op het gebruik van kleinere AI-modellen (SLMs) in de plaats van grootschalige LLMs om energieverbruik te verlagen. Gespecialiseerde SLM’s moeten niet onderdoen voor LLM’s, wanneer ze juist worden ingezet.
Er bestaan verder verschillende optimalisatie-technieken zoals pruning, quantization, en knowledge distillation, die het energieverbruik verminderen zonder prestatieverlies. Verder is het slim om prompts zo goed mogelijk te optimaliseren.
Voor cloudgebaseerde oplossingen kunnen organisaties kijken naar waar partners hun energie halen, en op welke hardware modellen draaien. Hoe recenter de chips, hoe minder energie ze verbruiken. Capgemini wijst naar de voordelen van Nvidia’s Blackwell-chips, al illustreren die meteen de complexiteit van het vraagstuk. Blackwell is 25 keer efficiënter dan zijn voorgangers, maar de chips bevatten fouten en massaproductie geraakt, maar niet van start.
Dode letter
Hoe dan ook blijft duurzame implementatie van generatieve AI dode letter wanneer grote organisaties impact geen prioriteit vinden. Het rapport toont zo aan hoe bedrijven hun milieu-ambities snel vergeten wanneer ze verleid worden door vernieuwingen. Dat zo weinig grote bedrijven hun impact meten, en duurzaamheid niet meespeelt in de selectie van genAI-oplossingen, spreekt daarbij boekdelen.