Franse start-up Mistral AI brengt als eerste de ecologische voetafdruk van een LLM in kaart.
Wie generatieve AI gebruikt, weet dat daar veel energie en water aan te pas komt. Hoe groot dat verbruik is, is vaak onduidelijk. In een poging tot meer transparantie deelt Mistral AI nu voor het eerst gedetailleerde cijfers over de milieu-impact van zijn Mistral Large 2-model.
Training slorpt meeste energie op
85,5 procent van de CO₂-uitstoot en 91 procent van het waterverbruik plaatsvindt tijdens het trainen en uitvoeren van het 123 miljard parameters tellende model. De cijfers komen uit een nieuw rapport van Mistral.
In totaal werd zo’n 20.000 ton CO₂ uitgestoten en 281.000 kubieke meter water verbruikt. Dat staat gelijk aan 112 olympische zwembaden. Ook het materiaalverbruik werd in kaart gebracht, met veel impact van de elektriciteitsinfrastructuur achter datacenters: dus windmolens, zonnepanelen en zelfs steenkoolcentrales.
Kleinere modellen, kleinere impact
Bij inferentie ligt het verbruik een pak lager. Een pagina tekst genereren kost naar schatting 45 ml water en 1,14 gram CO₂. Maar dat telt nog steeds stevig op.
Volgens Mistral kunnen kleinere modellen hier een verschil maken. Die vragen minder training, draaien efficiënter, en leveren vaak betere resultaten voor specifieke taken. Daarnaast helpt het slim groeperen van AI-verzoeken verspilling tegen te gaan.
Oproep tot transparantie
Mistral roept andere AI-bedrijven op om hun milieu-impact voortaan te rapporteren volgens duidelijke, internationaal erkende standaarden. Alleen zo kunnen bedrijven en overheden gefundeerde keuzes maken. Het rapport zelf noemt drie cruciale aandachtspunten: de impact van training, de kost van inferentie, en de verhouding tussen beide over de levensduur van een model.