Stable Diffusion zou een nieuwe taak kunnen uitvoeren: afbeeldingen verkleinen. De resultaten zouden veelbelovend zijn tegenover JPEG of WebP.
De onderzoeker Matthias Bühlmann vond tijdens zijn experimenten met Stable Diffusion dat het model afbeeldingen kan verkleinen. De nieuwe toepassing levert mooie resultaten op: de bestanden zijn kleiner dan WebP of JEPG en de afbeelding behoudt beter zijn resolutie, al zijn er ook kanttekeningen aan.
Nieuwe toepassing
Voor Stable Diffusion is het verkleinen van afbeeldingen een nieuwe toepassing. Momenteel is het model populair in de context van de creatie van AI-afbeeldingen. Afbeeldingen worden daarin digitaal gegenereerd op basis van woorden of korte beschrijvingen (prompts).
Het model leert op basis van inhoud die op het internet aanwezig is. Leren doet het door statistische associaties tussen afbeeldingen en de prompts te maken. Iedere afbeelding krijgt daardoor een betekenis en dat slaat het model op als ‘weights’ ofwel wiskundige waarden.
Tijdens de analyse verkleint Stable Diffusion de afbeeldingen naar deze ‘weights’. De beeldgenerator zou anders een immense opslagruimte nodig hebben om te bestaan, terwijl de ware grootte van Stable Diffusion 1.4 ongeveer 4 GB bedraagt.
Het onderzoek
Bühlmann ging met dat proces aan de slag. In de zoekfunctie verving hij de woorden door enkele afbeeldingen. De afbeelding verkleinen en daarna opnieuw naar de originele grootte brengen lukte goed.
Al zijn de mogelijkheden beperkt. Verkleinen lukt niet met afbeeldingen waar gezichten of tekst aanwezig is zonder vervormingen. Bij andere resultaten was het opnieuw vergroten dan weer het grootste struikelblok, daar werden elementen in de foto gevonden die in de originele afbeelding niet aanwezig waren. Tot slot nam het verkleinen van de afbeeldingen meer tijd in beslag dan bij JPEG of WebP.
De onderzoeker toonde voornamelijk aan wat mogelijk zou zijn met Stable Diffusion. De resultaten mogen dan nog niet helemaal perfect zijn, het is een interessante piste die verder onderzoek aanmoedigt.