Cloudflare verandert de regels voor AI-crawlers met een nieuw standaardbeleid dat content scraping zonder toestemming blokkeert.
Cloudflare blokkeert voortaan standaard AI-crawlers die zonder expliciete toestemming content verzamelen. Websitebeheerders kunnen zelf bepalen welke AI-bedrijven toegang krijgen en waarvoor hun content gebruikt mag worden, bijvoorbeeld voor training, zoekopdrachten of andere toepassingen.
Uitgevers onder druk
Volgens Cloudflare is dat noodzakelijk om de balans op het internet te herstellen. AI-systemen gebruiken vaak grote hoeveelheden online content om antwoorden te genereren, zonder verkeer terug te sturen naar de oorspronkelijke bron.
Denk aan Google Gemini, dat bij een zoekopdracht informatie van websites zonder toestemming samenvat en zo legitiem verkeer naar die websites voorkomt. Zo dreigt het verdienmodel van uitgevers onder druk te komen, alsook de creatie van nieuwe niet AI-gegenereerde artikelen in het algemeen.
Bestaande functie
Het nieuwe beleid bouwt verder op een functie die Cloudflare sinds september 2024 aanbiedt, waarmee beheerders met één klik AI-crawlers konden blokkeren. Intussen maken meer dan een miljoen klanten daar gebruik van. Vanaf nu geldt die blokkade standaard voor nieuwe websites die zich aanmelden bij Cloudflare. Website-eigenaars kunnen nog steeds zelf kiezen om crawlers wel toe te staan.
Verschillende grote internationale mediabedrijven en technologieplatforms steunen de nieuwe aanpak van Cloudflare. Onder meer Condé Nast, Dotdash Meredith, Gannett Media (USA Today) en Pinterest onderschrijven het idee dat AI-platformen uitgevers eerlijk moeten compenseren voor het gebruik van hun content. Reddit en Ziff Davis wijzen erop dat meer transparantie en controle nodig is over wie content crawlt en waarvoor die gebruikt wordt.
Cloudflare stelt dat het nieuwe beleid niet alleen uitgevers beschermt, maar ook AI-bedrijven helpt die op een legale en transparante manier content willen verzamelen. Zo werkt het bedrijf mee aan een nieuw protocol waarmee AI-bots zich beter kunnen identificeren en websitebeheerders eenvoudiger kunnen controleren welke bots hun site bezoeken. Dat voorkomt juridische discussies over auteursrechten achteraf.