Cloudflare introduceert nieuwe tools voor website-eigenaars om zich te beschermen tegen webcrawlers en een eerlijke prijs te krijgen voor de content.
Het internet krioelt van webcrawlers die op zoek gaan naar interessante content om AI-modellen te trainen. De verzamelde content wordt gebruikt zonder toestemming te vragen, laat staan er een eerlijke prijs voor te betalen. Cloudflare geeft website-eigenaars de wapens om hun content te beschermen tegen webcrawlers.
Nadat Cloudflare in juli een tool lanceerde om webcrawlers uit te schakelen, kiest het nu voor een meer bemiddelende aanpak. Het internetbedrijf kondigt AI Audit aan, een verzameling van gratis tools die klanten helpen begrijpen hoe AI-modellen hun content gebruiken. Cloudflare’s tool kan onder andere zien waar elke crawler vandaan komt, wie de eigenaar is en hoe vaak je bezoek krijgt van iedere webcrawler.
Gewapend met dit inzicht kunnen bedrijven beslissen of ze AI-ontwikkelaars al dan niet toegang willen verlenen en een “eerlijke prijs” bepalen voor het gebruiken van hun content voor modeltraining en andere doeleinden.
Evenwicht herstellen
Het gebruik van webcrawlers is in het kielzog van de opmars van generatieve AI een onderwerp van controverse geworden. ChatGPT weet zoveel omdat OpenAI het internet heeft afgeschuimd op zoek naar informatie, Dall-E heeft zijn tekenkunsten van bestaande foto’s en kunstwerken geleerd. Hiervoor werd publiek beschikbare content ‘geschraapt’ van het internet zonder rekening te houden met auteursrechten.
Cloudflare wil met AI Audit naar eigen zeggen het evenwicht tussen (kleine) contentmakers en (grote) technologiebedrijven herstellen. “Als je makers niet op de een of andere manier compenseert, dan stoppen ze met creëren, en dat is het stukje dat opgelost moet worden. Doen we dit niet, zal de kwaliteit en de beschikbaarheid van online content alleen maar afnemen”, zegt CEO Matthew Prince in een interview met TechCrunch.
Sommige websites nemen het heft zelf in handen. Reddit weert alle zoekmachines van bedrijven die niet betalen voor de content op het socialmediaplatform. Het verkoopt zijn vel zeer duur: Google sloot een contract voor zestig miljoen dollar per jaar met Reddit.