Cloudflare geeft alle klanten vanaf nu de mogelijkheid om bot-verkeer op te delen in drie categorieën: zoeken, agenten en training. Vanaf 15 september 2026 worden training- en agentbots standaard geblokkeerd op pagina’s met advertenties, terwijl zoekbots toegang blijven behouden.
Cloudflare geeft klanten meer gedetailleerde mogelijkheden om botverkeer toe te staan of te blokkeren. Het bedrijf onderscheidt voortaan drie soorten automatisch verkeer. Search verwijst naar bots die content indexeren om er later vragen mee te beantwoorden, zoals bij zoekmachines. Agent slaat op bots die in realtime iets uitvoeren namens een gebruiker, zoals ChatGPT-User of browsergestuurde AI-assistenten. Training omvat crawlers die content permanent gebruiken om AI-modellen te trainen.
Voor deze drie categorieën kunnen klanten van Cloudflare nu gedrag selecteren. Dat geldt ook wie een gratis abonnement heeft. Er zijn telkens drie opties: toestaan, blokkeren op pagina’s met advertenties, of bots helemaal blokkeren. Bedrijven die bots inzetten voor meerdere doelen worden aangemoedigd om hun crawlers op te splitsen, zodat websites duidelijker zien waarom een bot langskomt.
Nieuwe standaardinstellingen
Vanaf 15 september 2026 gelden nieuwe standaardinstellingen voor alle nieuwe domeinen op Cloudflare. Op pagina’s met advertenties worden Training- en Agent-bots dan standaard geblokkeerd, terwijl Search-bots toegang behouden. Advertenties zijn volgens Cloudflare een signaal dat menselijke aandacht het doel is, waardoor bots die dat kunnen verstoren geweerd worden.
Bots die meerdere doelen combineren, zoals Googlebot, Applebot en Bingbot, vallen voortaan onder alle toepasselijke regels. De meest strikte instelling zal de doorslag geven. Wie Training blokkeert, blokkeert dus ook deze bots, ook al gebruiken ze hetzelfde verkeer voor zoekresultaten. Websites kunnen dit gedrag wel uitschakelen via hun beveiligingsinstellingen vóór de deadline van 15 september.
Cloudflare lanceerde vorig jaar een functie om AI-bots met één klik te blokkeren, aangevuld met een marktplaats waarop websites betaald kunnen worden voor crawls. Sindsdien groeide de vraag naar meer nuance, waarom dit nieuwe systeem een antwoord is.
BotBase brengt overzicht
Cloudflare introduceert daarnaast BotBase, een nieuwe database met alle bekende en geverifieerde bots. Enterprise-klanten met Bot Management krijgen zo een doorzoekbaar overzicht van elke crawler en zijn classificatie. Later dit jaar breidt Cloudflare de functie uit tot een volwaardig controlecentrum voor automatisch websiteverkeer.