AI-agenten zijn volgens Cloudflare de nieuwe norm, en zet daarom in op Markdown voor een betere crawl door webcontent.
Cloudflare erkent de verschuiving van klassieke zoekmachines naar AI-agenten door websites automatisch in de opmaaktaal markdown aan te bieden. Zo kunnen machines webcontent efficiënter en correcter kunnen verwerken.
Van SEO naar AI-ontdekking
Vroeger moet je online vindbaar zijn door menselijke bezoekers naar je website te lokken via SEO en zoekmahcines. Nu verschuift dat steeds meer naar vandaag van AI-crawlers en agenten. Die systemen kunnen niet goed omgaan met HTML-pagina’s vol scripts, navigatie en opmaak. Volgens Cloudflare vraagt dat om een fundamenteel andere aanpak: agenten prioriteren.
Waarom markdown het verschil maakt
Markdown is compacter dan HTML. Een eenvoudige kop kost in markdown slechts enkele tokens, terwijl dezelfde inhoud in HTML veel meer tokenruimte gebruikt door tags en opmaak. Cloudflare geeft aan dat een blogpost in markdown tot 80 procent minder tokens kan verbruiken dan de HTML-versie. Dat zorgt voor goedkopere, snellere en meer nauwkeurige verwerking voor AI-systemen.
Met Markdown for Agents kan Cloudflare nu HTML-pagina’s direct omzetten naar markdown. AI-agenten hoeven daarvoor enkel een Accept: text/markdown-header mee te sturen. Het Cloudflare-netwerk haalt de HTML op bij de bron, converteert die automatisch en serveert een markdown-versie terug, inclusief een header die het geschatte tokenaantal meegeeft.
Controle via Content Signals
De markdown-responses bevatten standaard Content Signals die aangeven of de inhoud mag worden gebruikt voor AI-training, zoeken of agent-toepassingen. Zo behouden contentmakers meer controle over hoe hun informatie wordt ingezet, terwijl AI-systemen duidelijkheid krijgen over toegestane gebruiksvormen.
Markdown for Agents is beschikbaar als gratis bèta voor Pro-, Business- en Enterprise-klanten van Cloudflare. Voor organisaties die zichtbaar willen blijven in een AI-gedreven web, is dit een eerste concrete stap richting content die niet alleen leesbaar is voor mensen, maar ook optimaal bruikbaar voor machines.