Cloudflare blokkeert AI-crawlers standaard op advertentiepagina's vanaf 15 september

Vanaf 15 september 2026 draait Cloudflare de standaard om. AI-crawlers die content ophalen om modellen te trainen of om vragen van gebruikers te beantwoorden, worden dan standaard geblokkeerd op elke pagina die advertenties toont. Zoek-crawlers die je vindbaarheid in Google of Bing bepalen blijven wel toegestaan. Voor de vele sites die achter Cloudflare draaien, waaronder talloze Nederlandse webshops en uitgevers, verschuift daarmee de default van 'alles mag' naar 'AI betaalt of komt er niet in'.

Wat er precies verandert

Cloudflare deelt botverkeer voortaan op in drie categorieen die je apart kunt toestaan of blokkeren: Search (bots die je site scannen voor zoekresultaten), Training (crawlers die content scrapen om AI-modellen te trainen) en Agent (bots die informatie ophalen om een gebruikersvraag te beantwoorden, bijvoorbeeld binnen ChatGPT of Gemini). Op 15 september zet Cloudflare voor nieuwe domeinen de standaard zo: Search blijft toegestaan, Training en Agent worden geblokkeerd, maar alleen op pagina's met advertenties. Niet site-breed dus: een pagina zonder advertenties blijft toegankelijk voor alle drie de categorieen.

Belangrijk voor bestaande klanten: de nieuwe defaults gelden automatisch voor alle nieuwe domeinen die na 15 september bij Cloudflare komen. Draai je er al op, dan blijven je eigen instellingen staan en kun je tot die datum in de beveiligingsinstellingen zelf kiezen of je meegaat met de nieuwe standaard. De drie los instelbare knoppen, elk met 'toestaan', 'blokkeren' of 'blokkeren op advertentiepagina's', komen beschikbaar voor alle klanten, ook op het gratis abonnement.

Scheiden of geblokkeerd worden

De echte druk zit in een detail. Een crawler die tegelijk zoekt, traint en als agent optreedt, wordt beoordeeld op al zijn gedragingen samen. Doet zo'n gecombineerde bot ook aan training, dan valt hij onder de blokkade op advertentiepagina's, ook al haalt hij daarnaast zoekdata op. Cloudflare zegt scheiding niet af te dwingen, maar moedigt bedrijven sterk aan hun automatisering op te splitsen in drie aparte crawlers. Het effect is hetzelfde: wil een AI-bedrijf als OpenAI, Anthropic of Google zijn zoek-crawler vrij houden, dan moet het die scheiden van zijn trainings- en agent-crawlers. Doet het dat niet, dan raakt het de toegang tot advertentiepagina's kwijt.

Dat raakt een probleem waar uitgevers al langer over klagen: AI-bedrijven vermommen trainingsverkeer soms als zoekverkeer, waardoor je het een niet kon blokkeren zonder ook je vindbaarheid te verliezen. De cijfers laten zien hoe scheef de verhouding is. Cloudflare meet bij grote AI-crawlers verhoudingen tussen crawls en doorverwezen bezoekers van 118 op 1 tot bijna 50.000 op 1, tegenover een veel evenwichtiger verhouding bij klassieke zoekmachines. Meer dan de helft van al het AI-crawlerverkeer bestaat bovendien uit het opnieuw ophalen van pagina's die niet zijn veranderd, puur bandbreedte die de uitgever betaalt.

'Nu het merendeel van het internetverkeer niet-menselijk is, moeten we verder gaan en sneller handelen zodat er een houdbaar ecosysteem kan ontstaan', aldus Cloudflare-oprichter Matthew Prince in de toelichting op de nieuwe standaardinstellingen. Cloudflare bouwt zijn Pay Per Crawl-markt tegelijk om tot 'Pay Per Use', waarbij uitgevers kunnen laten betalen wanneer hun content waarde oplevert, niet alleen wanneer die wordt opgehaald. Ceramic.ai en You.com zijn de eerste partners.

Wat betekent dit voor jou

Voor Nederlandse ondernemers zit hier een keuze onder die verder gaat dan een vinkje. Draai je een site met advertenties op Cloudflare, dan verandert er per 15 september iets aan wie je content mag ophalen, en op nieuwe domeinen is blokkeren straks de default. Verkoop je online, dan speelt het tegenovergestelde: je webshop klaarmaken voor AI-agenten die namens klanten zoeken, vergelijken en afrekenen betekent juist die Agent-bots binnenlaten, want blokkeer je ze, dan verdwijn je uit de antwoorden van ChatGPT en Gemini. Bescherming en vindbaarheid trekken hier aan hetzelfde touw.

Voor wie leeft van eigen content wijst de beweging dezelfde kant op als een reeks eerdere stappen. Nederlandse uitgevers bepalen met Bookpact.ai per titel of AI-bedrijven een boek mogen gebruiken en zetten daar een vergoeding tegenover, en in de VS klagen bijna 400 lokale kranten Microsoft en OpenAI aan omdat hun journalistiek zonder toestemming modellen traint. Cloudflare voegt daar de infrastructuur aan toe: een knop waarmee je op grote schaal kunt afdwingen wat die uitgevers juridisch en per licentie proberen te regelen.

De praktische les is nuchter. De standaardinstelling van je platform is vanaf nu een strategische keuze, geen technisch detail. Bepaal bewust of jouw content vrij mag worden opgehaald door AI, alleen tegen betaling, of helemaal niet, en stel dat in vóór 15 september in plaats van de default over je te laten beslissen.