AI-crawlers toelaten of blokkeren: een keuzegids voor je robots.txt en Cloudflare-instellingen

Een AI-crawler is geen bezoeker die iets koopt of op een advertentie klikt. Hij haalt je pagina op, gebruikt hem om een model te trainen of om iemand in ChatGPT of Perplexity een antwoord te geven, en laat vaak niets achter: geen klik, geen omzet, soms niet eens een bronvermelding. Tegelijk is precies diezelfde crawler soms je enige kans om nog gevonden te worden nu steeds meer mensen hun vraag aan een AI stellen in plaats van aan Google. Daar zit de spanning: blokkeer je AI-crawlers om je content en je advertentie-inkomsten te beschermen, of laat je ze binnen om zichtbaar te blijven in de antwoorden die je klanten straks lezen?

Die keuze is geen theoretische meer. Cloudflare zet vanaf 15 september 2026 de standaard om en blokkeert AI-trainings- en agent-crawlers standaard op advertentiepagina’s voor nieuwe domeinen, terwijl bestaande klanten tot die datum zelf kunnen kiezen of ze meegaan. Voor veel Nederlandse sites betekent dat: doe je niets, dan beslist de default straks voor je. Deze gids is voor de ondernemer, marketeer of webshop-eigenaar die die beslissing bewust wil nemen en hem daarna correct wil instellen. Geen alles-of-niets, maar per functie kiezen wat er met je content mag gebeuren.

Wat je nodig hebt

• Toegang tot je robots.txt, in de root van je domein én van elk subdomein waarvoor de keuze moet gelden.
• Weten of je site achter Cloudflare draait (of achter een andere CDN of firewall), en toegang tot dat dashboard. Alleen daar kun je de keuze echt afdwingen.
• Een helder beeld van je verdienmodel: leef je van advertenties en paginaweergaves, van verkoop, of van vindbaarheid en autoriteit?
• Toegang tot je analytics (GA4 of je server-logs) en Google Search Console, om achteraf de impact te meten.
• Ongeveer een uur voor de basisinstelling. Fijnregeling per crawler en het monitoren is doorlopend werk.

In vier stappen beslissen en instellen

Je bepaalt per crawler-functie of je hem toelaat of blokkeert. Eerst toets je je verdienmodel, dan onderscheid je zoek-, trainings- en agent-crawlers, vervolgens leg je de keuze vast in je robots.txt én in de Cloudflare-instellingen, en tot slot meet je de impact op je verkeer en je AI-citaties. Zo blijft het een strategische keuze in plaats van een default die je overkomt.

Doorloop deze vier stappen in volgorde:

1. Toets eerst je verdienmodel

Begin bij de vraag hoe je geld verdient, niet bij de techniek. De juiste keuze verschilt per type site:

• Leef je van advertenties, abonnementen of paginaweergaves (nieuws, een blog met display-ads, een kennisbank met een betaalmuur), dan kost een AI-crawler je geld: hij consumeert je content zonder dat er een mens op je pagina komt. Blokkeren, of laten betalen, ligt dan voor de hand. Cloudflare meet bij grote AI-crawlers verhoudingen tussen crawls en doorverwezen bezoekers die oplopen van 118 op 1 tot bijna 50.000 op 1, tegenover een veel evenwichtiger verhouding bij klassieke zoekmachines. Je geeft dus veel en krijgt weinig terug.
• Verkoop je online of haal je leads binnen, dan speelt het omgekeerde. Een AI die namens een klant zoekt en vergelijkt, moet je productpagina’s wél kunnen lezen. Wie zijn webshop klaarstoomt voor AI-agenten die namens klanten zoeken, vergelijken en afrekenen, laat die agent-bots juist binnen, want blokkeer je ze, dan verdwijn je uit de antwoorden van ChatGPT en Gemini.
• Leef je van autoriteit en expertise (een adviespraktijk, een dienstverlener, een merk dat gevonden wil worden), dan is geciteerd worden in AI-antwoorden pure winst. Dan wil je de zoek-crawlers toelaten en je content juist optimaliseren om vindbaar te blijven in AI-zoekmachines met een werkbaar AEO-stappenplan.

De meeste sites zijn een mengvorm. Dat is precies waarom de keuze niet één knop is, maar een keuze per functie.

2. Leer de drie soorten crawlers kennen

Het cruciale inzicht: er is niet één "AI-bot". Elke grote aanbieder zet meerdere crawlers in met een eigen naam en een eigen doel, en je kunt ze afzonderlijk toestaan of blokkeren. Grofweg vallen ze in vier groepen:

Het verschil is geld waard. OpenAI splitst bijvoorbeeld GPTBot voor modeltraining, OAI-SearchBot voor de zoekindex van ChatGPT en ChatGPT-User voor door gebruikers gestarte bezoeken. Blokkeer je die zonder onderscheid, dan hou je je content buiten de training én buiten de antwoorden. Blokkeer je alleen GPTBot, dan bescherm je je content tegen training maar blijf je citeerbaar in ChatGPT search. Anthropic hanteert dezelfde driedeling met ClaudeBot, Claude-SearchBot en Claude-User, elk apart te blokkeren via robots.txt.

3. Stel je keuze in via robots.txt en Cloudflare

Maak nu twee dingen: een robots.txt die je wens uitspreekt, en een Cloudflare-instelling die hem afdwingt.

In je robots.txt (in de root van elk domein en subdomein) blokkeer je per user-agent met een Disallow. Wil je bijvoorbeeld wel gevonden worden in AI-zoekantwoorden, maar je content níét laten gebruiken voor training, dan blokkeer je de trainingsbots en laat je de zoekbots met rust:

# Training blokkeren, zoeken/citeren toestaan
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
Disallow: /

# Zoek-crawlers krijgen bewust geen Disallow
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

Wil je álles buiten houden, dan geef je elke user-agent een Disallow: /. Belangrijk: je moet dit op élk subdomein herhalen, en robots.txt is een verzoek, geen slot. Nette bots houden zich eraan, maar door gebruikers gestarte fetchers negeren het soms bewust, en ronduit kwaadwillende crawlers trekken zich er niets van aan.

In Cloudflare dwing je het af. Ga in je dashboard naar je domein en open AI Crawl Control, tabblad Crawlers. Op het gratis abonnement herkent Cloudflare bekende, zichzelf identificerende bots op hun user-agent en kun je ze per stuk op toestaan of blokkeren zetten; op de betaalde plannen komt er sterkere detectie bij en kun je een eigen respons teruggeven, zoals een 403 of een 402 Payment Required. Die 402 hangt samen met Cloudflares Pay Per Crawl, waarmee je crawlers per verzoek kunt laten betalen in plaats van ze gratis binnen te laten. Draai je op een nieuw domein, hou dan rekening met de nieuwe standaard vanaf 15 september: training en agent geblokkeerd op advertentiepagina’s, zoeken toegestaan. Draai je al op Cloudflare, controleer dan vóór die datum bewust je instellingen in plaats van de default over je te laten beslissen.

4. Meet de impact

Een keuze zonder meting is een gok. Kijk na een paar weken naar drie dingen. Je AI-verwijsverkeer: filter in GA4 of je logs op verwijzingen van chatgpt.com, perplexity.ai en gemini om te zien of AI je überhaupt bezoekers oplevert. Je crawlgedrag: de analytics in Cloudflare AI Crawl Control laten zien welke bots hoeveel ophalen en hoeveel bezoekers dat oplevert. Je citaties: stel ChatGPT en Perplexity een vraag waarop jouw site het antwoord heeft en kijk of je genoemd of gelinkt wordt. Controleer tot slot in Google Search Console dat je gewone zoekverkeer intact blijft, zeker als je twijfelde over Google-Extended.

Valkuilen

• robots.txt verwarren met een slot. Het is een beleefd verzoek. Wie het echt wil afdwingen, heeft Cloudflare of een andere firewall nodig; anders blokkeer je alleen de bots die zich netjes gedragen.
• Een subdomein vergeten. Een regel op www beschermt shop. of blog. niet. Elk subdomein heeft zijn eigen robots.txt.
• Google-Extended blokkeren en denken dat je Google-ranking daalt. Dat token stuurt alleen of je content Gemini traint; het staat los van Googlebot en raakt je gewone vindbaarheid in Google Zoeken niet.
• Alles-of-niets kiezen. Een blanco blokkade houdt je uit AI-antwoorden waar je klanten je zoeken; een blanco toestaan geeft je content gratis weg aan training. De winst zit in het onderscheid per functie.
• De zoek-crawler blokkeren in de veronderstelling dat je content beschermt. Dan verdwijn je uit de antwoorden van ChatGPT en Gemini terwijl je trainingsdata alsnog via andere wegen wordt verzameld.
• Vergeten dat een gecombineerde crawler op al zijn gedragingen wordt beoordeeld. Een bot die tegelijk zoekt én traint, valt bij Cloudflare onder de trainingsblokkade, ook al haalt hij daarnaast zoekdata op.

Kant-en-klaar vs. maatwerk

Voor de meeste sites is de standaardaanpak genoeg. Wordt je content zelf je product, of bouw je een strategie rond agent-verkeer, dan loont maatwerk.

Mijn advies: begin klein. Zet de basis goed met robots.txt en de Cloudflare-toggle, meet een maand, en stap pas over op pad-gebaseerde regels of licenties als de cijfers laten zien dat je content genoeg waard is om ervoor te vechten.

Tot slot

De echte verschuiving is niet technisch maar strategisch: de standaardinstelling van je platform is een keuze geworden, geen detail. Wie zijn content ziet als iets waar bezoekers en omzet uit voortkomen, blokkeert bewust wat niets teruggeeft. Wie leeft van gevonden worden, zet de deur juist open en zorgt dat hij geciteerd wordt. Het antwoord is bijna nooit alles dichttimmeren of alles openzetten, maar per crawler weten wat hij komt doen en wat jou dat waard is. Neem die beslissing zelf, en leg hem vast voordat een default hem voor je neemt.