Alisina NawabiCloudflare schrijft je AI-botkeuzes voortaan zelf in je robots.txt: Bot Preference Sync synchroniseert de instellingen voor Search, Agent en Training uit het dashboard met dat bestand en komt komende week beschikbaar op elk abonnement, van gratis tot Enterprise.
Wie zijn site achter Cloudflare draait, moest dezelfde keuze tot nu toe twee keer vastleggen: met de hand per user-agent in robots.txt, en nog eens in de botinstellingen die het aan de rand van het netwerk afdwingen. Dat dubbele boekhouden verdwijnt. Voor een Nederlandse webshop of uitgever verschuift de vraag daarmee van "staat het overal goed" naar "wat wil je eigenlijk", en dat blijft een keuze per functie: trainingsbots weren en zoekbots juist binnenlaten.
Wat Cloudflare in je bestand zet
Bot Preference Sync maakt of werkt je robots.txt bij op basis van je configuratie op zoneniveau. Heb je al een robots.txt, dan zet Cloudflare zijn regels ervoor, tussen de markeringen # BEGIN Cloudflare Bot Preference Sync en # END Cloudflare Bot Preference Sync. Je eigen Disallow-regels blijven daaronder gewoon staan.
Welke user-agents in dat blok belanden houdt Cloudflare bij via BotBase, zijn catalogus van bekende bots en agents; de geverifieerde bots die als Search, Agent of Training zijn ingedeeld zijn na te kijken in de openbare botdirectory op Cloudflare Radar.
Het is een categoriebrede schakelaar, geen fijnregeling. Heb je een aparte afspraak met een AI-bedrijf en staat die in een eigen regel met complexere logica, dan leest de sync die niet mee. Voor dat geval kun je de sync uitzetten en je bestand zelf blijven beheren.
Training blokkeren kost je zoekzichtbaarheid niet meer
Voor Search en Agent blijven de drie opties van 1 juli staan: toestaan, blokkeren op pagina's met advertenties, of overal blokkeren. Bij Training verandert de betekenis van de blokkade. Kies je Disallow, dan komt er een "geen training"-voorkeur in je robots.txt, en crawlers die zich daaraan houden mogen je pagina's blijven indexeren voor zoekresultaten. Je zichtbaarheid in zoeken blijft bij die crawlers dus intact.
Dat is een verschuiving ten opzichte van juli, toen een crawler die zoeken, agent-taken en training onder een en dezelfde user-agent mengde nog op al zijn gedragingen samen werd beoordeeld. Nu koppelt Cloudflare het voordeel van de twijfel aan transparantie. Een bot die zowel zoekt als traint ontkomt alleen aan de blokkade als hij vier dingen laat zien: dat hij een "geen training"-voorkeur respecteert, dat sitehouders zich kunnen afmelden voor AI-samenvattingen, dat per URL zichtbaar is welke pagina's voor training beschikbaar waren en wat de zoekcijfers zijn, en publiek bewijs dat training weigeren de gewone zoekresultaten niet schaadt. Levert een operator dat niet, dan blijft hij geblokkeerd zodra je training uitzet. Cloudflare houdt in de AI-transparantiesectie van Radar bij wie zich eraan houdt en wie niet, en verificatie vraagt sowieso eerlijke zelfidentificatie en niet-misbruikend gedrag.
Wat er standaard aan komt te staan
Bij nieuwe klanten staat de sync standaard aan. Geeft zo'n klant bij het aanmelden aan geld te verdienen met advertentiepagina's, dan zet Cloudflare Training meteen op Disallow, aan te passen wanneer je wilt. Alle andere nieuwe klanten krijgen bij het aanmelden geen enkele blokkade of disallow: het beginpunt is leeg. Bestaande klanten die nog op de oude beheerde robots.txt zitten, krijgen bij de lancering een melding in hun dashboard en hun mailbox om hun voorkeuren te bevestigen.
Dat aanmeldmoment doet meer werk dan het lijkt, want de meeste sites komen nooit aan een bewuste keuze toe. Bij een steekproef onder Nederlandse webshops noemde 83 procent geen enkele AI-crawler in zijn robots.txt, waardoor niet de eigenaar maar de standaard van de hosting of een securityplug-in besliste wie de catalogus mocht ophalen.
Een voorkeur is nog geen slot
Cloudflare zet het zelf in hetzelfde scherm: dit garandeert niet dat bots zich aan robots.txt houden. Metingen van TollBit lieten deze maand zien dat ongeveer 15 procent van de AI-fetchers in Europa geblokkeerde pagina's alsnog ophaalt. Het bestand spreekt je voorkeur uit, de blokkade aan de rand van het netwerk dwingt hem af. Bot Preference Sync lost geen van beide op, het zorgt er alleen voor dat de twee hetzelfde zeggen, en dat is precies het gat waar crawlers volgens Cloudflare misbruik van maken.
De klok tikt ondertussen door. Op 15 september 2026 blokkeert Cloudflare trainings- en agent-crawlers standaard op advertentiepagina's van nieuwe domeinen, terwijl bestaande klanten tot die datum zelf bepalen of ze meegaan. Wie zijn keuze in de weken daarvoor bewust maakt, hoeft hem daarna nog maar op een plek te zetten.
Veelgestelde vragen
Instellingen die elkaar volgen
Een keuze die op twee plekken hetzelfde moet zeggen loopt vroeg of laat uit elkaar, of dat nu je robots.txt en je firewall zijn of je webshop en je boekhouding. Ik denk mee over wat je wilt, ontwerp het, bouw het en automatiseer het daarna zo dat het zichzelf gelijk houdt, zelf gehost waar dat kan.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
