Concept

Cloudflare-instellingen

Configuratie-opties in Cloudflare om verkeer te beheren, waaronder het blokkeren van AI-crawlers.

Nieuws· 1

Cloudflare synchroniseert je robots.txt met je AI-botinstellingen

Nieuws

5 min

22 aug 02:10

Cloudflare synchroniseert je robots.txt met je AI-botinstellingen

Bot Preference Sync schrijft de keuzes voor Search, Agent en Training uit je Cloudflare-dashboard automatisch in je robots.txt. Komende week op elk abonnement, en training blokkeren kost je zoekzichtbaarheid niet meer.

Gids· 1

Gids

9 min

2 jul 09:00

AI-crawlers toelaten of blokkeren: een keuzegids voor je robots.txt en Cloudflare-instellingen

Geef je GPTBot, ClaudeBot en soortgenoten toegang of hou je ze buiten? Een stappenplan om per crawler te beslissen, het correct in te stellen en de impact te meten.