robots.txt

Bot Preference Sync schrijft de keuzes voor Search, Agent en Training uit je Cloudflare-dashboard automatisch in je robots.txt. Komende week op elk abonnement, en training blokkeren kost je zoekzichtbaarheid niet meer.

Ongeveer 15 procent van de herkende AI-fetchers in Europa haalde pagina's op die sites in robots.txt hadden verboden, meet TollBit. Drie bots kwamen op bijna de helft van de sites die hen noemden alsnog binnen.

Geef je GPTBot, ClaudeBot en soortgenoten toegang of hou je ze buiten? Een stappenplan om per crawler te beslissen, het correct in te stellen en de impact te meten.

Steeds meer klanten stellen hun vraag aan ChatGPT, Perplexity of Google AI Overviews in plaats van aan tien blauwe links. Zo maak je je content citeerbaar, stap voor stap, en meet je of het werkt.