AI-crawler-naleving

Bot Preference Sync schrijft de keuzes voor Search, Agent en Training uit je Cloudflare-dashboard automatisch in je robots.txt. Komende week op elk abonnement, en training blokkeren kost je zoekzichtbaarheid niet meer.

Ongeveer 15 procent van de herkende AI-fetchers in Europa haalde pagina's op die sites in robots.txt hadden verboden, meet TollBit. Drie bots kwamen op bijna de helft van de sites die hen noemden alsnog binnen.