Nieuws4 min
28 jul 08:12
83 procent van Nederlandse webshops noemt geen enkele AI-crawler in robots.txt
Onderzoek naar de robots.txt van 100 Nederlandse webshops laat zien dat 74 van de 89 leesbare bestanden geen enkele AI-crawler noemt. Daarmee beslist de standaardinstelling van hosting of plugin wie je productpagina's mag lezen.
Belangrijk
Emerce
Flinders
OpenAI
NoHacks
Claude Help Center
Cloudflare Docs
Cloudflare