Nieuws4 min
28 jul 08:12
83 procent van Nederlandse webshops noemt geen enkele AI-crawler in robots.txt
Onderzoek naar de robots.txt van 100 Nederlandse webshops laat zien dat 74 van de 89 leesbare bestanden geen enkele AI-crawler noemt. Daarmee beslist de standaardinstelling van hosting of plugin wie je productpagina's mag lezen.
Belangrijk
Search Engine Journal
Cloudflare
PPC Land
OpenAI
Claude Help Center
Digiday
TollBit
Emerce
Flinders
NoHacks
Cloudflare Docs