Surver

Onderzoek naar de robots.txt van 100 Nederlandse webshops laat zien dat 74 van de 89 leesbare bestanden geen enkele AI-crawler noemt. Daarmee beslist de standaardinstelling van hosting of plugin wie je productpagina's mag lezen.