Concept

Onderzoeksmethodologie

Opzet van het onderzoek naar robots.txt van webshops

Nieuws· 2

Pew vindt sporen van AI-auteurschap in 35 procent van nieuwe webpagina's

Nieuws

5 min

20 aug 20:11

Pew vindt sporen van AI-auteurschap in 35 procent van nieuwe webpagina's

Pew Research Center analyseerde 490.000 pagina's uit Common Crawl en vond in 35 procent van de pagina's van na de komst van ChatGPT sporen van AI-auteurschap. Wat dat cijfer wel en niet zegt.

83 procent van Nederlandse webshops noemt geen enkele AI-crawler in robots.txt

Nieuws

4 min

28 jul 08:12

83 procent van Nederlandse webshops noemt geen enkele AI-crawler in robots.txt

Onderzoek naar de robots.txt van 100 Nederlandse webshops laat zien dat 74 van de 89 leesbare bestanden geen enkele AI-crawler noemt. Daarmee beslist de standaardinstelling van hosting of plugin wie je productpagina's mag lezen.