Concept

Crawlerclassificatie

Indeling van AI-crawlers in vier functionele groepen: training, zoeken, gebruiker-getriggerd en opt-out-token

Nieuws· 1

Cloudflare blokkeert AI-agents op advertentiepagina's

Nieuws

4 min

18 sep 00:23

Cloudflare blokkeert AI-agents op advertentiepagina's

Cloudflare voert de nieuwe standaard voor AI-crawlers in: Search blijft toegestaan, Training wordt geweerd en Agent-verkeer wordt op advertentiepagina's geblokkeerd. Voor webshops en uitgevers wordt bottoegang een expliciete bedrijfskeuze.

Gids· 1

Gids

9 min

2 jul 09:00

AI-crawlers toelaten of blokkeren: een keuzegids voor je robots.txt en Cloudflare-instellingen

Geef je GPTBot, ClaudeBot en soortgenoten toegang of hou je ze buiten? Een stappenplan om per crawler te beslissen, het correct in te stellen en de impact te meten.