Concept

AI-crawlers

Geautomatiseerde bots die webcontent ophalen voor AI-modellen

Nieuws· 1

Cloudflare blokkeert AI-crawlers standaard op advertentiepagina's vanaf 15 september

Nieuws

5 min

1 jul 21:23

Cloudflare blokkeert AI-crawlers standaard op advertentiepagina's vanaf 15 september

Cloudflare zet vanaf 15 september 2026 de standaard om: AI-crawlers die trainen of vragen beantwoorden worden geblokkeerd op advertentiepagina's, zoek-crawlers niet. Voor Nederlandse webshops en uitgevers wordt de standaardinstelling een strategische keuze.

Gids· 1

Gids

9 min

2 jul 09:00

AI-crawlers toelaten of blokkeren: een keuzegids voor je robots.txt en Cloudflare-instellingen

Geef je GPTBot, ClaudeBot en soortgenoten toegang of hou je ze buiten? Een stappenplan om per crawler te beslissen, het correct in te stellen en de impact te meten.