Cloudflare blokkeert AI-agents op advertentiepagina's

Cloudflare voert sinds 15 september voor nieuwe domeinen een nieuwe standaard in waarbij AI-agents en trainingscrawlers op advertentiepagina's worden geblokkeerd, terwijl Search blijft toegestaan, meldt het bedrijf.

Voor een Nederlandse webshop of uitgever verandert daarmee de inzet van één algemene botblokkade naar drie toegangskeuzes. Je kunt vindbaar blijven in zoeken, training van AI-modellen weigeren en live bezoeken van AI-agents apart behandelen.

Drie soorten AI-verkeer

Cloudflare verdeelt automatische verzoeken nu in Search, Training en Agent, met elk een eigen functie en instelling in het dashboard. Search bouwt een zoekindex, Training haalt content op om modellen te trainen of te verfijnen en Agent bezoekt een pagina namens een gebruiker, bijvoorbeeld om informatie te vergelijken of een taak uit te voeren. Elke categorie heeft drie standen: toestaan, blokkeren op advertentiepagina's of overal blokkeren.

Wat er sinds 15 september live staat

Voor nieuwe domeinen die advertenties tonen, beveelt Cloudflare nu deze combinatie aan: Search toestaan, Training uitsluiten met Disallow AI Training en Agent blokkeren op pagina's met advertenties. Op een domein zonder advertenties blijven de drie categorieën standaard toegestaan. De eigenaar kan elke keuze tijdens de onboarding of later aanpassen.

De wijziging geldt niet als één wereldwijde blokkade voor iedere bestaande site. Cloudflare migreert de huidige instellingen van bestaande domeinen naar de nieuwe controles. De oude knop Block AI Bots verdwijnt. Een uitgeschakelde oude instelling wordt vertaald naar Allow voor alle drie de categorieën; een oude Block-keuze wordt Search Allow, Training Disallow AI Training en Agent Block on pages with ads.

De lastigste categorie is die van gemengde crawlers die Search en Training combineren. Cloudflare geeft aanbieders die die functies transparant scheiden het label Accountable. Daarvoor moeten zij onder meer een trainingsopt-out respecteren, zichtbaar maken welke URL's voor training zijn gebruikt en aantonen dat uitsluiten van training gewone zoekresultaten niet schaadt. Apple, Google en Microsoft vallen volgens Cloudflare in die groep.

De cijfers verklaren waarom Cloudflare het onderscheid maakt. Het bedrijf meldt dat minder dan 1 procent van zijn sites Search blokkeert, tegenover 17 procent die al een mechanisme gebruikt om AI-training te beperken. PYMNTS beschrijft dezelfde verhouding en meldt dat de nieuwe preset standaard alleen op pagina's met advertenties ingrijpt.

Voor de praktijk betekent dit drie verschillende startsituaties. Een uitgever met advertentiepagina's krijgt de strengere preset, een webshop kan AI-agents op productpagina's nodig hebben en een site zonder advertenties krijgt niet automatisch dezelfde blokkade. De controles gelden op domeinniveau, behalve waar Cloudflare specifiek detecteert of een afzonderlijke pagina advertenties toont.

Zoekzichtbaarheid en agentbezoek

Voor uitgevers is Disallow AI Training de belangrijkste nieuwe nuance. Een crawler die Search en Training combineert, kan dan voor zoekresultaten blijven indexeren als hij Cloudflares voorwaarden voor transparantie en verantwoord gebruik accepteert. Kies je in plaats daarvan voor Block, dan worden gemengde crawlers zoals Googlebot, Applebot en Bingbot volledig geweerd, dus ook voor gewone zoekresultaten.

Voor een webshop ligt de afweging anders. Een productpagina zonder advertentie valt niet automatisch onder de nieuwe blokkade, terwijl een AI-agent juist die pagina kan bezoeken om namens een klant prijzen, voorraad of productinformatie te vergelijken. Agent blokkeren is daarom niet hetzelfde als Training weigeren: het eerste sluit een mogelijke digitale bezoeker buiten, het tweede voorkomt dat content in een model terechtkomt.

Cloudflares standaard waarbij AI-trainings- en agentcrawlers op advertentiepagina's worden geblokkeerd is nu actief beleid, niet langer alleen een aangekondigde datum. De webinfrastructuur behandelt Search, Training en Agent daarmee als verschillende soorten toegang. Voor Nederlandse organisaties verschuift de technische vraag naar een beleidskeuze: welke rol mag geautomatiseerd verkeer op jouw domein krijgen?