Robots.txt

Google heeft de generatieve-AI-rapporten in Search Console en de knop om je site uit AI Overviews en AI Mode te houden wereldwijd aangezet. Het rapport toont vertoningen, geen kliks.

wikiHow sleept negen OpenAI-entiteiten voor de rechter in Manhattan en betwist naast de AI-training ook het live ophalen van zijn how-to-artikelen bij elk antwoord. Die retrieval-claim raakt iedereen die AI op andermans content laat zoeken.

Bot Preference Sync schrijft de keuzes voor Search, Agent en Training uit je Cloudflare-dashboard automatisch in je robots.txt. Komende week op elk abonnement, en training blokkeren kost je zoekzichtbaarheid niet meer.

Ongeveer 15 procent van de herkende AI-fetchers in Europa haalde pagina's op die sites in robots.txt hadden verboden, meet TollBit. Drie bots kwamen op bijna de helft van de sites die hen noemden alsnog binnen.

AI-gedreven verkeer en orders naar Shopify-winkels verdrievoudigden in het tweede kwartaal, terwijl gewoon zoekverkeer bleef groeien. De helft van die AI-bezoekers landt direct op een productpagina, wat je productdata belangrijker maakt dan je etalage.

Het negende circuit vernietigt Amazons verbod op Perplexity's AI-winkelagent, omdat niet het bedrijf maar de gebruiker de webshop bezoekt. De Amerikaanse anti-hackwet blijkt geen slot op de deur, de gebruiksvoorwaarden nog wel.

Onderzoek naar de robots.txt van 100 Nederlandse webshops laat zien dat 74 van de 89 leesbare bestanden geen enkele AI-crawler noemt. Daarmee beslist de standaardinstelling van hosting of plugin wie je productpagina's mag lezen.

Geef je GPTBot, ClaudeBot en soortgenoten toegang of hou je ze buiten? Een stappenplan om per crawler te beslissen, het correct in te stellen en de impact te meten.

Steeds meer klanten stellen hun vraag aan ChatGPT, Perplexity of Google AI Overviews in plaats van aan tien blauwe links. Zo maak je je content citeerbaar, stap voor stap, en meet je of het werkt.