ChatGPT noemt je concurrent, niet jou. Perplexity citeert een ander bedrijf voor exact het onderwerp waar jij al jaren over schrijft. Voor je conversieproblemen of contentkwaliteit gaat vermoeden: check eerst of je robots.txt de AI-crawlers niet gewoon buiten de deur zet. Dat gebeurt vaker dan je denkt, en meestal zonder dat iemand het bewust besloten heeft.
Waarom dit per ongeluk gebeurt
Drie situaties die we in de praktijk steeds terugzien:
- Een oude "block all bots"-regel. Iemand heeft ooit scrapers of spam-bots willen weren met
User-agent: *enDisallow: /, en die regel is nooit meer aangepast toen AI-crawlers een nieuwe categorie werden. - Een CDN- of WAF-preset. Sommige bot-protectiediensten leveren kant-en-klare regelsets die "AI scrapers" als categorie blokkeren — vaak los van robots.txt, op HTTP-niveau. Dat vind je niet terug door alleen naar robots.txt te kijken.
- Bewust bedoeld voor een ander doel. Sommige teams blokkeren AI-crawlers specifiek om te voorkomen dat hun content getraind wordt in een model, zonder te beseffen dat dezelfde regel ook de realtime crawlers blokkeert die antwoorden opbouwen voor ChatGPT-zoekopdrachten en Perplexity — twee heel verschillende dingen die vaak dezelfde bot-naam delen.
Welke bots ertoe doen
Niet elke AI-bot doet hetzelfde. Grofweg drie categorieën:
- Realtime antwoord-crawlers —
ChatGPT-UserenPerplexityBothalen een pagina live op het moment dat iemand een vraag stelt. Blokkeer je deze, dan kan het antwoord simpelweg niet naar jouw pagina citeren op dat moment. - Trainingscrawlers —
GPTBot,Google-ExtendedenCCBotverzamelen content om toekomstige modellen te trainen. Effect is pas op lange termijn zichtbaar. - Overig —
ClaudeBot,AmazonbotenApplebot-Extendedvallen niet altijd scherp in een van de twee bovenstaande categorieën, maar spelen wel mee in hoe vaak je content in AI-antwoorden opduikt.
Onze zichtbaarheidsscan checkt acht bekende AI-crawlers in één keer tegen je robots.txt, inclusief welke groep (specifiek of wildcard) ze raakt.
Zelf checken (2 minuten)
Open jouwsite.nl/robots.txt in de browser en zoek naar twee dingen:
- Een blok met
User-agent: *en daaronderDisallow: /— dat blokkeert alles, AI-crawlers incluis, tenzij er een specifieker blok voor die bot bestaat. - Een blok specifiek voor een van de botnamen hierboven (bijvoorbeeld
User-agent: GPTBot) met eenDisallow: /eronder — een gerichte blokkade, vaak bewuster ingesteld maar niet altijd met het juiste doel voor ogen.
Let op: een specifiek blok voor een bot wint altijd van het wildcard-blok. Sta je bot X expliciet toe onder een eigen User-agent: X-regel, dan negeert die bot het algemene Disallow: / verderop in het bestand.
Fixen in robots.txt
Wil je alle acht bekende AI-crawlers expliciet toestaan, los van je algemene regels? Voeg dit toe boven je bestaande blokken:
User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / User-agent: CCBot Allow: / User-agent: Amazonbot Allow: / User-agent: Applebot-Extended Allow: /
Een lege Disallow: (zonder pad erachter) betekent ook "alles toestaan" en is korter, maar de expliciete Allow: / hierboven is voor mensen die het bestand later lezen duidelijker in zijn bedoeling.
De afweging: wil je dit wel?
Toegang toestaan is niet automatisch de juiste keuze voor iedereen. Wil je niet dat je content een AI-model traint, maar wél dat ChatGPT en Perplexity ernaar kunnen citeren met bronvermelding? Dan is het zinvol om onderscheid te maken tussen trainingscrawlers (GPTBot, Google-Extended, CCBot) en realtime antwoord-crawlers (ChatGPT-User, PerplexityBot) — en die laatste categorie toe te staan terwijl je de eerste blokkeert. Er is geen universeel juiste keuze; er is wel een keuze die je bewust moet maken in plaats van per ongeluk laten gebeuren door een oude regel.