SEO & AI
GPTBot, ClaudeBot, PerplexityBot: blokkeren of niet?
AI-bots blokkeren in robots.txt is verleidelijk. Maar ze doen niet allemaal hetzelfde: sommige trainen modellen, andere halen je pagina op om ze in realtime te citeren. Ze verwarren betekent jezelf voor niets onzichtbaar maken in AI-antwoorden.
Een trend gaat door de SEO-fora: een lijst User-agent-regels aan je robots.txt toevoegen om « de AI te blokkeren ». De bedoeling is begrijpelijk — waarom modellen gratis op je inhoud laten trainen? Maar zonder selectie toegepast heeft het een pervers effect: het wist je ook uit de antwoorden die mensen echt lezen.
Het onderscheid dat alles verandert: training vs citatie
Elke AI-uitgever draait twee families bots, die niets met elkaar te maken hebben:
- Trainingsbots zuigen inhoud op om toekomstige modellen te voeden. Ze blokkeren beschermt je inhoud tegen training — zonder je aanwezigheid in de huidige antwoorden te veranderen.
- Citatiebots halen je pagina op op het moment dat een gebruiker een vraag stelt, om ze samen te vatten en als bron te citeren. Ze blokkeren betekent uit de antwoorden verdwijnen.
Daar komt het hele misverstand vandaan: GPTBot (OpenAI-training) en OAI-SearchBot (citatie in ChatGPT Search) dragen bijna dezelfde naam, maar de eerste blokkeren raakt de tweede niet.
De AI-user-agenttabel (2026)
| User-agent | Uitgever | Rol | Blokkeren betekent… |
|---|---|---|---|
GPTBot | OpenAI | Training | Training weigeren — niet ChatGPT Search verlaten |
OAI-SearchBot | OpenAI | ChatGPT-Search-index | Onzichtbaar worden in ChatGPT Search |
ChatGPT-User | OpenAI | Ophalen op verzoek | ChatGPT beletten je link te openen |
ClaudeBot | Anthropic | Training | Training weigeren |
Claude-User | Anthropic | Ophalen op verzoek | Claude beletten je te citeren |
PerplexityBot | Perplexity | Index | De Perplexity-index verlaten |
Perplexity-User | Perplexity | Ophalen op verzoek | Perplexity beletten je te citeren |
Google-Extended | Gemini-training | Training weigeren — geen effect op SEO | |
Googlebot | SEO + AI Overviews | Uit Google verdwijnen (nooit doen) | |
Applebot-Extended | Apple | Training | Apple-Intelligence-training weigeren |
Bytespider | ByteDance | Training (agressief) | Training weigeren (vaak gewenst) |
De rollen zijn gebaseerd op de openbare documentatie van de uitgevers; namen en gedrag veranderen — controleer opnieuw voordat je je bestand vastlegt.
Dus: blokkeren of niet?
Het is geen technische, maar een redactionele vraag. Twee coherente houdingen:
- Je wilt AI-zichtbaarheid → laat de citatiebots door (OAI-SearchBot, ChatGPT-User, Perplexity*, Claude-User) en Googlebot. De trainingsbots blokkeren blijft mogelijk zonder citeerbaarheid te verliezen.
- Je weigert gratis training → blokkeer GPTBot, Google-Extended, ClaudeBot, Applebot-Extended, CCBot, Bytespider. Dat heeft geen impact op geciteerd worden.
Bij Snorklee verwelkomen we alle AI-bots: ons vak is juist AI-zichtbaarheid meten, niet ervoor vluchten.
Een robots.txt-voorbeeld
# Training weigeren, citatie behouden User-agent: GPTBot User-agent: Google-Extended User-agent: CCBot User-agent: Bytespider Disallow: / # Realtime citatie doorlaten User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Claude-User Allow: /
User-agent-regels gevolgd door een regel gelden voor de hele groep. Googlebot staat hier nooit in: we blokkeren hem niet.Een trainingsbot blokkeren ≠ een citatiebot blokkeren. Vraag je vóór het toevoegen van een regel aan je robots.txt af: « dient deze bot om een model te trainen of om me nu te citeren? » En vergeet nooit: robots.txt wordt door eerlijke uitgevers gerespecteerd, het is geen muur.
Controleren of het werkt
Zodra je robots.txt klaar is, controleer het resultaat: zijn je pagina's echt toegankelijk voor de juiste bots? Onze gratis AI-zichtbaarheidschecker controleert de crawlertoegang en de signalen die AI weegt. En als je nog twijfelt over llms.txt, schreven we waarom het weinig weegt.
Voorkomt het blokkeren van GPTBot dat ik in ChatGPT verschijn?
Nee. GPTBot dient voor modeltraining. Citaties in ChatGPT Search gaan via OAI-SearchBot en ChatGPT-User. Je kunt GPTBot blokkeren (training weigeren) en citeerbaar blijven, zolang je OAI-SearchBot doorlaat.
Schaadt het blokkeren van Google-Extended mijn SEO?
Nee. Google-Extended regelt alleen het gebruik van je inhoud om Gemini te trainen. Klassieke ranking en AI Overviews hangen af van Googlebot, die je nooit mag blokkeren.
Blokkeert robots.txt AI-bots echt?
robots.txt is declaratief: serieuze uitgevers (OpenAI, Anthropic, Google, Perplexity) respecteren het, maar het is geen technische barrière. Een kwaadaardige bot kan het negeren; voor een harde blokkade is een serverregel nodig.
Welke bots doorlaten voor AI-zichtbaarheid?
De citatiebots op verzoek: OAI-SearchBot en ChatGPT-User (OpenAI), Perplexity-User en PerplexityBot (Perplexity), Claude-User (Anthropic), plus Googlebot. Een geblokkeerde bot kan je niet citeren.
Gepubliceerd in juni 2026. Namen en gedrag van AI-bots veranderen snel; raadpleeg de documentatie van de aanbieders voordat u een configuratie vastlegt. Algemene informatie, geen geïndividualiseerd advies.