SEO & IA
GPTBot, ClaudeBot, PerplexityBot : faut-il les bloquer ?
Bloquer les robots IA dans robots.txt est tentant. Mais tous ne font pas la même chose : certains entraînent des modèles, d'autres vont chercher votre page pour la citer en temps réel. Les confondre, c'est se rendre invisible dans les réponses IA pour rien.
Une mode parcourt les forums SEO : ajouter une liste de User-agent dans son robots.txt pour « bloquer les IA ». L'intention est compréhensible — pourquoi laisser des modèles s'entraîner gratuitement sur votre contenu ? Mais appliquée sans tri, elle a un effet pervers : elle vous efface aussi des réponses que les gens lisent vraiment.
La distinction qui change tout : entraînement vs citation
Chaque éditeur d'IA fait tourner deux familles de robots, qui n'ont rien à voir :
- Les robots d'entraînement aspirent du contenu pour nourrir les futurs modèles. Les bloquer protège votre contenu de l'entraînement — sans rien changer à votre présence dans les réponses actuelles.
- Les robots de citation vont chercher votre page au moment où un utilisateur pose une question, pour la résumer et la citer en source. Les bloquer, c'est disparaître des réponses.
Tout le malentendu vient de là : GPTBot (entraînement OpenAI) et OAI-SearchBot (citation dans ChatGPT Search) portent presque le même nom, mais bloquer le premier n'affecte pas le second.
Le tableau des user-agents IA (2026)
| User-agent | Éditeur | Rôle | Le bloquer, c'est… |
|---|---|---|---|
GPTBot | OpenAI | Entraînement | Refuser l'entraînement — pas sortir de ChatGPT Search |
OAI-SearchBot | OpenAI | Index ChatGPT Search | Devenir invisible dans ChatGPT Search |
ChatGPT-User | OpenAI | Fetch à la demande | Empêcher ChatGPT d'ouvrir votre lien |
ClaudeBot | Anthropic | Entraînement | Refuser l'entraînement |
Claude-User | Anthropic | Fetch à la demande | Empêcher Claude de vous citer |
PerplexityBot | Perplexity | Index | Sortir de l'index Perplexity |
Perplexity-User | Perplexity | Fetch à la demande | Empêcher Perplexity de vous citer |
Google-Extended | Entraînement Gemini | Refuser l'entraînement — aucun effet sur le SEO | |
Googlebot | SEO + AI Overviews | Disparaître de Google (à ne jamais faire) | |
Applebot-Extended | Apple | Entraînement | Refuser l'entraînement Apple Intelligence |
Bytespider | ByteDance | Entraînement (agressif) | Refuser l'entraînement (souvent souhaité) |
Les rôles s'appuient sur la documentation publique des éditeurs ; les noms et comportements évoluent — revérifiez avant de figer votre fichier.
Alors, on bloque ou pas ?
Ce n'est pas une question technique, mais éditoriale. Deux postures cohérentes :
- Vous voulez de la visibilité IA → laissez passer les robots de citation (OAI-SearchBot, ChatGPT-User, Perplexity*, Claude-User) et Googlebot. Bloquer les robots d'entraînement reste possible sans perdre en citabilité.
- Vous refusez l'entraînement gratuit → bloquez GPTBot, Google-Extended, ClaudeBot, Applebot-Extended, CCBot, Bytespider. C'est sans impact sur le fait d'être cité.
Chez Snorklee, on accueille tous les robots IA : notre métier est justement de mesurer la visibilité IA, pas de la fuir.
Exemple de robots.txt
# Refuser l'entraînement, garder la citation User-agent: GPTBot User-agent: Google-Extended User-agent: CCBot User-agent: Bytespider Disallow: / # Laisser passer la citation en temps réel User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Claude-User Allow: /
User-agent suivies d'une règle s'appliquent à tout le groupe. Googlebot n'est jamais listé ici : on ne le bloque pas.Bloquer un robot d'entraînement ≠ bloquer un robot de citation. Avant d'ajouter une ligne à votre robots.txt, demandez-vous : « ce bot sert-il à entraîner un modèle, ou à me citer maintenant ? » Et n'oubliez jamais : robots.txt est respecté par les éditeurs honnêtes, ce n'est pas un mur.
Vérifier que ça marche
Une fois votre robots.txt en place, vérifiez côté résultats : vos pages sont-elles réellement accessibles aux bons robots ? Notre vérificateur de visibilité IA gratuit contrôle l'accès des crawlers et les signaux que les IA pondèrent. Et si vous hésitez encore sur le llms.txt, on a écrit pourquoi il pèse peu.
Bloquer GPTBot empêche-t-il d'apparaître dans ChatGPT ?
Non. GPTBot sert à l'entraînement des modèles. Les citations dans ChatGPT Search passent par OAI-SearchBot et ChatGPT-User. Vous pouvez bloquer GPTBot (refuser l'entraînement) tout en restant citable, à condition de laisser passer OAI-SearchBot.
Bloquer Google-Extended fait-il chuter mon SEO ?
Non. Google-Extended ne contrôle que l'usage de votre contenu pour entraîner Gemini. Le référencement classique et les AI Overviews dépendent de Googlebot, que vous ne devez jamais bloquer.
robots.txt bloque-t-il vraiment les robots IA ?
robots.txt est déclaratif : les éditeurs sérieux (OpenAI, Anthropic, Google, Perplexity) le respectent, mais ce n'est pas une barrière technique. Un robot malveillant peut l'ignorer ; pour un blocage dur, il faut une règle serveur.
Quels bots laisser passer pour la visibilité IA ?
Les robots de citation à la demande : OAI-SearchBot et ChatGPT-User (OpenAI), Perplexity-User et PerplexityBot (Perplexity), Claude-User (Anthropic), plus Googlebot. Un robot bloqué ne peut pas vous citer.
Publié en juin 2026. Les noms et comportements des robots IA évoluent vite ; vérifiez la documentation des éditeurs avant de figer une configuration. Information générale, pas un conseil individualisé.