SEO & KI
GPTBot, ClaudeBot, PerplexityBot: blockieren oder nicht?
KI-Bots in der robots.txt zu blockieren ist verlockend. Aber sie tun nicht alle dasselbe: Manche trainieren Modelle, andere holen Ihre Seite, um sie in Echtzeit zu zitieren. Sie zu verwechseln heißt, sich in KI-Antworten umsonst unsichtbar zu machen.
Ein Trend geht durch die SEO-Foren: eine Liste von User-agent-Zeilen in die robots.txt setzen, um „die KI zu blockieren“. Die Absicht ist verständlich — warum Modelle gratis auf Ihrem Inhalt trainieren lassen? Aber ohne Sortierung angewandt, hat sie einen perversen Effekt: Sie löscht Sie auch aus den Antworten, die Menschen wirklich lesen.
Der Unterschied, der alles ändert: Training vs. Zitation
Jeder KI-Anbieter betreibt zwei Familien von Bots, die nichts gemein haben:
- Trainings-Bots saugen Inhalte auf, um künftige Modelle zu füttern. Sie zu blockieren schützt Ihren Inhalt vor dem Training — ohne Ihre Präsenz in den aktuellen Antworten zu ändern.
- Zitations-Bots holen Ihre Seite in dem Moment, in dem ein Nutzer eine Frage stellt, um sie zusammenzufassen und als Quelle zu zitieren. Sie zu blockieren heißt, aus den Antworten zu verschwinden.
Daher kommt das ganze Missverständnis: GPTBot (OpenAI-Training) und OAI-SearchBot (Zitation in ChatGPT Search) tragen fast denselben Namen, aber den ersten zu blockieren betrifft nicht den zweiten.
Die KI-User-Agent-Tabelle (2026)
| User-Agent | Anbieter | Rolle | Blockieren bedeutet… |
|---|---|---|---|
GPTBot | OpenAI | Training | Training ablehnen — nicht ChatGPT Search verlassen |
OAI-SearchBot | OpenAI | ChatGPT-Search-Index | In ChatGPT Search unsichtbar werden |
ChatGPT-User | OpenAI | Abruf auf Anfrage | ChatGPT daran hindern, Ihren Link zu öffnen |
ClaudeBot | Anthropic | Training | Training ablehnen |
Claude-User | Anthropic | Abruf auf Anfrage | Claude daran hindern, Sie zu zitieren |
PerplexityBot | Perplexity | Index | Den Perplexity-Index verlassen |
Perplexity-User | Perplexity | Abruf auf Anfrage | Perplexity daran hindern, Sie zu zitieren |
Google-Extended | Gemini-Training | Training ablehnen — kein Effekt auf SEO | |
Googlebot | SEO + AI Overviews | Aus Google verschwinden (niemals tun) | |
Applebot-Extended | Apple | Training | Apple-Intelligence-Training ablehnen |
Bytespider | ByteDance | Training (aggressiv) | Training ablehnen (oft gewünscht) |
Die Rollen stützen sich auf die öffentliche Dokumentation der Anbieter; Namen und Verhalten ändern sich — vor dem Festlegen Ihrer Datei erneut prüfen.
Also: blockieren oder nicht?
Das ist keine technische, sondern eine redaktionelle Frage. Zwei kohärente Haltungen:
- Sie wollen KI-Sichtbarkeit → lassen Sie die Zitations-Bots durch (OAI-SearchBot, ChatGPT-User, Perplexity*, Claude-User) und Googlebot. Die Trainings-Bots zu blockieren bleibt möglich, ohne an Zitierbarkeit zu verlieren.
- Sie lehnen kostenloses Training ab → blockieren Sie GPTBot, Google-Extended, ClaudeBot, Applebot-Extended, CCBot, Bytespider. Das hat keinen Einfluss darauf, zitiert zu werden.
Bei Snorklee begrüßen wir alle KI-Bots: Unsere Aufgabe ist gerade, KI-Sichtbarkeit zu messen, nicht vor ihr zu fliehen.
Ein robots.txt-Beispiel
# Training ablehnen, Zitation behalten User-agent: GPTBot User-agent: Google-Extended User-agent: CCBot User-agent: Bytespider Disallow: / # Echtzeit-Zitation durchlassen User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Claude-User Allow: /
User-agent-Zeilen gefolgt von einer Regel gelten für die ganze Gruppe. Googlebot wird hier nie gelistet: Wir blockieren ihn nicht.Einen Trainings-Bot zu blockieren ≠ einen Zitations-Bot zu blockieren. Bevor Sie eine Zeile zu Ihrer robots.txt hinzufügen, fragen Sie sich: „Dient dieser Bot dem Training eines Modells oder dazu, mich jetzt zu zitieren?“ Und vergessen Sie nie: robots.txt wird von ehrlichen Anbietern respektiert, es ist keine Mauer.
Prüfen, ob es funktioniert
Sobald Ihre robots.txt steht, prüfen Sie das Ergebnis: Sind Ihre Seiten für die richtigen Bots wirklich erreichbar? Unser kostenloser KI-Sichtbarkeits-Checker prüft den Crawler-Zugang und die Signale, die KI gewichtet. Und falls Sie bei der llms.txt noch zögern, haben wir geschrieben, warum sie wenig wiegt.
Verhindert das Blockieren von GPTBot, in ChatGPT zu erscheinen?
Nein. GPTBot dient dem Modelltraining. Zitate in ChatGPT Search laufen über OAI-SearchBot und ChatGPT-User. Sie können GPTBot blockieren (Training ablehnen) und zitierbar bleiben, solange Sie OAI-SearchBot durchlassen.
Schadet das Blockieren von Google-Extended meinem SEO?
Nein. Google-Extended steuert nur die Nutzung Ihres Inhalts zum Training von Gemini. Klassisches Ranking und AI Overviews hängen von Googlebot ab, den Sie nie blockieren dürfen.
Blockiert robots.txt KI-Bots wirklich?
robots.txt ist deklarativ: Seriöse Anbieter (OpenAI, Anthropic, Google, Perplexity) respektieren sie, aber sie ist keine technische Barriere. Ein bösartiger Bot kann sie ignorieren; für eine harte Sperre braucht es eine Serverregel.
Welche Bots für KI-Sichtbarkeit durchlassen?
Die Zitations-Bots auf Anfrage: OAI-SearchBot und ChatGPT-User (OpenAI), Perplexity-User und PerplexityBot (Perplexity), Claude-User (Anthropic), plus Googlebot. Ein blockierter Bot kann Sie nicht zitieren.
Veröffentlicht im Juni 2026. Namen und Verhalten von KI-Bots ändern sich schnell; prüfen Sie die Dokumentation der Anbieter, bevor Sie eine Konfiguration festlegen. Allgemeine Information, keine individuelle Beratung.