Wie der KI-Traffic gemessen wird

Alles, was der Tab KI-Traffic zeigt, stammt von Ihrem eigenen Server: keine Umfragen, keine simulierten Fragen an ChatGPT, kein geratener Score. Diese Seite beschreibt genau, was beobachtet wird, was geprüft wird und vor allem, was die Messung nicht beweist.

#Drei Stufen, drei verschiedene Signale

Die drei Stufen addieren sich nie: Es sind drei verschiedene Populationen. Robots werden nie zu Ihren Besuchern gezählt.

#Was die Messung nicht beweist

Das ist der Teil, den die meisten Tools verschweigen — halten wir ihn also schriftlich fest.

Ein Live-Abruf beweist, dass ein System Ihre Seite geholt hat, während es jemandem antwortete. Er beweist nicht, dass:

• die endgültige Antwort Ihre Seite zitiert hat;
• Ihr Inhalt diese Antwort beeinflusst hat;
• die Person Ihren Namen gesehen hat;
• die gestellte Frage überhaupt einen geschäftlichen Bezug zu Ihnen hatte.

Ebenso kennen wir die Frage, die einen Besuch oder Abruf ausgelöst hat, nie: Sie wird nirgendwo übermittelt. Deshalb spricht die Oberfläche von „Einstiegsseiten“ und „Live-Abruf“, nie von „Zitat“.

Wahrscheinliche Zugänge — abgeleitet aus einem Textfragment in der URL, der typischen Signatur eines Klicks aus einer KI-Antwort ohne Referrer — werden getrennt gezählt und nie mit dem Gemessenen vermischt.

#Wie die Identität der Robots geprüft wird

Ein User-Agent ist eine Behauptung: Jedes Programm kann sich GPTBot nennen, und viele Scraper tun genau das, um Sperren zu umgehen. Wer nur dem User-Agent traut, misst, was man ihm erzählt.

Snorklee gleicht deshalb die IP-Adresse jedes Zugriffs mit den von den Anbietern selbst veröffentlichten Bereichen ab:

Geprüft wird Robot für Robot, nicht Anbieter für Anbieter: GPTBot und ChatGPT-User veröffentlichen unterschiedliche Bereiche, eine für den einen gültige Adresse bestätigt den anderen also nicht. Die Listen werden jede Nacht neu geladen; scheitert ein Download, bleibt die vorherige Fassung in Kraft.

Drei mögliche Urteile, unter der Crawler-Tabelle angezeigt:

• Bestätigt — die Adresse gehört zu den vom Anbieter dieses Robots veröffentlichten Bereichen.
• Deklariert — dieser Anbieter veröffentlicht keine Bereiche (Common Crawl, Bytespider, Amazonbot…). Wir können nur festhalten, was der Robot behauptet, und stellen es nie als bestätigt dar.
• Verworfen — der Robot gab einen Anbieter an, kam aber von einer fremden Adresse. Diese Zugriffe werden aus allen Zählern des Tabs entfernt; nur die Gesamtzahl der Fälschungen bleibt sichtbar, damit Sie wissen, was aussortiert wurde.

#Wo das Signal erfasst wird

Robots lesen nur rohes HTML: Sie führen kein JavaScript aus und sind damit für ein klassisches Messskript unsichtbar. Das Tag w.js allein wird sie nie sehen.

Für die Stufe „Erfasst“ braucht es ein serverseitiges Signal — das Crawler-Beacon (WordPress-Plugin, Next.js-Middleware, Cloudflare-Worker, PHP-Snippet…). Ohne es werden nur menschliche Besuche aus KI-Chats gemessen. Das Beacon übermittelt die Adresse des Robots, damit die oben beschriebene Prüfung stattfinden kann.

#Was die Bots gelesen haben, Seite für Seite

Jeder Zugriff trägt das genaue Token, das der Bot angibt (GPTBot, ChatGPT-User…), nicht nur den Namen seines Anbieters. Genau das unterscheidet zwei gegensätzliche Sachverhalte auf derselben Seite: das Sammeln für das Training und einen Live-Abruf, während eine KI jemandem antwortet.

Die Karte „Wer liest was“ kreuzt daher Bot × Seite, in beide Richtungen. Die Zahlen dort sind exakt, ohne Schwellenwert und ohne Rundung: Diese Zeilen enthalten keinerlei Daten menschlicher Besucher, also greift keine Anonymisierungsschwelle — ein Bot ist keine Person. Zähler, die Menschen und Bots mischen, unterliegen weiterhin den Regeln aus Erhobene Daten.

Das Token wird erst seit August 2026 gespeichert: frühere Zugriffe bleiben ihrem Anbieter zugeordnet, ohne Detail je Bot.

#Einhaltung der robots.txt

Snorklee liest jede Nacht die robots.txt Ihrer Website und vergleicht sie mit dem, was die Bots tatsächlich abgerufen haben. Da die Regeln einer robots.txt je Token geschrieben werden, erfolgt der Vergleich auf derselben Ebene.

Das Ergebnis wird nur bei einem vollständigen Sachverhalt angezeigt:

• Datei nicht gelesen (Zeitüberschreitung, Serverfehler, Domain nicht erreichbar) → es wird nichts behauptet. Eine ausbleibende Antwort wird nie als Einhaltung dargestellt.
• Keine robots.txt → wir sagen es genau so: Den Bots kann keine Regel entgegengehalten werden.
• Nicht identifizierbarer Bot → sein Zugriff wird aus der Berechnung genommen und gesondert ausgewiesen, nie als konform gezählt.

Wird ein Verstoß festgestellt, werden die betroffene Seite und die genaue Zeile der Datei zitiert, die ihn untersagt — damit die Feststellung überprüfbar bleibt.

#Ihre robots.txt erzeugen

Im Tab KI-Traffic erstellt Snorklee eine robots.txt aus den Bots, die Ihre Website tatsächlich besucht haben — keine generische Liste. Sie kreuzen an, wen Sie aussperren wollen, kopieren den Text und fügen ihn bei Ihrem Hoster ein.

Standardmäßig wird nur die Sammlung fürs Training gesperrt. Bots, die indexieren (search) oder eine Seite live abrufen, um jemandem zu antworten (assistant), schicken Ihnen Besucher: Eine Sperre würde diesen Traffic abschneiden. Snorklee verbietet es Ihnen nicht, warnt Sie aber.

Vorausgewählt sind nur tatsächlich beobachtete Bots: Eine Regel für einen nie erschienenen Bot verlängert die Datei, ohne etwas zu schützen.

Zwei Ausgaben: der hinzuzufügende Block (Ihre bestehenden Regeln werden nie angetastet) oder die vollständige Datei, zusammengeführt mit der vorhandenen — Ihre Disallow- und Sitemap-Zeilen bleiben erhalten. Ein erneuter Durchlauf ersetzt den vorherigen Snorklee-Block, statt einen weiteren anzuhängen.

Was der Generator nicht tut. Snorklee liefert Ihre robots.txt nicht aus und ändert sie nie: Solange Sie den Text nicht einfügen, hat sich nichts geändert. Und eine robots.txt bleibt eine höfliche Bitte, keine Sperre — genau deshalb gibt es die oben beschriebene Prüfung: Sie sagt Ihnen, wer sie ignoriert.

#Datenschutz

Die IP-Adresse dient ausschließlich zum Zeitpunkt der Anfrage dazu, auf Länderebene zu lokalisieren, Traffic zu klassifizieren und die Identität der Robots zu prüfen. Sie wird nie gespeichert — siehe Erhobene Daten.