KI-Crawler erfassen

KI-Bots (GPTBot, ClaudeBot, PerplexityBot…) rufen Ihr HTML ab, ohne JavaScript auszuführen. Das w.js-Tag kann sie deshalb nicht sehen: Um die Stufe „Gecrawlt“ des KI-Ablaufs zu zählen, braucht es ein kleines Modul auf dem Server. Diese Seite erklärt die Installation.

#Warum ein Modul auf dem Server

Ein klassisches Mess-Tag läuft im Browser des Besuchers. Ein Bot fordert die Seite an und verschwindet wieder: Es wird kein JavaScript ausgeführt und kein Ereignis gesendet. Das Servermodul schließt diese Lücke. Es prüft den User-Agent jeder Anfrage und meldet die Seite nur dann an Snorklee, wenn es einen KI-Bot erkennt.

Menschlichen Traffic rührt es nie an: Ihre Besucher werden weiterhin allein von w.js gemessen, ohne Doppelzählung.

#Modul für Ihre Plattform installieren

Jede Datei ist sofort einsatzbereit, ohne Abhängigkeiten:

• WordPress — nichts zu tun, das Modul steckt im offiziellen Plugin und ist standardmäßig aktiv.
• Cloudflare — cloudflare-worker.js, als Worker zu deployen. Funktioniert vor jeder über Cloudflare geproxyten Website, auch Shopify, Webflow oder Wix.
• Next.js / Vercel — vercel-middleware.js, als middleware.js im Projektstamm abzulegen.
• Netlify — netlify-edge.js, in netlify/edge-functions/ mit Pfad /* abzulegen.
• Node / Express — node-express.js, Middleware, die vor Ihren Routen eingebunden wird.
• PHP — php-generic.php, außerhalb von WordPress am Seitenanfang einzubinden.

Das Modul ist nicht blockierend: Es wartet nie auf die Antwort von Snorklee, und eine Störung auf unserer Seite bremst oder bricht Ihre Seite nicht.

#Ihre Domain eintragen

Am Anfang jeder Datei ist ein einziger Wert einzutragen: Ihre Domain. Sie muss identisch mit dem Attribut data-site Ihres w.js-Snippets sein.

Ein abweichender Wert verweist auf eine Website, die Snorklee nicht kennt: Die Meldungen werden dann abgelehnt und in Ihrem Dashboard erscheint nichts, ohne sichtbare Fehlermeldung auf der Website. Das ist das Erste, was Sie prüfen sollten, wenn der Zähler auf null bleibt.

#Prüfen, ob Bots ankommen

Öffnen Sie den Tab KI-Traffic. Bot-Zugriffe erscheinen in der Karte KI-Crawler und in der Konsole Wer liest was.

Beunruhigen Sie sich nicht, wenn innerhalb einer Stunde nichts erscheint: Bots kommen in ihrem eigenen Rhythmus, bei einer kleinen Website manchmal einmal pro Woche. Rechnen Sie mit mehreren Tagen, bevor Sie auf ein Problem schließen.

#„Die Adresse des Bots hat uns nie erreicht“

Ein User-Agent ist mit einer Zeile Code gefälscht. Veröffentlicht der Anbieter eines Bots seine IP-Bereiche, gleicht Snorklee jeden Zugriff damit ab — genau das unterscheidet einen echten GPTBot von einem Scraper, der sich als solcher ausgibt.

Diese Prüfung braucht die Adresse des Bots, die das Modul in einem eigenen Header übermittelt. Meldet Ihr Dashboard Zugriffe „ohne Abgleich“, kommt diese Adresse nicht an: Das Modul ist installiert, aber eine ältere Version oder ein zwischengeschalteter Proxy hat die Information verloren. Nehmen Sie die aktuelle Fassung der Datei oben — das ist keine Fälschung, nur eine Integration, die aufgefrischt werden muss.

#Wo es nicht möglich ist

Bei Wix, Squarespace, Webflow oder Framer mit nativem Hosting kann kein Code serverseitig auf die Seitenanfrage reagieren: Die Crawler-Erfassung ist dort unmöglich. Das Dashboard sagt das deutlich, statt eine irreführende Null anzuzeigen.

Der einzige Ausweg ist, die Domain hinter Cloudflare zu legen und den Worker zu nutzen. Menschliche Besuche aus KI-Chats werden auf all diesen Plattformen weiterhin normal gemessen.