AI-crawlers vastleggen

AI-robots (GPTBot, ClaudeBot, PerplexityBot…) halen uw HTML op zonder JavaScript uit te voeren. De tag w.js kan ze daarom niet zien: om de fase „Verkend" van de AI-traject te tellen is een kleine module aan de serverkant nodig. Deze pagina legt uit hoe u die installeert.

#Waarom een module aan de serverkant

Een klassieke meettag draait in de browser van de bezoeker. Een robot vraagt de pagina op en vertrekt weer: er wordt geen JavaScript uitgevoerd en geen gebeurtenis verzonden. De servermodule vult dat gat. Hij bekijkt de user-agent van elk verzoek en meldt de pagina alleen aan Snorklee wanneer hij een AI-robot herkent.

Hij raakt het menselijke verkeer nooit aan: uw bezoekers worden nog steeds alleen door w.js gemeten, zonder dubbeltelling.

#De module voor uw platform installeren

Elk bestand is direct bruikbaar, zonder afhankelijkheden:

• WordPress — niets te doen, de module zit in de officiële plug-in en staat standaard aan.
• Cloudflare — cloudflare-worker.js, uit te rollen als Worker. Werkt vóór elke site die via Cloudflare wordt geproxyd, ook Shopify, Webflow of Wix.
• Next.js / Vercel — vercel-middleware.js, te plaatsen als middleware.js in de hoofdmap van het project.
• Netlify — netlify-edge.js, te plaatsen in netlify/edge-functions/ met pad /*.
• Node / Express — node-express.js, middleware die vóór uw routes wordt gemonteerd.
• PHP — php-generic.php, buiten WordPress bovenaan de pagina op te nemen.

De module is niet blokkerend: hij wacht nooit op het antwoord van Snorklee, en een storing aan onze kant vertraagt of breekt uw pagina niet.

#Uw domein instellen

Bovenaan elk bestand staat één waarde die u moet invullen: uw domein. Het moet identiek zijn aan het attribuut data-site van uw w.js-snippet.

Een afwijkende waarde verwijst naar een site die Snorklee niet kent: de meldingen worden dan geweigerd en er verschijnt niets in uw dashboard, zonder zichtbare foutmelding op de site. Dat is het eerste om te controleren als de teller op nul blijft staan.

#Controleren of de robots binnenkomen

Open het tabblad AI-verkeer. Robotpassages verschijnen in de kaart AI-crawlers en in de console Wie leest wat.

Maak u geen zorgen als er binnen het uur niets verschijnt: robots komen op hun eigen ritme, op een kleine site soms één keer per week. Reken op meerdere dagen voordat u tot een probleem besluit.

#„Het adres van de robot heeft ons nooit bereikt"

Een user-agent is met één regel code vervalst. Publiceert de aanbieder van een robot zijn IP-reeksen, dan toetst Snorklee elke passage daaraan — dat is wat een echte GPTBot onderscheidt van een scraper die zich als zodanig voordoet.

Die toetsing heeft het adres van de robot nodig, dat de module in een eigen header meestuurt. Meldt uw dashboard passages die „niet toetsbaar" zijn, dan komt dat adres niet aan: de module staat er wel, maar een oudere versie of een tussenliggende proxy is de informatie kwijtgeraakt. Neem het bestand hierboven in zijn huidige versie — dit is geen vervalsing, alleen een integratie die opgefrist moet worden.

#Waar het niet mogelijk is

Op Wix, Squarespace, Webflow of Framer met native hosting kan geen enkele code serverzijdig op het paginaverzoek draaien: crawlers vastleggen is daar onmogelijk. Het dashboard zegt dat duidelijk in plaats van een misleidende nul te tonen.

De enige uitweg is het domein achter Cloudflare te zetten en de Worker te gebruiken. Menselijke bezoeken vanuit AI-chats worden op al deze platforms wél gewoon gemeten.