AI-crawlers vastleggen

AI-robots (GPTBot, ClaudeBot, PerplexityBot…) halen uw HTML op zonder JavaScript uit te voeren. De tag w.js kan ze daarom niet zien: om hun bezoeken te tellen is een kleine module aan de serverkant nodig. Deze pagina legt uit hoe u die installeert.

#Waarom een module aan de serverkant

Een klassieke meettag draait in de browser van de bezoeker. Een robot vraagt de pagina op en vertrekt weer: er wordt geen JavaScript uitgevoerd en geen gebeurtenis verzonden. De servermodule vult dat gat. Hij bekijkt de user-agent van elk verzoek en meldt de pagina alleen aan Snorklee wanneer hij een AI-robot herkent.

Hij raakt het menselijke verkeer nooit aan: uw bezoekers worden nog steeds alleen door w.js gemeten, zonder dubbeltelling.

#De module voor uw platform installeren

Elk bestand is direct bruikbaar, zonder afhankelijkheden:

• WordPress — niets te doen, de module zit in de officiële plug-in en staat standaard aan.
• Cloudflare — cloudflare-worker.js, uit te rollen als Worker. Werkt vóór elke site die via Cloudflare wordt geproxyd, ook Shopify, Webflow of Wix.
• Next.js / Vercel — vercel-middleware.js, te plaatsen als middleware.js in de hoofdmap van het project.
• Netlify — netlify-edge.js, te plaatsen in netlify/edge-functions/ met pad /*.
• Node / Express — node-express.js, middleware die vóór uw routes wordt gemonteerd.
• PHP — php-generic.php, buiten WordPress bovenaan de pagina op te nemen.

De module is niet blokkerend: hij wacht nooit op het antwoord van Snorklee, en een storing aan onze kant vertraagt of breekt uw pagina niet.

#Uw domein instellen

Bovenaan elk bestand staat één waarde die u moet invullen: uw domein. Het moet identiek zijn aan het attribuut data-site van uw w.js-snippet.

Een afwijkende waarde verwijst naar een site die Snorklee niet kent: de meldingen worden dan geweigerd en er verschijnt niets in uw dashboard, zonder zichtbare foutmelding op de site. Dat is het eerste om te controleren als de teller op nul blijft staan.

#Controleren of de robots binnenkomen

Open het scherm AI-verkeer. Robotpassages verschijnen daar per robot, per pagina en per dag.

Maak u geen zorgen als er binnen het uur niets verschijnt: robots komen op hun eigen ritme, op een kleine site soms één keer per week. Reken op meerdere dagen voordat u tot een probleem besluit.

#Waar het niet mogelijk is

Op Wix, Squarespace, Webflow of Framer met native hosting kan geen enkele code serverzijdig op het paginaverzoek draaien: crawlers vastleggen is daar onmogelijk. Het dashboard zegt dat duidelijk in plaats van een misleidende nul te tonen.

De enige uitweg is het domein achter Cloudflare te zetten en de Worker te gebruiken. Menselijke bezoeken vanuit AI-chats worden op al deze platforms wél gewoon gemeten.