Originele data
Hoe vaak lezen AI-bots je site? Onze cijfers, bot voor bot
90 dagen lang hebben we gemeten hoe vaak elke AI-bot daadwerkelijk terugkomt om een pagina opnieuw te lezen — over 17.850 pagina-botparen, met de identiteit van elke bot geverifieerd tegen gepubliceerde IP-reeksen. Perplexity komt elke 5,5 dag terug. ChatGPT elke 14. Claude elke 23,5. Hier zijn de cijfers, de methode, en wat ze betekenen voor elke pagina van jou die verandert.
Verander vandaag een prijs. Hoe lang blijft de oude prijs voortleven in de antwoorden van AI's?
Niemand kan die vraag exact beantwoorden — het geheugen van een assistent is van buitenaf niet waarneembaar. Maar de helft van de vraag laat zich prima meten: hoe vaak elke AI-bot daadwerkelijk terugkomt om je pagina's opnieuw te lezen. Tussen twee bezoeken in kan een bot, wat er ook gebeurt, niets nieuws over een pagina leren. Die hercrawl-cyclus is dus een fysieke ondergrens: je wijziging kan zich niet sneller verspreiden dan hij.
We hebben die cyclus 90 dagen lang gemeten. Dit is wat eruit kwam.
Eerst de methode, dan de cijfers
Snorklee meet verkeer server-side, inclusief botbezoeken. Elke bothit wordt getoetst aan de door de uitgevers gepubliceerde IP-reeksen: een neppe GPTBot valt af. Op die basis:
- Venster: 90 dagen, afgesloten op 6 augustus 2026.
- Materiaal: 17.850 pagina-botparen, opnieuw gelezen op minstens 3 verschillende dagen, afkomstig van de sites die we in productie meten. Dit zijn echte observatiedata — geen panel dat representatief is voor het hele web.
- Berekening: per paar geldt cyclus = (laatste bezoek − eerste) ÷ (aantal bezoekdagen − 1); daarna de mediaan per bot.
- Uitgesloten: vervalste bots, en families met minder dan 100 paren (DuckDuckGo AI, CommonCrawl) — te weinig voor een eerlijke mediaan.
- Erkende beperking: een crawl is geen index-update en geen update van het modelgeheugen. We meten het herlezen, niet wat de assistent toont. Maar zonder herlezen is geen enkele update mogelijk: deze cycli zijn ondergrenzen.
De cijfers: van 5,5 dagen tot ruim drie weken
Mediane hercrawl-cyclus van dezelfde pagina, per bot (90 dagen)
| Bot | Waargenomen paren | Mediane cyclus | In de praktijk |
|---|---|---|---|
| Perplexity | 464 | 5,5 d | Je wijziging kan binnen een week opnieuw gelezen zijn |
| Huawei AI | 3.230 | 6,5 d | Wekelijks herlezen |
| ByteDance AI | 2.447 | 8 d | Wekelijks herlezen |
| Meta AI | 647 | 11 d | Eén à twee bezoeken per twee weken |
| ChatGPT | 8.231 | 14 d | Twee weken tussen twee achtergrondlezingen |
| Amazon AI | 2.661 | 18 d | Bijna drie weken |
| Claude | 158 | 23,5 d | Ruim drie weken: de traagste die we maten |
Drie dingen vielen ons op in deze cijfers.
Perplexity is het meest vers. Dat past bij zijn positionering als antwoordmachine: een index die actueel wil zijn, moet vaak herlezen. Verandert je content veel, dan is Perplexity waarschijnlijk de plek waar de getoonde versie het dichtst bij de werkelijkheid ligt.
De crawlers waar niemand het over heeft, horen bij de ijverigste. PetalBot (Huawei) en Bytespider (ByteDance) herlezen sneller dan ChatGPT — in onze data zijn ze samen goed voor bijna een derde van alle waargenomen paren. Het publieke gesprek over AI-crawlers gaat vrijwel alleen over OpenAI en Anthropic; het echte verkeer vertelt een ander verhaal.
Claude is de traagste, met afstand. Ruim drie weken tussen twee achtergrondlezingen van dezelfde pagina. Verouderde informatie leeft bij Anthropic dus langer dan waar dan ook — met een nuance over live lezen, daar komen we zo op.
De twee snelheden van ChatGPT
De mediaan van 14 dagen verbergt een werkelijkheid met twee verdiepingen, goed zichtbaar op onze eigen pagina's.
Onze prijzenpagina — het soort pagina waarvan de inhoud financieel telt — werd door ChatGPT 41 keer in 90 dagen herlezen, dus ongeveer elke 2 à 3 dagen. Ondertussen blijft de mediaan van zijn achtergrondcrawl over alle pagina's op 14 dagen staan. Met andere woorden: AI-crawlers houden een lijst met hete pagina's bij die ze heel vaak herlezen, terwijl de rest van de site in het trage ritme leeft.
Daar komt een derde mechanisme bij: ChatGPT-User, het live lezen. Wanneer een gebruiker een vraag stelt die jouw pagina raakt, kan de assistent haar op dat moment opnieuw lezen — en alle bovenstaande cycli kortsluiten. Maar dat lezen op aanvraag geldt alleen voor de pagina's die de assistent besluit op te halen: voor al het andere geldt de achtergrondcyclus.
Het praktische gevolg is belangrijk: de echte vraag is niet „hoe snel crawlen AI's het web", maar „staan mijn kritieke pagina's op de hete lijst". Dat antwoord is meetbaar, pagina voor pagina — niet gemiddeld.
Wat dit verandert als je pagina's bewegen
Is je site een stabiel visitekaartje, dan zijn deze cycli een weetje. Dragen je pagina's informatie die bederft — prijzen, voorraad, acties, versies, abonnementsniveaus — dan worden ze een planningsbeperking:
- Een actie van 5 dagen kan tussen twee lezingen vallen. Bij ChatGPT (14 d), Amazon (18 d) en Claude (23,5 d) begint en eindigt een korte campagne hoogstwaarschijnlijk zonder dat één achtergrondcrawl haar ziet. Voor de helft van de bots in onze tabel heeft je actie simpelweg nooit bestaan.
- Een prijswijziging leeft één tot drie weken dubbel. De oude prijs blijft de laatst gelezen versie van een deel van de bots tot hun volgende bezoek. Citeert een assistent een verouderde prijs aan iemand die aanbiedingen vergelijkt, dan kom je dat nooit te weten — de verkoop gaat spoorloos verloren.
- Bederfelijke informatie moet bij de eerste doorgang leesbaar zijn. Prijs en beschikbaarheid in de HTML en in
schema.org/Offer-markup, niet alleen in JavaScript dat crawlers niet uitvoeren. Een bot die elke 14 dagen terugkomt en de prijs niet kan lezen, vertrekt weer voor 14 dagen met niets. - Blokkeer niet de bots die je verkeer sturen. De reflex „alle AI-bots blokkeren" snijdt precies de herlezingen af die je informatie vers houden — en het assistentenverkeer dat erbij hoort. Wil je een fijnmazig beleid, scheid dan training van zoeken: hoe, staat in „AI-crawlers: blokkeren of toestaan?".
- Plan op de waargenomen cyclus van jouw pagina's, niet op een webgemiddelde. Onze medianen zijn referentiepunten, niet jouw werkelijkheid: je homepage beweegt niet in het ritme van je diepe pagina's. Het enige getal dat telt voor een beslissing, is het getal gemeten op jouw pagina's.
Meet het op je eigen site
Alles in dit artikel komt uit het tabblad AI-verkeer van Snorklee: welke bots welke pagina's lezen en wanneer (identiteit geverifieerd tegen IP-reeksen, bedriegers gemarkeerd), welke van je pagina's wel gelezen maar nooit door een mens bezocht worden, en wat je robots.txt werkelijk toestaat. De meting is passief en server-side, zonder cookie en zonder banner — je bezoekers zien niets, de bots ook niet.
Bekijk je eigen cycli: 14 dagen gratis proberen, zonder creditcard — het eerste botbezoek verschijnt meestal binnen een dag.
Hoe vaak crawlt ChatGPT een site?
Op onze data (90 dagen, IP-geverifieerde identiteit) herleest de achtergrondcrawl een pagina mediaan elke 14 dagen. Maar pagina's die belangrijk worden geacht, worden veel vaker herlezen — onze prijzenpagina elke 2 à 3 dagen — en ChatGPT-User kan een pagina live lezen op het moment dat een gebruiker een vraag stelt. De frequentie hangt af van de pagina, niet alleen van de site.
Betekent een crawl dat de AI up-to-date is?
Nee. Een crawl is een lezing, geen garantie dat de index of het geheugen van het model is bijgewerkt. De omgekeerde logica geldt wél: zonder herlezing is geen update mogelijk. De crawlcyclus is een ondergrens — je wijziging kan zich niet sneller verspreiden.
Moet je deze bots blokkeren om jezelf te beschermen?
Alle AI-bots blokkeren snijdt ook de bots af die antwoordmachines voeden en je bezoekers sturen. Het nuttige onderscheid is het doel: training blokkeren is een verdedigbare keuze; zoeken en assistenten blokkeren betekent uitstappen uit de resultaten van morgen. Een robots.txt kan het ene zonder het andere.