# snorklee — robots.txt
# Marketing + docs publiques indexables. Espaces privés fermés à tous.
# Les crawlers IA sont les bienvenus : Snorklee mesure la visibilité IA,
# on pratique ce qu'on prêche. Résumé du site lisible machine : /llms.txt

# ─── Crawlers IA : explicitement bienvenus ───────────────────────────────
# (mêmes zones privées exclues que pour tout le monde, rien de plus)
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: MistralAI-User
User-agent: meta-externalagent
User-agent: FacebookBot
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: CCBot
User-agent: DuckAssistBot
User-agent: YouBot
Allow: /
Disallow: /dash
Disallow: /dash/
Disallow: /dashboard
Disallow: /dashboard/
Disallow: /login
Disallow: /reset
Disallow: /verify
Disallow: /billing
Disallow: /billing/
Disallow: /admin
Disallow: /admin/
Disallow: /share/
Disallow: /api/
Disallow: /healthz
Disallow: /health
Disallow: /ready

# ─── Tous les autres crawlers ────────────────────────────────────────────
User-agent: *

# Espaces privés / authentifiés
Disallow: /dash
Disallow: /dash/
Disallow: /dashboard
Disallow: /dashboard/
Disallow: /login
Disallow: /reset
Disallow: /verify
Disallow: /billing
Disallow: /billing/
Disallow: /admin
Disallow: /admin/

# Liens de partage read-only (instantanés IA + dashboards partagés) : jamais indexés
Disallow: /share/

# API : pas indexable
Disallow: /api/
Disallow: /healthz
Disallow: /health
Disallow: /ready

# Marketing + docs explicitement ouverts. Les pages non listées ici et
# non Disallow ci-dessus restent crawlables par défaut — elles figurent
# dans le sitemap.
Allow: /
Allow: /features
Allow: /ai-visibility
Allow: /pricing
Allow: /about
Allow: /contact
Allow: /audit
Allow: /docs
Allow: /llms.txt

Sitemap: https://snorklee.com/sitemap.xml