# robots.txt pour www.justiweb.fr
#
# Allowlist SEO+GEO : runtime = app/utils/crawlers_allowlist.php
# (doc = documentation/technical/CRAWLERS-ALLOWLIST.md). Ne PAS Disallow
# les UA GEO/SEO ni Google-Extended / Applebot-Extended.
# Cloudflare managed robots.txt = INTERDIT.

# Bytespider (ByteDance/TikTok) — bloqué aussi côté serveur (.htaccess 403).
# Ne respecte en général pas robots.txt ; Disallow = signal + défense en profondeur.
# Ref: https://datadome.co/bots/bytespider/
User-agent: Bytespider
Disallow: /

# PetalBot (Huawei) — crawl SG, bloqué côté serveur
User-agent: PetalBot
Disallow: /

# Dump crawlers — 0 trafic utilisateur (403 serveur aussi)
User-agent: CCBot
Disallow: /
User-agent: Diffbot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: Baiduspider
Disallow: /

User-agent: *

# PRIORITE : Autoriser explicitement les conversations
Allow: /conversations/

# Autoriser l'API necessaire au rendu SEO
Allow: /api/public-conversations.php
Allow: /api/conversation-categories.php
Allow: /api/conversation-trends.php

# Autoriser la racine et pages principales
Allow: /
Allow: /ads.txt

# Bloquer les dossiers techniques
Disallow: /vendor/
Disallow: /cache/
Disallow: /uploads/
Disallow: /admin/
Disallow: /api/

# Bloquer les fichiers de configuration
Disallow: /*.sql$
Disallow: /*.json$

# Bloquer page specifique
Disallow: /app?conversation=280
Disallow: /legal/mentions-legales
Disallow: /benchmark-ai.php
Disallow: /benchmark-ai-stream.php
Disallow: /benchmark-ai-lib.php

# Index (conversations | decisions | admin | codes | static). Pas l'ancien urlset unique.
Sitemap: https://www.justiweb.fr/sitemap.xml