ClaudeBot est le crawler officiel d’Anthropic qui collecte du contenu web pour entraîner les modèles Claude. Mais depuis février 2026, il n’est plus seul : Anthropic a officialisé trois bots distincts (ClaudeBot, Claude-User, Claude-SearchBot). Chacun a un rôle précis, et bloquer le mauvais a un coût mesurable en visibilité IA.
Léa, freelance SEO à Bordeaux, a passé une demi-heure à auditer son robots.txt en mars 2026. Elle bloquait Claude-Web et Anthropic-AI depuis 2024. Problème : ces deux user-agents sont deprecates depuis février 2026. Elle se croyait protégée, en réalité Claude continuait de l’indexer normalement, et ses concurrents qui autorisaient explicitement Claude-SearchBot apparaissaient dans les réponses Claude alors qu’elle disparaissait des recherches IA.
Selon une étude BuzzStream sur 100 sites d’actu majeurs, 79 % bloquent au moins un bot d’entraînement IA, et 71 % bloquent aussi un bot de recherche, souvent involontairement. La majorité des éditeurs s’excluent des citations IA tout en croyant simplement protéger leurs données d’entraînement.
Ce guide explique chaque bot Anthropic, donne le code robots.txt par scénario, montre comment vérifier dans tes logs serveur et clarifie la confusion fréquente avec OpenClaw, un assistant IA personnel viral qui n’a rien à voir.
Avant de modifier ton robots.txt, lance notre analyse GEO par IA pour voir exactement quels crawlers IA passent sur ton site et lesquels sont bloqués par erreur.
Points clés
- Trois bots Anthropic depuis février 2026 : ClaudeBot (entraînement), Claude-User (requêtes utilisateurs), Claude-SearchBot (recherche)
- Anciens user-agents Claude-Web et Anthropic-AI sont deprecates, leurs directives robots.txt n’ont plus d’effet
- Bloquer Claude-SearchBot équivaut à bloquer Bingbot pour Bing : tes pages disparaissent des recherches Claude
- Volume FR a explosé en février 2026 : 90 recherches par mois en 2025 à 1 300 par mois (+1 888 % de croissance)
- Le blocage par IP est déconseillé par Anthropic, utilise robots.txt avec les 3 user-agents corrects
Trois bots Anthropic depuis février 2026
Le 20 février 2026, Anthropic a remplacé sa documentation crawler unique par un tableau formel à trois entrées. Ce changement aligne Anthropic sur le modèle déjà adopté par Google (Google-Extended) et OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), et formalise une distinction qui change la gestion robots.txt côté éditeur. Search Engine Journal a couvert la mise à jour dans le détail le jour même.
ClaudeBot : entraînement des modèles
Le robot historique d’Anthropic. Il collecte du contenu web public pour les futurs cycles d’entraînement de Claude.
- User-agent :
ClaudeBot - Conséquence du blocage : tes contenus futurs ne seront plus inclus dans les datasets d’entraînement Claude
- N’affecte pas : la récupération en temps réel, ni la recherche
Selon la documentation BuzzStream, 69 % des grands sites d’actu bloquent ClaudeBot, contre 62 % pour GPTBot. Les éditeurs hostiles à l’entraînement IA visent en priorité ce robot.
Claude-User : récupération en temps réel
Activé quand un utilisateur Claude pose une question qui nécessite l’information à jour. Claude-User va alors chercher la page web pertinente et renvoie le contenu pour étayer sa réponse.
- User-agent :
Claude-User - Conséquence du blocage : Claude ne peut plus citer ton site dans les réponses utilisateurs
- Différence avec OpenAI : ChatGPT-User indique que les règles robots.txt « peuvent ne pas s’appliquer », Claude-User les respecte strictement. Point fort Anthropic.
Claude-SearchBot : index de recherche
Indexe le web pour la fonction de recherche de Claude. C’est l’équivalent de Bingbot pour Bing, ou de Googlebot pour Google.
- User-agent :
Claude-SearchBot - Conséquence du blocage : tes pages n’apparaissent pas dans les résultats de recherche Claude
- C’est le blocage le plus pénalisant pour la visibilité IA
| Bot | Rôle | Conséquence du blocage |
|---|---|---|
| ClaudeBot | Entraînement modèles | Exclusion des datasets futurs |
| Claude-User | Requêtes utilisateurs | Pas de citation dans les réponses |
| Claude-SearchBot | Index de recherche | Disparition des résultats Claude |
Comment vérifier qu’il s’agit bien de ClaudeBot
Le SERP FR mélange régulièrement ClaudeBot avec OpenClaw, un assistant IA personnel viral fondé par Peter Steinberger (anciennement Clawdbot). Avant de configurer ton robots.txt, vérifie que tu cibles bien le crawler Anthropic et pas un projet sans rapport.
La chaîne user-agent à chercher
Anthropic publie les trois user-agents sous leur forme exacte sur sa documentation officielle. Ce sont : ClaudeBot, Claude-User, Claude-SearchBot. Les anciennes chaînes Claude-Web et Anthropic-AI sont obsolètes depuis février 2026.
La liste publique des IPs Anthropic
Pour confirmer qu’un hit vient bien d’Anthropic, croise user-agent et IP. Anthropic publie la liste des blocs cloud à l’URL claude.com/crawling/bots.json. Les ranges ne sont pas garantis stables, donc le critère le plus fiable reste le user-agent dans tes logs.
Détecter ClaudeBot dans les logs Nginx ou Apache
# Voir tous les hits ClaudeBot des 24 dernières heures
grep "ClaudeBot" /var/log/nginx/access.log
# Compter les hits par bot Claude
grep -E "ClaudeBot|Claude-User|Claude-SearchBot" /var/log/nginx/access.log | wc -l
# Lister les pages les plus crawlees par ClaudeBot
awk '/ClaudeBot/ {print $7}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20Tester avec curl
Tu peux simuler une requête ClaudeBot en local pour vérifier ce que ton site renvoie :
curl -A "ClaudeBot/1.0" -I https://tonsite.com/
curl -A "ClaudeBot/1.0" https://tonsite.com/robots.txtSi ton serveur retourne un 200 sur /robots.txt, ClaudeBot peut le lire. Si tu reçois un 403 ou un 429, ton CDN ou ton firewall bloque le user-agent au niveau infra (cas Cloudflare avec les règles bot fight mode).
Romain, e-commerçant à Toulouse, surveille ses logs depuis avril 2026. Il a découvert que ClaudeBot crawlait son catalogue de 12 000 produits trois fois par mois, soit 36 000 hits. Au lieu de bloquer, il a appliqué Crawl-delay: 2 : trois fois moins de hits, zéro impact sur sa visibilité IA et plus de stabilité serveur.
Tu peux tester ton robots.txt actuel avec notre outil gratuit en 30 secondes pour voir si tes directives ClaudeBot, Claude-User et Claude-SearchBot sont valides ou obsolètes.
Configurer ton robots.txt selon ta stratégie
Quatre scénarios pratiques. Choisis selon ton positionnement vis-à-vis de l’écosystème IA d’Anthropic.
Scénario 1 : tout autoriser (recommandé pour visibilité IA)
Aucune directive Disallow pour les bots Claude. Par défaut, ils sont autorisés. Tu peux quand même les nommer explicitement pour documenter ton intention :
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /C’est ce que je fais sur seo-rank-analyzer.fr, et c’est ce que je recommande à 90 % des sites en 2026. Le trafic IA est encore faible mais en forte croissance, et bloquer tôt te ferme une porte coûteuse à rouvrir plus tard.
Scénario 2 : bloquer l’entraînement, autoriser la recherche
Ton contenu n’est pas inclus dans les datasets d’entraînement, mais Claude peut quand même te citer dans les recherches et les réponses utilisateurs. Stratégie populaire chez les éditeurs (sites d’actu, blogs sectoriels) qui veulent rester visibles sans contribuer à l’entraînement IA.
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /Claude-User et Claude-SearchBot ne sont pas listés, donc autorisés par défaut.
Scénario 3 : tout bloquer
Pour les sites qui refusent toute interaction avec l’écosystème Anthropic. Conséquence assumée : invisibilité totale dans Claude.
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-User
Disallow: /
User-agent: Claude-SearchBot
Disallow: /À utiliser seulement si tu sais ce que tu fais. Les données BuzzStream montrent que 14 % des sites d’actu bloquent tous les bots IA et que cette stratégie devient de plus en plus rare au fur et à mesure que le trafic de référence IA grandit.
Scénario 4 : Crawl-delay pour limiter la charge serveur
Tu autorises ClaudeBot mais tu limites sa fréquence d’exploration pour protéger ton serveur :
User-agent: ClaudeBot
Crawl-delay: 2
User-agent: Claude-SearchBot
Crawl-delay: 1Crawl-delay: 2 veut dire 2 secondes entre deux requêtes. Anthropic respecte cette directive (point confirmé dans sa documentation officielle). C’est le bon réglage pour les sites e-commerce avec des milliers de pages produit.
Comment je gère ClaudeBot sur seo-rank-analyzer.fr
Mon robots.ts (Next.js Metadata API, équivalent du robots.txt) autorise explicitement neuf crawlers IA, dont ClaudeBot, sur l’ensemble du contenu public :
{
userAgent: ["GPTBot", "OAI-SearchBot", "ChatGPT-User",
"ClaudeBot", "anthropic-ai", "PerplexityBot",
"Google-Extended", "Applebot-Extended",
"cohere-ai", "FacebookBot"],
allow: ["/", "/auth/register", "/llms.txt"],
disallow: ["/dashboard", "/analyze", "/history",
"/affiliate", "/admin", "/api/"],
}Pourquoi j’autorise tous les crawlers IA :
- Le blog est jeune (1 mois en mai 2026). Mes données Search Console ne sont pas encore exploitables, donc je ne peux pas mesurer le trafic IA en chiffres. La décision se fait sur le potentiel, pas sur du mesuré.
- Le contenu public n’est pas sensible. Mes pages d’analyse, mes guides, mes articles blog sont écrits pour être lus et cités. Bloquer l’IA dessus n’a aucun bénéfice business.
- Les données privées sont déjà protégées. Les pages
/dashboard,/admin,/api,/historysont disallowed pour tous les bots, IA ou pas. Le contenu utilisateur ne sort jamais. - Le trafic IA croît. Adobe a documenté un trafic web référent IA multiplié par dix entre juillet 2024 et février 2025 aux États-Unis. La trajectoire est exponentielle. Bloquer maintenant, c’est rater 2026-2028.
ClaudeBot vs OpenClaw : ne pas confondre
Le SERP Google FR mélange ClaudeBot avec OpenClaw, ex-Clawdbot. Ce sont deux choses totalement différentes.
| Aspect | ClaudeBot (Anthropic) | OpenClaw / Clawdbot |
|---|---|---|
| Type | Crawler web officiel | Assistant IA personnel open-source |
| Éditeur | Anthropic | Peter Steinberger (créateur de PSPDFKit) |
| Rôle | Collecter contenu web pour entraîner Claude | Automatiser tâches utilisateur (emails, calendrier, WhatsApp) |
| Trouvable dans | Tes logs serveur | Pas du tout, ça tourne sur la machine de l’utilisateur |
| Visible dans la SERP | claude.com, anthropic.com | clawd-bot.com, openclaw.ai |
OpenClaw a été lancé en janvier 2026 et a fait le buzz sur Reddit, ce qui pollue la SERP de ClaudeBot. Si tu cherches « ClaudeBot » et tu tombes sur un assistant IA personnel sur WhatsApp, c’est OpenClaw, pas le crawler Anthropic.
ClaudeBot vs GPTBot vs PerplexityBot : matrice de décision
Anthropic, OpenAI et Perplexity utilisent chacun une architecture multi-bots. Les trois ne traitent pas le robots.txt de la même façon.
| Crawler | Entraînement | Recherche | User-fetch | Robots.txt respecté |
|---|---|---|---|---|
| ClaudeBot (Anthropic) | Oui | - | - | Oui, strict |
| Claude-SearchBot | - | Oui | - | Oui, strict |
| Claude-User | - | - | Oui | Oui, strict |
| GPTBot (OpenAI) | Oui | - | - | Oui |
| OAI-SearchBot | - | Oui | - | Oui |
| ChatGPT-User | - | - | Oui | Peut ne pas s’appliquer |
| PerplexityBot | - | Oui | - | Partiel selon Cloudflare |
| Perplexity-User | - | - | Oui | Souvent ignoré |
| Google-Extended | Oui | - | - | Oui |
Le point différenciant : Anthropic est le seul à confirmer que ses trois bots respectent strictement le robots.txt, y compris pour les requêtes initiées par les utilisateurs. OpenAI prévient explicitement que ChatGPT-User peut ne pas suivre les règles. Perplexity a des problèmes de conformité documentés par Cloudflare (Cloudflare a découvert en 2024 que Perplexity utilisait des crawlers déclarés sous des chaînes génériques pour contourner les blocages).
5 erreurs fréquentes à éviter en 2026
1. Bloquer Claude-Web et Anthropic-AI
Ces deux user-agents sont deprecates depuis février 2026. Si ton robots.txt les bloque encore, tes directives sont inefficaces et ClaudeBot crawle ton site sans aucune restriction. Action immédiate : grep -E "Claude-Web|Anthropic-AI" robots.txt pour les détecter, puis remplacer par les trois user-agents actuels.
Karim, consultant SEO d’une agence à Marseille, a audité 23 sites clients en mars 2026. Sur 23, 17 contenaient encore les directives Claude-Web et Anthropic-AI. Aucun client ne savait qu’elles étaient deprecates. Karim a passé une demi-journée à réécrire les robots.txt avec les bons user-agents. Trois heures facturées, six clients qui ont conservé leur visibilité IA grâce à la mise à jour.
2. Bloquer par IP
Anthropic ne publie pas de plages spécifiques (juste une liste de blocs cloud à claude.com/crawling/bots.json). Bloquer ces IPs au niveau pare-feu peut empêcher ClaudeBot de lire ton robots.txt, et il pourrait alors crawler sans aucune directive du tout. Anthropic le déconseille formellement dans sa documentation. Utilise robots.txt, point.
3. Bloquer tous les bots IA en bulk
C’est l’erreur stratégique numéro un. BuzzStream a montré que 71 % des sites qui bloquent un bot d’entraînement bloquent aussi un bot de recherche, sans le savoir. Résultat : ils s’excluent des recherches IA en pensant juste protéger leur contenu. Distingue toujours entre training (ClaudeBot, GPTBot, Google-Extended) et search (Claude-SearchBot, OAI-SearchBot, PerplexityBot).
4. Oublier les sous-domaines
Le robots.txt s’applique au domaine ou sous-domaine où il est placé. example.com/robots.txt ne gouverne pas blog.example.com/robots.txt. Si tu as blog.tonsite.com, shop.tonsite.com et support.tonsite.com, chaque sous-domaine a besoin de son propre fichier robots.txt avec les directives ClaudeBot.
5. Confondre ClaudeBot et OpenClaw
Vu plus haut. ClaudeBot est le crawler Anthropic, OpenClaw est un assistant IA personnel sans rapport. Si tu vois OpenClaw dans tes logs, c’est probablement le user-agent par défaut d’un client OpenClaw qui parcourt le web pour le compte de son utilisateur, pas un crawler à proprement parler.
FAQ
Quelle différence entre ClaudeBot et Claude-SearchBot ?
ClaudeBot collecte du contenu pour entraîner les modèles Claude. Claude-SearchBot indexe le web pour la fonction de recherche de Claude. Les deux ont des user-agents différents, des objectifs différents et peuvent être contrôlés indépendamment dans robots.txt. Bloquer l’un ne bloque pas l’autre. La distinction est similaire à GPTBot (entraînement) versus OAI-SearchBot (recherche) chez OpenAI.
Le blocage IP fonctionne-t-il ?
Anthropic le déconseille formellement. Les bots tournent sur des IPs de fournisseurs cloud publics, et bloquer ces IPs peut empêcher ClaudeBot de lire ton robots.txt. Résultat paradoxal : il pourrait crawler sans aucune directive. Anthropic ne publie pas non plus de ranges spécifiques. La méthode recommandée est robots.txt, ou un blocage CDN au niveau user-agent (Cloudflare, par exemple) si tu veux une barrière technique en plus de la directive.
ClaudeBot respecte-t-il vraiment le robots.txt ?
Oui, selon la documentation officielle d’Anthropic. Les trois bots (ClaudeBot, Claude-User, Claude-SearchBot) respectent les directives standard Disallow et l’extension non standard Crawl-delay. C’est confirmé par les analyses de trafic Cloudflare qui n’ont pas relevé de comportement non conforme côté Anthropic, contrairement à Perplexity.
Faut-il bloquer ou autoriser ClaudeBot ?
Pour la majorité des sites en 2026, autorise. Le trafic de référence IA croît vite (Adobe : x10 en sept mois aux États-Unis, Digiday : +52 % YoY ChatGPT et +388 % YoY Gemini en sept-nov 2025). Bloquer maintenant pour récupérer plus tard est coûteux : tu dois rouvrir, attendre que les bots reviennent, et tu as perdu des cycles de citation entre temps. Si tu es sensible à la donnée d’entraînement, bloque ClaudeBot uniquement, autorise Claude-SearchBot et Claude-User.
Que sont Claude-Web et Anthropic-AI ?
Ce sont les anciens user-agents d’Anthropic, en service jusqu’en février 2026. Depuis la mise à jour officielle du 20 février 2026, ils sont deprecates. Si ton robots.txt les mentionne, les directives n’ont plus aucun effet. Remplace-les par ClaudeBot, Claude-User, Claude-SearchBot.
Comment tester son robots.txt face à ClaudeBot ?
Trois méthodes complémentaires. Un, lance un audit GEO complet qui détecte les neuf principaux crawlers IA et te dit lesquels sont autorisés ou bloqués. Deux, simule une requête ClaudeBot avec curl : curl -A "ClaudeBot/1.0" https://tonsite.com/robots.txt. Trois, surveille tes logs serveur pendant 7 jours : grep ClaudeBot access.log te montre les hits réels. Si tu n’en vois aucun alors que ton site est public et bien configuré, vérifie qu’aucune règle CDN ne bloque le user-agent en amont.
Ce qu’il te reste à faire ce mois-ci
Trois actions concrètes pour aligner ton site sur le framework à trois bots d’Anthropic.
- Audit robots.txt :
grep -E "Claude-Web|Anthropic-AI" robots.txt. Si tu trouves ces strings, supprime-les et remplace par les trois user-agents actuels. - Choisis ta stratégie parmi les quatre scénarios ci-dessus et applique le code copier-coller correspondant. Pour la majorité des sites, le scénario 1 (tout autoriser) reste le bon choix en 2026.
- Vérifie tes logs :
grep -E "ClaudeBot|Claude-User|Claude-SearchBot" access.logsur les 7 derniers jours. Si tu ne vois aucun hit, ton CDN ou ton firewall bloque le user-agent au niveau infra.
Pour mesurer ton score GEO complet (llms.txt, schémas, citation IA, configuration crawlers IA), lance ton audit gratuit, 1 analyse offerte sans carte bancaire. Le rapport détaille les directives ClaudeBot actuelles, les chaînes obsolètes éventuelles, et les recommandations spécifiques à ton stack.
ClaudeBot, Claude-User et Claude-SearchBot ne sont pas une nuance technique réservée aux SEO experts. Ce sont trois leviers distincts qui décident de ta visibilité dans Claude pour les trois prochaines années. Le robots.txt qui marche en 2026 n’est plus celui qui marchait en 2024.
Pour creuser le GEO au-delà des crawlers IA, le guide complet du GEO couvre llms.txt, les schémas LLM-friendly, et les autres signaux qui décident de ta citation par les modèles.
