GPTBot, ClaudeBot, PerplexityBot : faut-il bloquer les robots des IA ?

Ton fichier robots.txt décide qui a le droit de lire ton site. Beaucoup d'hébergeurs et de thèmes ont ajouté ces derniers temps des règles qui bloquent « les IA » d'un coup, parfois sans prévenir. Résultat : des entreprises qui veulent être recommandées par ChatGPT se rendent invisibles sans le savoir.

Deux familles de robots : recherche et entraînement

Les éditeurs d'IA utilisent plusieurs robots, avec des rôles différents. C'est la clé pour bien régler ton robots.txt :

• Robots de recherche : ils lisent ton site pour répondre aux questions des utilisateurs en citant des sources. Les bloquer, c'est renoncer à être cité.
• Robots d'entraînement : ils collectent des pages pour entraîner les modèles. Les bloquer protège tes contenus, sans effet sur ta présence dans Google.
• Robots d'action : ils visitent une page à la demande précise d'un utilisateur (par exemple quand on colle ton lien dans ChatGPT).

Les principaux robots à connaître

• OAI-SearchBot (OpenAI) : recherche dans ChatGPT. À laisser passer si tu veux être cité.
• GPTBot (OpenAI) : entraînement des modèles.
• ChatGPT-User (OpenAI) : visites à la demande d'un utilisateur.
• ClaudeBot (Anthropic) : entraînement ; Claude-SearchBot et Claude-User pour la recherche et les visites à la demande.
• PerplexityBot (Perplexity) : indexation pour les réponses de Perplexity.
• Google-Extended (Google) : contrôle l'usage de tes contenus par les modèles Gemini. Ce n'est pas un robot séparé et il ne change rien à ta présence dans la recherche Google.
• Applebot-Extended (Apple) : usage pour l'entraînement des modèles d'Apple.
• CCBot (Common Crawl) : collecte publique réutilisée par de nombreux modèles.

Les éditeurs font évoluer ces noms ; vérifie de temps en temps la documentation officielle de chacun.

Trois réglages selon ton objectif

Tu veux être cité partout (cas le plus fréquent)

Ne bloque aucun robot d'IA. Ton robots.txt peut rester simple : il autorise tout, sauf tes pages privées (espace client, panier).

Tu veux être cité, sans servir à l'entraînement

Laisse passer les robots de recherche et bloque les robots d'entraînement. Exemple :

• User-agent: GPTBot → Disallow: /
• User-agent: ClaudeBot → Disallow: /
• User-agent: Google-Extended → Disallow: /
• User-agent: CCBot → Disallow: /
• (OAI-SearchBot, Claude-SearchBot et PerplexityBot restent autorisés)

Tu veux rester totalement à l'écart

Bloque tous les robots d'IA, en sachant que tu disparais de leurs réponses. C'est un choix défendable pour un média qui vend ses contenus, rarement pour une entreprise qui cherche des clients.

Vérifier et corriger en deux minutes

Le vérificateur robots.txt IA lit ton fichier et te dit, robot par robot, qui est autorisé ou bloqué, avec la correction à copier. Pour repartir d'une base propre, le générateur de robots.txt crée un fichier avec les réglages IA de ton choix.

Les erreurs fréquentes

• Une option « bloquer les IA » activée par l'hébergeur ou le pare-feu, qui bloque aussi les robots de recherche.
• Un « Disallow: / » oublié après la mise en ligne d'un site en préproduction.
• Bloquer Google-Extended en pensant sortir des aperçus IA de Google (ça ne marche pas : voir notre guide Gemini).
• Croire qu'autoriser un robot suffit à être cité : il faut aussi un contenu qui répond (voir comment être recommandé par ChatGPT).