Autoriser ou bloquer les robots d'exploration IA : robots.txt et llms.txt
Les services d'IA comme ChatGPT, Claude, Gemini et Perplexity récupèrent des pages web : pour entraîner des modèles, pour fournir des réponses de recherche ou pour répondre à la question d'un utilisateur. Avec robots.txt, vous indiquez lesquels de ces robots peuvent visiter votre site. Il existe également la proposition llms.txt. Dans cet article, vous découvrirez quels robots existent, comment les autoriser ou les bloquer et ce que llms.txt fait et ne fait pas. Nous utilisons example.com comme exemple.
1. Les principaux robots d'IA
La plupart des entreprises d'IA utilisent des noms distincts pour l'entraînement, la recherche et la récupération à la demande d'un utilisateur. Vous pouvez ainsi, par exemple, bloquer l'entraînement tout en restant présent dans les réponses de recherche.
| Nom dans robots.txt | Éditeur | Utilisation |
|---|---|---|
GPTBot | OpenAI | Collecter des pages pouvant servir à entraîner des modèles |
OAI-SearchBot | OpenAI | La fonction de recherche de ChatGPT. Si vous le bloquez, votre site n'apparaîtra pas dans les réponses de recherche de ChatGPT |
ChatGPT-User | OpenAI | Récupérer une page lorsqu'un utilisateur le demande. Selon OpenAI, robots.txt peut ne pas s'appliquer dans ce cas |
ClaudeBot | Anthropic | Collecter des pages pouvant servir à entraîner des modèles |
Claude-SearchBot | Anthropic | Indexer des pages pour la fonction de recherche de Claude |
Claude-User | Anthropic | Récupérer une page lorsqu'un utilisateur le demande |
Google-Extended | Pas un robot distinct, mais un nom qui vous permet d'indiquer si Google peut utiliser votre contenu pour entraîner les modèles Gemini et pour le grounding. Selon Google, cela n'a aucune influence sur votre position dans la recherche Google | |
PerplexityBot | Perplexity | Afficher des sites et créer des liens vers eux dans les résultats de recherche de Perplexity, pas pour l'entraînement |
Perplexity-User | Perplexity | Récupérer une page lorsqu'un utilisateur le demande. Selon Perplexity, ce robot ignore généralement robots.txt |
Cette liste change régulièrement. Pour connaître les noms actuels, consultez la documentation d'OpenAI, d'Anthropic, de Google et de Perplexity.
2. Un exemple de robots.txt
Cet exemple bloque l'entraînement des modèles, mais autorise les robots de recherche et les moteurs de recherche classiques :
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Un robot suit uniquement le groupe portant son propre nom, et sinon le groupe
*. Dans l'exemple, GPTBot n'a donc accès à aucune page, etDisallow: /winkelmand/ne s'applique pas à GPTBot. - Si vous souhaitez autoriser tous les robots d'IA, vous n'avez rien à faire : sans règles, tout est autorisé.
- Si vous bloquez par erreur un robot de recherche, comme
OAI-SearchBot,Claude-SearchBotouPerplexityBot, votre site sera moins bien trouvé dans ces services de recherche par IA. - Le blocage ne vaut que pour l'avenir. Ce qui a déjà été récupéré auparavant ne peut pas être retiré de cette manière.
public_html de votre domaine. Vous le créez ou le modifiez via le Gestionnaire de fichiers ou par FTP. WordPress génère lui-même un robots.txt tant qu'aucun fichier n'est présent, et l'AI Builder en place un automatiquement lors de la publication. Pour en savoir plus sur le fonctionnement de robots.txt, consultez Exclure une page de Google : robots.txt ou noindex ?.3. Qu'est-ce que llms.txt ?
llms.txt est une proposition de 2024 pour un fichier texte situé à l'adresse https://example.com/llms.txt. Vous y placez, en Markdown, une courte description de votre site et des liens vers les pages les plus importantes, afin qu'un service d'IA voie rapidement où se trouvent les bonnes informations. Un exemple simple :
# Boulangerie Exemple > Boulangerie artisanale à Lyon proposant du pain, des pâtisseries et des gâteaux sur commande. ## Pages importantes - [Nos produits](https://example.com/assortiment): pain, pâtisseries et gâteaux - [Commander](https://example.com/bestellen): commander un gâteau et le retirer - [Contact](https://example.com/contact): adresse et horaires d'ouverture
Bon à savoir :
- llms.txt n'est pas une norme officielle, mais une proposition. Rien ne garantit que les services d'IA lisent ce fichier. Google a fait savoir que la recherche Google ne l'utilise pas.
- llms.txt ne bloque rien. Si vous souhaitez écarter des robots, utilisez robots.txt.
- Le fichier n'apparaît pas automatiquement : vous le créez vous-même ou le faites générer par une extension.
4. Créer llms.txt dans WordPress
Les extensions SEO les plus connues peuvent créer et tenir à jour llms.txt pour vous :
- Yoast SEO : allez dans Yoast SEO, Réglages, Fonctionnalités du site et activez llms.txt parmi les fonctionnalités d'IA. Vous pouvez laisser Yoast choisir les pages ou les désigner vous-même.
- Rank Math : dans le Tableau de bord de Rank Math, activez le module LLMS Txt. Vous trouverez ensuite les paramètres sous Réglages généraux.
Les noms des menus varient selon la version. Si vous ne voyez pas l'option, mettez l'extension à jour. Vous pouvez ensuite consulter le fichier à l'adresse https://votredomaine.fr/llms.txt.
Sans WordPress, vous créez le fichier vous-même : un fichier texte llms.txt dans le dossier public_html, tout comme robots.txt.
Explications détaillées avec captures d'écran : Sitemap et robots.txt pour WordPress et votre propre site et Sitemap et robots.txt avec l'AI Builder dans le guide Être trouvé en ligne.
Envie d'en savoir plus ? Suivez le cours gratuit Être trouvé en ligne, leçon 3.3 robots.txt : ce que vous bloquez et ce que vous ne bloquez pas.