Exclure une page de Google : robots.txt ou noindex ?
Vous ne souhaitez pas qu'une page apparaisse dans Google, par exemple une page de remerciement, une page de test ou une ancienne promotion ? Beaucoup pensent alors au fichier robots.txt. Pourtant, robots.txt ne retire pas une page de Google. C'est le rôle de noindex. Dans cet article, vous découvrirez la différence entre les deux, comment utiliser chacun d'eux et que faire d'une page que vous avez supprimée. Nous utilisons example.com comme exemple.
La différence en bref
| robots.txt | noindex | |
|---|---|---|
| Ce qu'il indique | « Ne récupérez pas cette page. » | « N'incluez pas cette page dans les résultats de recherche. » |
| Retire-t-il une page de Google ? | Non. Si d'autres sites renvoient vers la page, l'adresse peut tout de même apparaître, sans description. | Oui, dès que Google a de nouveau visité la page. |
| Où se trouve-t-il ? | Un seul fichier à l'adresse https://example.com/robots.txt | Dans la page elle-même, ou sous forme d'en-tête envoyé par le serveur |
| À quoi sert-il ? | Orienter l'exploration, par exemple ignorer les pages de résultats de recherche de votre propre site | Les pages qui restent accessibles, mais qui n'ont pas leur place dans Google |
Aucun des deux n'est une mesure de sécurité. Tout le monde peut lire votre robots.txt, et une page en noindex reste accessible. Si un contenu doit vraiment être protégé, placez-le derrière un mot de passe. Consultez Protéger un dossier par mot de passe dans DirectAdmin.
Utiliser noindex
Placez cette ligne dans la section <head> de la page :
<meta name="robots" content="noindex">
Pour les fichiers sans HTML, comme un PDF, le serveur peut envoyer la même instruction sous forme d'en-tête : X-Robots-Tag: noindex. L'effet est identique.
La plupart du temps, vous n'avez pas besoin de la saisir vous-même :
- AI Builder : ouvrez la section SEO, choisissez la page et, sous Plus pour cette page, désactivez l'interrupteur Cette page est visible dans Google. La page reste accessible, mais reçoit un noindex. Publiez ensuite à nouveau.
- WordPress : une extension SEO propose, pour chaque page, un réglage permettant de ne pas indexer la page. La case Demander aux moteurs de recherche de ne pas indexer ce site sous Réglages, Lecture s'applique à l'ensemble du site.
- Autres créateurs de sites : recherchez un réglage du type « masquer aux moteurs de recherche ».
Créer ou modifier robots.txt
Sur un hébergement, le fichier robots.txt se trouve dans le dossier web de votre domaine, c'est-à-dire le dossier public_html dans DirectAdmin. Vous créez ou modifiez le fichier via le File Manager ou en FTP, consultez Ouvrir le gestionnaire de fichiers : les dossiers de votre hébergement. Un exemple :
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *s'applique à tous les robots d'exploration.Disallow:suivi d'un chemin interdit tout ce qui commence par ce chemin.Disallow: /interdit l'ensemble du site.- Si vous créez également un groupe
User-agent: Googlebot, Google suit uniquement ce groupe et ignore le groupe*. Répétez donc dans ce groupe toutes les règles qui s'appliquent aussi à Google. - Ne bloquez pas les dossiers contenant des feuilles de style, des scripts ou des images dont votre page a besoin.
- L'absence de robots.txt ne pose aucun problème : tout est alors autorisé. Si l'adresse renvoie une erreur serveur, Google interrompt temporairement l'exploration.
WordPress génère lui-même un robots.txt tant qu'aucun fichier ne se trouve dans le dossier web. L'AI Builder place lui-même un robots.txt contenant une ligne Sitemap: lors de la publication.
Explications détaillées avec captures d'écran : Sitemap et robots.txt avec l'AI Builder et Sitemap et robots.txt avec WordPress et votre propre site dans le guide Être trouvé en ligne.
Google conserve généralement votre robots.txt jusqu'à 24 heures. Dans la Search Console, sous Paramètres, vous trouverez le rapport robots.txt : la dernière version récupérée par Google, avec les erreurs et avertissements, ainsi qu'un bouton pour demander une nouvelle récupération.
Une page supprimée : 404 ou 410, pas de soft 404
Si vous avez supprimé une page, l'adresse doit renvoyer le code d'état 404 (introuvable) ou 410 (supprimée). Lors de sa prochaine visite, Google retire alors l'adresse des résultats de recherche. Si la page a une remplaçante, redirigez l'ancienne adresse vers cette nouvelle page avec une redirection 301, consultez Redirection de site : rediriger un domaine ou une page.
Une soft 404 est une page qui indique qu'elle n'existe pas, ou qui est presque vide, mais qui renvoie tout de même le code 200 (trouvée). Google le détecte souvent et n'inclut pas ce type de page. Dans la Search Console, cela apparaît avec le motif Soft 404. Rediriger toutes les pages supprimées vers votre page d'accueil peut également être considéré comme une soft 404. Une page réellement supprimée doit donc renvoyer une véritable erreur 404 ou 410.
Une page doit disparaître rapidement des résultats, par exemple parce qu'elle contenait des données personnelles par erreur ? Utilisez alors Suppressions dans la Search Console. Cette mesure est temporaire, environ six mois. Veillez donc aussi à ce que la page renvoie une erreur 404 ou 410, soit protégée par un mot de passe ou porte un noindex.
Pour aller plus loin
- Google : Bloquer l'indexation avec noindex (en anglais)
- Google : Introduction au fichier robots.txt (en anglais)
- Google : Rapport robots.txt
- Bloquer des fichiers via .htaccess
Vous utilisez WordPress ? Dans la leçon Référencement : les bases du cours WordPress gratuit, vous en apprendrez davantage sur robots.txt et la case Demander aux moteurs de recherche de ne pas indexer ce site.
Envie d'en savoir plus ? Suivez le cours gratuit Être trouvé en ligne, leçon 3.3 robots.txt : ce que vous bloquez et ce que vous ne bloquez pas.