Garder une page hors de Google : robots.txt ou noindex ?
Vous ne voulez pas qu'une page apparaisse dans Google, par exemple une page de remerciement, une page de test ou une ancienne promotion ? Beaucoup de personnes pensent alors au fichier robots.txt. Mais robots.txt ne retire pas une page de Google. C'est noindex qu'il faut pour cela. Dans cet article, vous découvrez la différence, comment utiliser les deux, et que faire avec une page que vous avez supprimée. Nous utilisons example.com comme exemple.
La différence en bref
| robots.txt | noindex | |
|---|---|---|
| Ce que cela signifie | « Ne récupérez pas cette page. » | « N'incluez pas cette page dans les résultats de recherche. » |
| Cela retire-t-il une page de Google ? | Non. Si d'autres sites créent un lien vers la page, l'adresse peut quand même apparaître, sans description. | Oui, dès que Google a de nouveau visité la page. |
| Où cela se trouve-t-il ? | Un seul fichier à l'adresse https://example.com/robots.txt | Dans la page elle-même, ou comme en-tête envoyé par le serveur |
| À quoi cela sert-il ? | Orienter le trafic d'exploration, par exemple ignorer les pages de résultats de recherche de votre propre site | Les pages qui restent accessibles, mais ne doivent pas apparaître dans Google |
Aucun des deux n'est une mesure de sécurité. N'importe qui peut lire votre robots.txt, et une page avec noindex reste simplement accessible. Si quelque chose doit vraiment être protégé, placez le contenu derrière un mot de passe. Voir Protéger un dossier avec un mot de passe dans DirectAdmin.
Utiliser noindex
Placez cette ligne dans le <head> de la page :
<meta name="robots" content="noindex">
Pour les fichiers sans HTML, comme un pdf, le serveur peut envoyer la même instruction sous forme d'en-tête : X-Robots-Tag: noindex. L'effet est identique.
En général, vous n'avez pas besoin de le saisir vous-même :
- AI Builder : ouvrez la section SEO, choisissez la page et désactivez le commutateur Cette page visible dans Google sous Plus pour cette page. La page reste accessible, mais reçoit un noindex. Publiez ensuite à nouveau.
- WordPress : une extension SEO propose un réglage par page pour empêcher son indexation. La case Décourager les moteurs de recherche d'indexer ce site dans Réglages, Lecture s'applique à tout le site.
- Autres constructeurs de sites : recherchez un réglage du type « masquer aux moteurs de recherche ».
Créer ou modifier robots.txt
Sur un forfait d'hébergement, robots.txt se trouve dans le dossier web de votre domaine, soit le dossier public_html dans DirectAdmin. Vous créez ou modifiez le fichier via le Gestionnaire de fichiers ou FTP, voir Ouvrir le Gestionnaire de fichiers : les dossiers de votre forfait. Un exemple :
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *s'applique à tous les robots d'exploration.Disallow:suivi d'un chemin interdit tout ce qui commence par ce chemin.Disallow: /interdit l'ensemble du site.- Si vous créez aussi un groupe
User-agent: Googlebot, Google ne suivra que ce groupe et ignorera le groupe*. Répétez donc dans ce groupe toutes les règles qui s'appliquent aussi à Google. - Ne bloquez pas les dossiers contenant des feuilles de style, des scripts ou des images dont votre page a besoin.
- L'absence de robots.txt n'est pas un problème : tout est alors autorisé. Si l'adresse renvoie une erreur serveur, Google arrête temporairement la récupération.
WordPress crée lui-même un robots.txt tant qu'aucun fichier ne se trouve dans le dossier web. L'AI Builder place lui-même un robots.txt avec une ligne Sitemap: lors de la publication.
Google conserve généralement votre robots.txt jusqu'à 24 heures. Dans Search Console, vous trouvez sous Réglages le rapport robots.txt : quelle version Google a récupérée en dernier, avec les erreurs et avertissements, et un bouton pour demander une nouvelle récupération.
Une page supprimée : 404 ou 410, pas de soft 404
Si vous avez supprimé une page, l'adresse doit renvoyer le code d'état 404 (introuvable) ou 410 (disparu). Lors de la visite suivante, Google retirera alors l'adresse des résultats de recherche. Si la page a un successeur, redirigez l'ancienne adresse avec un 301 vers cette nouvelle page, voir Site Omleiden : rediriger un domaine ou une page.
Un soft 404 est une page qui indique qu'elle n'existe pas, ou qui est presque vide, mais qui renvoie quand même le code 200 (trouvé). Google reconnaît souvent cette situation et n'inclut pas une telle page. Dans Search Console, vous voyez cela comme motif Soft 404. Rediriger toutes les pages supprimées vers votre page d'accueil peut également être considéré comme un soft 404. Veillez donc à ce qu'une page réellement disparue renvoie un véritable 404 ou 410.
Une page doit disparaître rapidement des résultats, par exemple parce que des données personnelles y figuraient par erreur ? Utilisez alors Suppressions dans Search Console. Cela fonctionne de façon temporaire, environ six mois. Veillez donc aussi à ce que la page reçoive un 404, un 410, un mot de passe ou un noindex.
Pour aller plus loin
- Google : Bloquer l'indexation avec noindex (en anglais)
- Google : Introduction à robots.txt (en anglais)
- Google : rapport robots.txt
- Bloquer des fichiers via .htaccess
Vous utilisez WordPress ? Dans la leçon Visibilité : les bases de la formation WordPress gratuite, vous en apprendrez davantage sur robots.txt et la case Décourager les moteurs de recherche.