Indexation : ce qui entre dans l'index et ce qui n'y entre pas

Module 1: Comment fonctionnent les moteurs de recherche · Temps de lecture : 11 minutes

Objectif pédagogique : À la fin de cette leçon, vous saurez évaluer si une page peut entrer dans l'index et, si ce n'est pas le cas, lequel des quatre « verrous » la bloque : le code de statut, le robots.txt, le noindex ou la canonical.

Notions clés : indexation, exigences techniques de Google, noindex (meta robots et X-Robots-Tag), robots.txt n'est pas un noindex, canonicalisation, contenu en double, soft 404, « Explorée, actuellement non indexée », « Détectée, actuellement non indexée », aucune garantie

Ce qui se passe lors de l'indexation

Une fois qu'un robot d'exploration a récupéré une page (leçon 1.2), le moteur de recherche la lit. Google analyse le texte, le titre, les intertitres, les images et les vidéos, et détermine la langue de la page. Google cherche aussi à savoir si la page est une copie d'une autre page, et laquelle de ces copies est la « vraie ». Ce n'est qu'ensuite que Google décide si la page entre dans l'index.

Google dit deux choses à ce sujet que vous devez bien retenir :

• L'indexation n'est pas garantie. Même si votre page remplit toutes les exigences, Google peut décider de ne pas l'indexer.
• Il est normal que tout ne soit pas indexé. Dans l'aide du rapport d'indexation, Google écrit en toutes lettres que vous ne devez pas vous attendre à ce que chaque adresse de votre site soit indexée, et que cela peut tout à fait convenir. Ce qui compte, ce sont vos pages importantes.

Les trois exigences techniques

Google cite trois exigences techniques pour qu'une page puisse être indexée :

1. Googlebot n'est pas bloqué. La page est accessible et le robots.txt n'en interdit pas la récupération.
2. La page fonctionne. Le serveur renvoie le code de statut 200, et non une erreur.
3. La page contient du contenu indexable. Du texte dans un type de fichier que Google sait lire, et aucune infraction aux règles relatives au spam.

En pratique s'ajoutent deux choix du propriétaire du site : un noindex (« ne pas indexer ceci ») et une canonical qui pointe vers une autre adresse (« pas celle-ci, mais celle-là »). Cela donne au total quatre verrous qu'une page doit franchir.

Verrou 1 : le code de statut

Seule une page avec le statut 200 peut entrer dans l'index. Un 301 ou un 308 redirige le moteur de recherche vers la nouvelle adresse ; c'est alors cette nouvelle adresse qui est évaluée. Un 404 ou un 410 retire de l'index une adresse qui y figurait auparavant.

La variante délicate est la soft 404 de la leçon 1.2 : statut 200, mais le contenu est un message d'erreur ou une page presque vide. Google le détecte souvent et n'indexe pas une telle page. Une page de catégorie vide dans une boutique en ligne (« aucun produit trouvé ») peut elle aussi être considérée comme une soft 404.

Verrou 2 : robots.txt

Avec le robots.txt, vous interdisez à un robot d'exploration de récupérer une page. Ce n'est pas la même chose que lui interdire de l'indexer. Google est clair à ce sujet : le robots.txt n'est pas un moyen d'exclure une page de Google. Si d'autres sites renvoient vers une page bloquée, son adresse peut tout de même apparaître dans les résultats, simplement sans description. Dans Search Console, cela s'appelle « Indexée malgré le blocage par le fichier robots.txt ».

Le robots.txt sert à gérer le trafic d'exploration : par exemple pour éviter qu'un robot parcoure des milliers de pages de résultats de recherche de votre propre site. La leçon 3.3 approfondit ce sujet.

Verrou 3 : noindex

Si vous voulez vraiment qu'une page n'apparaisse pas dans les résultats de recherche, utilisez noindex. Il existe deux façons de le faire, avec le même effet :

<!-- dans le <head> de la page -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

La seconde est un en-tête HTTP que le serveur envoie avec la page. Elle fonctionne aussi pour les fichiers qui ne sont pas du HTML, comme un PDF. La valeur none équivaut à noindex, nofollow. Avec <meta name="googlebot" content="noindex">, la règle ne s'applique qu'à Google ; d'autres moteurs de recherche peuvent interpréter différemment une règle générale.

Voici maintenant le piège très fréquent : un noindex et un blocage dans le robots.txt ne fonctionnent pas ensemble. Si le robots.txt bloque la page, Google ne la récupère pas et ne voit donc jamais le noindex. La page peut alors tout de même entrer dans l'index grâce à des liens provenant d'autres sites. Vous voulez retirer une page de Google ? Laissez-la être récupérée et ajoutez-y un noindex.

Où pouvez-vous rencontrer un noindex sans le vouloir ?

• Dans WordPress, sous Réglages, Lire, se trouve la case « Demander aux moteurs de recherche de ne pas indexer ce site ». Elle place un noindex sur tout le site. Pratique pendant la construction, désastreux si vous oubliez de la décocher.
• Dans l'AI Builder, vous pouvez régler un site ou une page sur « ne pas indexer » ; la page reçoit alors un noindex, nofollow. Un site de démonstration gratuit n'est lui non plus jamais indexé.
• Une extension SEO ou un thème avec un mauvais réglage par page ou par type de page.

D'autres outils de création de sites ont des options comparables, souvent avec un nom comme « masquer aux moteurs de recherche ».

Verrou 4 : la canonical

Beaucoup de sites proposent la même page sous plusieurs adresses : avec et sans www, en http et en https, avec un paramètre à la fin comme ?utm_source=nieuwsbrief. Dans de tels groupes, Google choisit une seule adresse comme version canonique et n'affiche que celle-ci dans les résultats. Les autres sont des doublons.

Vous pouvez aider Google à choisir avec une redirection (un signal fort) ou avec une référence canonical dans la page :

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Une canonical est un signal, pas un ordre : Google peut choisir une autre adresse. Si votre canonical pointe vers une autre adresse, la page dit elle-même : « ne m'indexez pas, indexez plutôt l'autre ». C'est très bien si c'est exact, et c'est un problème si c'est une erreur, par exemple quand chaque page pointe vers la page d'accueil. La leçon 3.5 approfondit ce point.

Selon Google, le contenu en double sur votre propre site n'enfreint pas les règles relatives au spam et n'entraîne pas d'action manuelle. C'est en revanche inefficace : les robots récupèrent plusieurs fois la même chose, et ce n'est pas vous qui décidez quelle adresse figure dans les résultats.

Les messages dans Search Console

Dans le rapport Pages de Search Console (leçon 2.4), vous voyez une raison pour chaque page non indexée. Les quatre verrous y figurent tous :

Les deux derniers ne sont pas des erreurs techniques. « Explorée, actuellement non indexée » est fréquent ; Google indique que ce n'est pas toujours un problème. S'il s'agit d'une page importante, vérifiez si elle apporte vraiment quelque chose : une page unique et utile a plus de chances qu'une page pauvre qui ressemble à dix autres.

Résumé

• Après l'exploration, le moteur de recherche décide si une page entre dans l'index ; ce n'est jamais garanti et tout n'a pas besoin d'y figurer.
• Quatre verrous : statut 200, pas de blocage dans le robots.txt, pas de noindex, canonical absente ou pointant vers la page elle-même.
• Le robots.txt interdit la récupération, pas l'indexation. Utilisez noindex pour exclure une page des résultats, et ne bloquez alors pas cette page dans le robots.txt.
• Une canonical est un signal fort, pas un ordre. Le contenu en double n'est pas du spam, mais il est inefficace.
• « Explorée, actuellement non indexée » n'est pas une erreur technique ; examinez la valeur de la page.

Quiz

Exercice

Exercice A1.3 : Cette page peut-elle être indexée ? Saisissez l'adresse d'une page (une page de votre propre site, ou une page que vous masquez volontairement, comme une page de remerciement). Choisissez ensuite ce que vous attendez : « peut être indexée » ou « ne peut pas être indexée », et si vous choisissez « ne peut pas », indiquez quel verrou la bloque (code de statut, robots.txt, noindex, canonical vers une autre adresse). Le programme vérifie les quatre verrous comme dans cette leçon et place son résultat à côté du vôtre.

Pour aller plus loin

• Google, Exigences techniques de la recherche Google : https://developers.google.com/search/docs/essentials/technical
• Google, Bloquer l'indexation avec noindex : https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Introduction au fichier robots.txt : https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Regrouper les URL en double (canonicalisation) : https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Aide Google Search Console, Rapport sur l'indexation des pages : https://support.google.com/webmasters/answer/7440203