Exploration : comment un moteur de recherche trouve votre site

Module 1: Comment fonctionnent les moteurs de recherche · Temps de lecture : 11 minutes

Objectif pédagogique : À l'issue de cette leçon, vous saurez décrire comment un robot d'exploration découvre de nouvelles pages, quels codes d'état il rencontre et ce qu'ils signifient, et ce qui peut l'arrêter.

Notions clés : robot d'exploration (Googlebot, Bingbot), suivi des liens, sitemap, code d'état HTTP (200, 301, 302, 404, 410, 429, 5xx), redirection, budget d'exploration, JavaScript et rendu, page orpheline, robots.txt

Qu'est-ce qu'un robot d'exploration ?

Un robot d'exploration (en anglais crawler, aussi appelé spider ou bot) est un programme qui récupère des pages web, comme le fait votre navigateur, mais de façon automatique et à très grande échelle. Google a Googlebot, Bing a Bingbot. Ils demandent une adresse, reçoivent le HTML en retour, repèrent les liens qu'il contient et ajoutent ces nouvelles adresses à leur liste pour les récupérer plus tard.

Selon Google, Googlebot ne visite en moyenne pas un site plus d'une fois toutes les quelques secondes, et la plupart des requêtes proviennent de la version smartphone de Googlebot. Google voit donc surtout votre site comme le voit un téléphone. La leçon 4.2 y revient.

Un robot peut aussi se faire passer pour Googlebot : son nom (le user-agent) est facile à imiter. Google recommande de vérifier une visite suspecte au moyen d'une recherche DNS inverse sur l'adresse IP. C'est utile si vous voyez dans le journal de votre serveur un « Googlebot » au comportement étrange.

Comment un robot d'exploration trouve de nouvelles pages

Google cite trois moyens :

1. Revisiter les pages qu'il connaît déjà. Il y repère les modifications et les nouveaux liens.
2. Suivre les liens. Un lien depuis une page que Google connaît déjà vers une nouvelle page est le principal moyen d'être découvert. Cela vaut pour les liens au sein de votre propre site (votre menu, un lien dans un texte) comme pour les liens provenant d'autres sites.
3. Une liste que vous fournissez : le sitemap. Un sitemap est un fichier qui contient les adresses de vos pages. Vous le soumettez dans Search Console ou vous l'indiquez dans robots.txt (leçon 3.4). D'après Google, un sitemap n'est pas obligatoire, mais il est utile, surtout pour les nouveaux sites qui ont encore peu de liens, les grands sites et les pages situées en profondeur dans le site.

Les liens doivent être de vrais liens

Google ne peut suivre un lien que s'il s'agit d'un simple élément <a> doté d'un href :

<a href="/bruidsboeketten">Bruidsboeketten</a>          <!-- correct -->
<span onclick="ga('/bruidsboeketten')">Bruidsboeketten</span>   <!-- pas un lien pour Google -->

Un bouton qui renvoie vers une autre page uniquement grâce à JavaScript n'est pas un lien pour un robot d'exploration. Une page vers laquelle aucun lien ne pointe s'appelle une page orpheline (orphan page). Un robot ne la trouve que par le sitemap, et les visiteurs ont eux aussi du mal à la trouver. Une nouvelle page doit donc toujours recevoir un lien quelque part, dans votre menu ou dans un texte.

JavaScript : d'abord récupérer, ensuite exécuter

De nombreux sites modernes construisent la page avec JavaScript dans le navigateur. Google sait le gérer : il exécute JavaScript avec une version récente de Chromium, la base du navigateur Chrome. C'est ce qu'on appelle le rendu. Google décrit trois phases pour ce type de pages : l'exploration, le rendu et l'indexation. Les pages avec le code 200 sont placées dans une file d'attente pour être rendues.

Deux conséquences :

• Ce qui n'apparaît sur la page qu'après l'exécution de JavaScript est vu par Google plus tard que ce qui figure directement dans le HTML.
• Tous les robots d'exploration n'exécutent pas JavaScript. Google le dit lui-même. Le texte, les titres et les liens présents directement dans le HTML sont donc la solution la plus sûre pour tous les moteurs de recherche. Google qualifie le HTML généré côté serveur de « toujours une bonne idée ».

Les vérifications automatiques de cette formation lisent le HTML tel que le serveur l'envoie, sans JavaScript. Ce que vous voyez dans votre navigateur peut en différer.

Codes d'état : ce que le serveur répond

Avec chaque page, le serveur envoie un code d'état. Vous ne le voyez pas à l'écran, mais c'est la première chose que lit un robot d'exploration :

Attention à la soft 404 : une page qui affiche « introuvable » mais renvoie le code 200. Pour le robot, elle ressemble à une vraie page, pas pour le visiteur. Search Console signale ces pages à part. Une page supprimée doit donc renvoyer un vrai 404 ou 410, ou rediriger avec un 301 vers une page de remplacement.

Google suit bien une chaîne de redirections (de http vers https, puis vers www, puis vers la nouvelle page), jusqu'à une dizaine d'étapes environ, mais chaque étape prend du temps. La leçon 4.1 montre comment le faire en une seule étape.

Ce qui arrête un robot d'exploration

Google cite comme causes de non-exploration d'une page : des problèmes de serveur, des problèmes de réseau et des règles dans robots.txt qui interdisent l'accès à Googlebot. Dans la pratique, on rencontre aussi :

• un site encore en « mode maintenance » ou protégé par un mot de passe ;
• dans WordPress, la case « Demander aux moteurs de recherche de ne pas indexer ce site », qui ajoute un noindex (c'est l'étape 2, mais l'effet est le même : introuvable) ;
• une protection ou un pare-feu qui refuse les bots inconnus avec un 403 ou un 429 ;
• un site sur lequel on ne peut naviguer qu'au moyen de boutons JavaScript.

robots.txt fait l'objet d'une leçon à part (3.3). Pour l'instant, retenez ceci : c'est un fichier texte situé à https://www.example.com/robots.txt qui indique quelles parties de votre site un robot d'exploration n'a pas le droit de récupérer.

Budget d'exploration : pas un souci pour la plupart des sites

On lit beaucoup de choses en ligne sur le budget d'exploration (crawl budget) : le nombre de pages que Google veut et peut récupérer sur votre site. Google indique que son guide sur le sujet s'adresse aux grands sites, avec comme estimation approximative plus d'un million de pages, ou plus de dix mille pages qui changent chaque jour. Si vos nouvelles pages sont déjà récupérées le jour de leur publication, vous n'avez pas à vous en préoccuper. Pour un site comme celui de Bloemenatelier Lotte, avec trente pages, la question ne se pose pas. Un sitemap à jour et un coup d'œil de temps en temps au rapport d'indexation suffisent.

En pratique : le journal de votre serveur

Dans DirectAdmin et les panneaux similaires, vous pouvez consulter le journal d'accès de votre site. Recherchez « Googlebot » ou « bingbot » : vous verrez quelles pages ils ont demandées et quel code d'état ils ont reçu. Si vous y voyez beaucoup de 404 ou d'erreurs 5xx, vous savez par où commencer. Chez d'autres hébergeurs, les journaux se trouvent généralement sous un nom comparable dans l'espace client.

Résumé

• Un robot d'exploration récupère des pages et trouve de nouvelles adresses grâce aux liens et à votre sitemap.
• Seuls les vrais liens <a href> sont suivis ; une page vers laquelle aucun lien ne pointe est orpheline.
• Google exécute JavaScript, mais plus tard ; les autres robots souvent pas. Le contenu important doit figurer dans le HTML.
• Le code d'état détermine ce que fait le robot : 200 traiter, 301 déménager, 404/410 supprimer, 5xx et 429 ralentir l'exploration.
• Le budget d'exploration ne concerne que les sites très grands ou qui changent très vite.

Quiz

Exercice

Exercice A1.2 : Que voit un robot d'exploration sur votre page d'accueil ? Saisissez l'adresse de votre site (ou www.wikipedia.org si vous n'avez pas de site). Indiquez ensuite ce que vous attendez : le code d'état de la page finale, l'adresse à laquelle vous aboutissez après redirection, et si un noindex y figure. Le programme récupère la page d'accueil comme le ferait un robot d'exploration, sans JavaScript, et affiche la chaîne de redirections, le code d'état, le nombre de vrais liens vers votre propre site dans le HTML, et si le texte de la page est lisible sans JavaScript.

Pour aller plus loin

Les étapes décrites dans ces articles concernent les panneaux de WebOké ; chez d'autres hébergeurs, le fonctionnement est comparable.

• Guide DirectAdmin 4.7: Redirections de site : rediriger un domaine ou une page
• Guide DirectAdmin 17.2: Résumé du site & journaux : le journal des erreurs et le journal d'accès
• Rediriger obligatoirement les visiteurs vers https
• Google, Impact des codes d'état HTTP et des erreurs réseau sur la recherche Google : https://developers.google.com/search/docs/crawling-indexing/http-network-errors
• Google, Principes de base du SEO pour JavaScript : https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics
• Google, Budget d'exploration pour les grands sites : https://developers.google.com/crawling/docs/crawl-budget