Sitemap et robots.txt avec WordPress et sur votre propre site

Une sitemap est une liste des adresses que vous souhaitez voir apparaître dans les moteurs de recherche. Un fichier robots.txt indique aux moteurs de recherche les adresses qu'ils ne doivent pas visiter, ainsi que l'emplacement de votre sitemap. Voici comment les vérifier avec WordPress et sur un site que vous créez vous-même.

WordPress

Depuis la version 5.5, WordPress crée lui-même une sitemap et un fichier robots.txt :

• La sitemap se trouve à l'adresse https://jouwdomein.nl/wp-sitemap.xml.
• Le fichier robots.txt est virtuel : aucun fichier ne se trouve dans votre dossier web, mais WordPress l'affiche à l'adresse https://jouwdomein.nl/robots.txt, avec un lien vers la sitemap.
• Vous utilisez une extension SEO, comme Yoast SEO ou Rank Math ? Elle crée alors souvent sa propre sitemap, par exemple sitemap_index.xml. Vous trouverez l'adresse dans les réglages de l'extension. C'est cette adresse que vous soumettez à Google et à Bing.

Un fichier robots.txt standard de WordPress ressemble à peu près à ceci :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

WordPress bloque-t-il les moteurs de recherche ?

1. Connectez-vous à WordPress et allez dans Réglages, puis Lecture.
2. Dans la partie consacrée à la visibilité pour les moteurs de recherche, regardez la case Demander aux moteurs de recherche de ne pas indexer ce site.
3. Cette case doit être décochée. Cliquez sur Enregistrer les modifications.

Si la case est cochée, WordPress demande aux moteurs de recherche d'ignorer l'ensemble de votre site. Elle est souvent cochée pendant la construction du site, puis oubliée.

Pour en savoir plus sur la visibilité dans WordPress, consultez Visibilité : les bases.

Votre propre robots.txt

Si vous placez vous-même un fichier robots.txt dans votre dossier web, il prend le pas sur le robots.txt virtuel de WordPress. Avec un hébergement WebOké, le dossier web de votre domaine est public_html. Vous y placez le fichier avec le Gestionnaire de fichiers de DirectAdmin (voir Ouvrir le Gestionnaire de fichiers : les dossiers de votre hébergement) ou par FTP.

Un fichier robots.txt simple qui autorise tout et indique votre sitemap :

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Un site que vous créez vous-même

Vous créez votre site vous-même, ou avec un autre programme ? Vérifiez alors si ce programme génère une sitemap. Si ce n'est pas le cas, vous pouvez vous en passer : un petit site avec de bons liens entre ses pages est lui aussi trouvé. Une sitemap aide toutefois. Placez-la dans votre dossier web et indiquez-la dans votre robots.txt, comme ci-dessus.

Vérifier

• Ouvrez https://jouwdomein.nl/robots.txt. Voyez-vous Disallow: / sous User-agent: * ? Dans ce cas, aucun moteur de recherche ne peut visiter votre site. Supprimez cette ligne lorsque votre site est terminé.
• Y a-t-il une ligne Sitemap: ? Ouvrez cette adresse dans votre navigateur. Vous devez voir une liste d'adresses de votre site, avec https et votre propre domaine.

Astuce : le fichier robots.txt n'empêche pas une page d'apparaître dans Google. Une page qui ne peut pas être visitée peut tout de même figurer dans les résultats de recherche si d'autres sites pointent vers elle. Si vous voulez vraiment tenir une page à l'écart de Google, utilisez une balise noindex. Vous découvrirez la différence dans la leçon robots.txt : ce que vous bloquez et ce que vous ne bloquez pas du cours Être trouvé en ligne.