Sitemap et robots.txt avec l'AI Builder

Si vous créez votre site web avec l'AI Builder, celui-ci gère lui-même la partie technique pour les moteurs de recherche. À chaque publication, il place un nouveau fichier sitemap.xml et un fichier robots.txt dans le dossier web de votre site. Vous vérifiez seulement que votre site est bien réglé sur visible.

Ce que crée l'AI Builder

• sitemap.xml avec toutes les pages visibles, y compris les articles de votre page d'actualités, avec pour chaque page la date de la dernière modification. Si votre site existe en plusieurs langues, toutes les versions linguistiques y figurent.
• robots.txt avec les lignes User-agent: *, Allow: / et Sitemap: suivie de l'adresse de votre sitemap.
• Un lien canonical pour chaque page, ainsi que les informations sur votre entreprise sous forme de données structurées si vous les renseignez dans Informations sur l'entreprise.
• Une notification via IndexNow après chaque publication (voir IndexNow : signaler vous-même vos modifications).

Votre site est-il visible ?

1. Dans Mon WebOké, allez dans AI Builder et cliquez sur Ouvrir dans l'éditeur à côté de votre site web.
2. Dans la barre latérale gauche, cliquez sur SEO (1).
3. En haut, choisissez Site entier et dépliez Visibilité.
4. Activez Site visible dans Google (2).
5. En haut à droite, cliquez sur Publier les modifications. Ce n'est qu'à ce moment que le nouveau réglage s'applique à votre site en ligne.

Si l'interrupteur est désactivé, l'AI Builder ajoute Disallow: / dans robots.txt et un noindex sur chaque page. Les moteurs de recherche ignorent alors l'ensemble de votre site. C'est pratique tant que vous êtes en train de le construire. N'oubliez pas de l'activer une fois votre site terminé.

Vous souhaitez exclure une seule page de Google, par exemple une page de remerciement ? Choisissez alors en haut Cette page et désactivez Cette page visible dans Google. Cette page disparaît de la sitemap et reçoit un noindex.

Attention : un site web gratuit sur l'une de nos adresses, comme nom.weboke.site, n'est jamais visible dans les moteurs de recherche, même si l'interrupteur est activé. Google Search Console et Bing n'ont alors aucune utilité. Votre site doit être hébergé sur votre propre domaine, avec la formule AI Builder (voir AI Builder : modifier, versions et publier).

Vérifier

Après la publication, ouvrez dans votre navigateur :

• https://votredomaine.fr/robots.txt : vous devez y voir Allow: / et une ligne Sitemap:.
• https://votredomaine.fr/sitemap.xml : vous devez y voir les adresses de vos pages, avec votre propre domaine.

Vérification Google et Bing

Le même panneau contient le bloc Vérification Google et Bing. Vous n'en avez pas besoin si vous validez votre domaine avec un enregistrement TXT dans le DNS, comme dans Vérifier votre domaine dans Mon WebOké. C'est d'ailleurs ce que nous recommandons.

Vous utilisez malgré tout dans Google Search Console une propriété de type Préfixe de l'URL avec la méthode Balise HTML, ou dans Bing la méthode balise meta ? Collez alors le code ici. Collez uniquement le code lui-même : la partie qui figure dans la balise meta entre les guillemets après content=. L'AI Builder ajoute lui-même la balise meta autour. Publiez ensuite, et seulement après, cliquez sur le bouton de validation.