Le fichier robots.txt

Pour que les pages Internet soient indexées, il faut que des programmes, les robots, parcourent le net à la recherche de pages inconnues ou modifiées à ajouter au moteur. Quand celui-ci parcourt votre site, la première chose qu'il recherche est un fichier texte : robots.txt.

Ce fichier permet de donner des ordres aux robots. Vous pouvez leur dire s'ils ont le droit d'accéder à votre site et s'ils peuvent l'indexer en entier ou une page précise. Pour cela, il y a deux commandes : User-agent et Disallow.

La première, User-agent, permet de préciser les robots autorisés. Il peut prendre plusieurs formes :

• User-agent: * – Tous les robots peuvent indexer.
• User-agent: robotPrécis – Seul le robot précisé peut indexer.

Disallow permet de déclarer les pages que l'on ne veut pas que le moteur indexe. Il peut être utilisé comme cela :

• Disallow: /rép/ – Tout le répertoire ne sera pas indexé.
• Disallow: /page.html – Seul page.html ne sera pas indexé.

Vous pouvez utiliser plusieurs commandes Disallow à la suite. Elles doivent chacune être placées sur une seule ligne. Le fichier robots.txt doit ensuite être inséré à la racine de votre site.

Le robots.txt de Xanetiz :

Google met à disposition un outil de génération automatique de fichier robots.txt sur son site dans la partie Outils pour les webmasters :

Le fichier sitemap

Vous pouvez également utiliser la commande Sitemap pour indiquer l'adresse absolue d'un fichier XML sitemap sur votre site. Cela peut donner :

Sitemap: http://www.site.com/sitemap.xml

Le sitemap est un simple fichier texte qui répond à la norme XML et qui contient tous les liens de votre site pour permettre à Google d'y accéder plus facilement.

Celui de Xanetiz se trouve à cette adresse : http://www.xanetiz.com/sitemap.xml. Voilà à quoi ressemble les premières lignes :

Dans les outils pour webmasters, vous pouvez également utiliser la fonctionnalité qui vérifie que votre robots.txt est valide et que le sitemap est bien détecté. Vous obtiendrez le nombre d'URL ajoutées dans le moteur.

Pour résumer

• Le fichier robots.txt est la première chose lue par un robot lorsqu'il cherche à parcourir vos pages Web.
• User-agent permet de préciser les robots autorisés et Disallow permet de choisir les répertoires qui ne doivent pas être indexés.
• La commande Sitemap permet de préciser où se trouve ce fichier qui doit contenir tous les liens de votre site.

Nombre d'inscrits : 262
Dernier membre : Clyderar
Visiteurs en ligne : 15
Membres en ligne : Aucun

Copyright © 2022 Xanetiz.com - Tous droits réservés