soixante-huit mille
Services Web
mercredi 06 mai 2020
tip : #web #seo

Fichier robot.txt et optimisation SEO

Le fichier robot.txt, à placer à la racine des serveurs virtuels de chacun de vos domaines et sous-domaines, contient des directives transmises à titre d'indication aux moteurs de recherche et différents outils d'indexation venant les chercher.

Remarque : pour protéger et sécuriser un dossier contre la lecture, seul le fichier .htaccess doit être utilisé. Il peut interdire l'accès à un répertoire et donc à l'indexation des pages et dossiers qu'il contient.

Le robot.txt peut être avantageusement utilisé pour retirer de l'index des moteurs de recherche des pages sans intérêt pour les Internautes ou pouvant créer du contenu dupliqué sur votre propre site et déclasser certaines pages importantes.


Voici en exemple 2 règles utilisées sur news.68000.fr pour l'optimisation SEO, indiquant aux moteurs de recherche que :

User-agent: *
Disallow: /lib/
Noindex: /cat/

Dans le cas du moteur de recherche Google, les résultats de ces actions seront indiquées depuis votre compte Search Console, comme celles du fichier sitemap.xml


Référence : http://robots-txt.com/ressources/robots-txt-noindex/