Lancé en début du mois de juillet 2014, le testeur de fichier robots.txt doit aider les non-développeurs à contrôler les ordres d’indexation et les modifications du réalisées sur ce fichier.

Vous n’avez pas ce fichier ou vous ne savez pas à quoi il sert ? Je vous engage à lire d’abord l’article Le fichier robots.txt pour garder un peu de contrôle sur les crawlers publié précédemment.

Comment tester son fichier avec Google Webmaster Tools ?

Connecté à votre compte Google Webmaster Tools, rendez-vous dans Exploration>outil de test du fichier robots.txt. Si votre fichier existe, est correctement placé à la racine de votre site et est bien nommé robots.txt, vous devez voir apparaître son contenu dans la page. Au dessus, vous pouvez aussi lire la dernière version chargée par Google Webmaster Tools (par exemple : Dernière version vue le 06/07/2014 04:39 OK(200) 992 octets, comme ci-dessous).

200 signifie que votre fichier est accessible. Et le Ok, que tout est ok dans son accessibilité.

Google Webmaster Tools - tester son fichier robots.txt

Sous le contenu de votre fichier, des warning vous indique le nombre d’erreurs et d’avertissements. Si vous en avez, il faut corriger votre fichier, et en priorité les erreurs.

Google Webmaster Tools - erreur dans le fichier robots.txt

Sous ces mentions, vous pouvez tester si les robots (Googlebot, Googlebot-News, Googlebot-Mobile, Googlebot-Image, Mediapartners-Google…) comprennent bien vos directives et les prennent en compte.

Saisissez une URL d’un fichier sensible et lancer le test. Vous obtiendrez un résultat similaire à celui ci-dessous si votre fichier robots est bien lu par Google.

Google Webmaster Tools - test d'exploration

Bon test !