Fichier robots.txt sur WordPress : tout savoir et quoi éviter !

Qu’est-ce que le fichier robots.txt sur WordPress ? Si on vous pose la question, il est probable que vous ayez de la difficulté à y répondre. Et pourtant, le fichier robots.txt est présent sur la majorité des sites WordPress.

Une chose est sûre, il est fortement conseillé de bien s’y connaître avant d’essayer d’en modifier le code ! Le fichier robots.txt est d’une importance capitale pour l’optimisation de votre site WordPress, et faire une erreur pourrait vous coûter le bon référencement de votre site.

En revanche, si vous vous y connaissez un peu, vous pourriez faire des miracles pour votre référencement en optimisant votre fichier robots.txt sur WordPress !

Découvrez tout ce qu’il y a à savoir sur le fichier robots.txt et comment l’optimiser pour booster votre référencement sur Google.

Qu’est-ce que le fichier robots.txt, exactement ?

Comme son nom le décrit, ce fichier est un fichier texte intégré dans la racine de votre site. Ce fichier sert principalement à notifier les robots d’explorations des moteurs de recherche de ne pas explorer certains endroits de votre site. Il est également connu sous le nom de fichier protocole d’exclusion des robots. Ce fichier est d’une importance capitale, car il permet d’exclure des pages ou données privées à l’intérieur de votre site, comme :

• Les pages de connexion ;
• Des fichiers ou contenus privés ou inutiles ;
• Des fichiers, dossiers ou contenus sensibles ;

Grâce à ce fichier, le robot de référencement google n’indexe pas ces pages, ce qui optimise votre site web. Les robots de référencement google cherchent ce fichier avant d’indexer vos pages, c’est pourquoi il est important de ne pas les manipuler au risque de le faire disparaître… et de causer une chute de votre référencement.

Le fichier peut également servir d’autres fonctions, mais ne peut être utilisé pour cacher du contenu ou vous protéger contre les robots malveillants. Il s’agit d’un fichier public et n’importe qui peut y accéder sur votre site. Ils n’ont qu’à entrer « votresite.com/robots.txt ». Google recommande également d’utiliser une balise noindex, activable par Yoast SEO, si vous ne souhaitez pas qu’une certaine page soit indexée par les moteurs de recherche.

Ce fichier texte n’est pas obligatoire pour créer un site WordPress fonctionnel. Certains sites peuvent être programmés sans, et ils seront explorés et indexés normalement. En revanche, posséder le fichier robots.txt et l’optimiser comporte de nombreux avantages.

Créer et modifier un fichier robots.txt

Ce qui est avantageux avec WordPress, c’est que vous n’avez pas à créer votre fichier robots.txt vous-même. Par défaut, WordPress vous en crée un. Même si celui-ci n’est pas accessible sur votre serveur, vous pouvez facilement le consulter en ligne. Tout ce que vous avez à faire c’est taper votreurl.com/robots.txt dans le navigateur afin de le trouver.

Malheureusement, vous ne pourrez le modifier aussi facilement. Il va vous falloir créer votre propre fichier robots.txt. Vous pouvez le créer manuellement, mais l’utilisation d’un plugin est recommandée afin de vous éviter des ennuis. Voici les étapes à suivre pour créer ce fichier avec Yoast :

• Allez dans votre tableau de bord et sélectionnez Yoast SEO et Outils ;
• Sélectionnez éditeur de fichiers. Vous aurez peut-être à créer un fichier dédié si vous n’en possédez pas déjà un. Si c’est le cas, cliquez sur le bouton pour en créer un ;
• Créer votre propre fichier texte robots pour WordPress ;

Et voilà. Maintenant que le fichier est créé et modifiable, voici comment vous pouvez l’optimiser.

Les méthodes d’optimisation

Tout d’abord, il faut bien se rappeler des règles principales, soit :

• User-agent, qui désigne le nom d’un robot de moteur de recherche auquel la règle s’appliquera ;
• Disallow, afin qu’un répertoire, une page ne soit pas exploré et indexé ;
• Allow, pour permettre l’exploration ;
• Sitemap, pour indiquer aux explorateurs où se trouve votre sitemap ;

Pour modifier votre fichier, rappelez-vous également que les règles sont traitées de haut en bas et doivent toujours commencer par l’instruction user-agent. Pour optimiser votre site, commencez par disallow les pages et dossiers sensibles et inutiles comme les pages admin, cache, php, plugins, etc. N’hésitez pas non plus à désindexer la page de connexion avec disallow, encore une fois.

Il est également recommandé de désindexer le fichier readme.html, car celui-ci contient les informations sur la version WordPress que vous utilisez. L’idée est qu’en désindexant ces pages inutiles, vous boostez votre référencement sur les moteurs de recherches.

Lorsque vous avez fini vos modifications, assurez-vous de vérifier le bon fonctionnement de votre fichier. Vous pouvez le valider sur la Google Search Console.

Si vous avez besoin de plus de renseignements sur le fichier robots.txt, n’hésitez pas à contacter l’un de nos professionnels WordPress.