Robots txt

Le fichier robots.txt est un fichier contenant des commandes destinées qui apportent des instructions aux robots d’indexation des moteurs de recherche.
Il peut leur indiquer de ne pas indexer telle ou telle page d’un site web et peut même aller jusqu’à empêcher l’indexation d’un site web par les moteurs de recherche.
Il participe en ce sens au référencement naturel d’un site web.