Qu’est-ce que le robots.txt

Robots.txt

Bonjour à tous et bienvenue sur le blog de l’Agence CSV. Vous voulez savoir ce que dit Google à propos du robots.txt ? Vous avez du mal à configurer votre robots.txt sur votre propre site internet ? Découvrez donc dès à présent ce que Google dit à propos du robots.txt

A. Qu’est-ce qu’un Robots.txt :

Le robots.txt est un fichier situé à la racine de votre site internet ayant pour objectif de contrôler les spiders de Google qui parcourent votre site internet. Ce document est donc primordial pour contrôler les statistiques et certaines parties de votre site internet.

B. Pourquoi le robots.txt est indispensable pour votre site :

Les robots de Google ont besoin du fichier robots.txt pour parcourir votre site internet. Il est très difficile pour les spiders de Google de parcourir l’ensemble des pages de votre site internet sans ce document.

Une fois que vous avez rentré votre site internet sur Google Webmastertools, les spiders effectuent différentes missions. :

  • Ils téléchargent le fichier à la racine de votre site internet. L’URL prend cette forme : www.monsite.com/robots.txt
  • Les spiders analysent les éléments qu’ils peuvent parcourir sur votre site internet.
  • Ils vont analyser l’ensemble des contenus de votre site.
  • Ils vont parcourir tous les liens internes de votre site internet.

Le robots.txt est favorable à une bonne indexation de votre site internet sur le moteur de recherche Google. En effet, les robots.txt vont parcourir l’ensemble des contenus et liens internes. Si votre maillage interne est bien effectué, il sera très facile pour les robots de google d’indexer toutes les URLs de votre site internet.

 

C. Un exemple de robots.txt :

Voici un exemple d’un fichier robots.txt du site internet Definitions-marketing.com. Comme vous pouvez le constater, il y a plusieurs parties. La première partie est l’user-agent.C’est identique sur l’ensemble des fichiers robots.txt.

La partie user-agent peut restreindre l’accès à certains robots. Il est tout de même préférable de laisser les spiders de Google et des autres moteurs de recherche parcourir l’ensemble de votre site internet afin d’être présent partout.

La seconde partie représente les “Disallow”. L’objectif est d’imposer une restriction à Google. Si vous souhaitez cacher du contenu, le robots.txt est la solution idéale pour votre site internet.

La troisième partie représente les “Allow”. Cela montre la partie de votre site internet que vous souhaitez que Google parcourt avec ses spiders.

 

 

D. Quel Plug in pour mettre votre Robots.txt sur WordPress :

Vous avez du mal à générer votre fichier robots.txt ? Sachez qu’il existe de nombreux plug-in qui vous facilitent la vie, notamment sur WordPress.

Connaissez-vous le célèbre plug-in SEO by Yoast ? Ce plug-in vous facilite la vie. Commencez par l’installer via votre wordpress dans la partie extension.

Après son installation, vous le verrez s’afficher sur votre barre à gauche avec ses fonctionnalités comme le montre cette image :

Je vous invite à cliquer sur la partie “outils” afin de modifier et de voir le robots.txt que SEO by Yoast vous aura configuré. Cliquez sur “Editeurs de fichiers”. L’affichage apparaîtra de cette manière :

Configurez celui-ci comme vous le souhaitez, sans oublier de mettre en disallow les URLs que vous ne souhaitez pas que Google explore.

Ensuite, rendez vous sur l’URL suivante : www.monsite.com/robots.txt afin de pouvoir passer à l’étape suivante : Comment indiquer votre fichier robots.txt à google ?

 

E. Comment indiquer votre robots.txt à Google (Webmastertools) :

Il existe plusieurs moyens d’indiquer à Google votre fichier robots.txt. Le meilleur moyen reste d’utiliser Google webmaster tools.

Allez dans l’interface de votre site via Google WebMaster Tools, puis dirigez vous vers la partie “Exploration du site” et cliquez sur “Outil de test du fichier Robots.txt”.

Si vous n’avez jamais rentré le fichier robots.txt sur Google Webmaster Tools, entrez dès à présent  l’URL de votre robots TXT dans l’encart. Aidez-vous de la capture d’écran suivante pour y parvenir :

Une fois que vous aurez enregistré l’URL, vous aurez accès à un affichage comme sur la capture d’écran ci-dessous. Il est également possible d’afficher le robots.txt en ligne. Cela vous indiquera comment Google voit votre robots.txt. C’est idéal pour contrôler que tout se passe bien avec les spiders de Google.

Conclusion :  que dit Google à propos du Robots.txt ?

Le robots.txt est le premier fichier parcouru et analysé par les spiders de Google. Afin de développer la meilleure infrastructure possible de votre site internet, il est primordial de configurer votre robots.txt pour que l’indexation de votre site internet se fasse correctement.

Cet élément est la première chose que nous effectuons dans le cadre de nos prestations clients.

 


 

 

Commentaires