Fichier robots txt personnalisé

Depuis mars 2012, dans le pack SEO de Blogger, on retrouve l'option qui permet aux administrateurs de blogs, de personnaliser le fichier robots.txt.

Qu'est-ce que le fichier robots.txt ?

Un fichier robots.txt est un fichier enregistré au format texte qui indique aux robots des moteurs de recherche qui explorent le web d'accéder à votre blog.

Ces robots sont automatisés et, avant d'accéder aux pages de votre blog, ils vérifient le contenu du fichier robots.txt qui leur interdit d'accéder à certaines pages...
Ce fichier permet également d'indiquer aux moteurs, l'adresse du fichier sitemap.xml du blog.

Où se trouve le fichier robots.txt de votre blog ?

Tous les blogs Blogger possèdent un fichier robots.txt qui est hébergé à la racine de votre blog à cette adresse :

https://NOM_BLOG.blogspot.com/robots.txt

Par défaut, Blogger génère le contenu qui interdit aux robots d'explorer les pages de recherche du blog.

Lorsque vous autorisez l'exploration de votre blog aux moteurs, le fichier rajoutera le plan de site XML.

Fichier généré lorsque l'exploration du blog est refusée aux robots

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Disallow: /

User-Agent: googlebot
Disallow: /search
Allow: /

Fichier généré lorsque l'exploration du blog est autorisée aux robots

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://BLOG_NAME.blogspot.com/sitemap.xml

Réglages depuis l'interface Blogger et Outils pour les webmasters

La modification de ce fichier s'effectue depuis l'interface Blogger.

• UI-2020
• Paramètres
• Robots d'exploration et indexation
• Activer le fichier robots.txt personnalisé (OUI)
• Fichier robots.txt personnalisé

N'ignorez pas l'avertissement émit par Blogger :

Veillez à utiliser cette fonction avec prudence. Une utilisation incorrecte peut amener les moteurs de recherche à ignorer votre blog.

Donc, en résumé, si vous n'y connaissez rien, Pas touche ! ;)

Si vous ne modifiez pas le fichier, et que vous laissez sur NON, le contenu du fichier sera généré automatiquement par Blogger (voir plus haut).

Si vous cliquez sur OUI et que vous enregistrez un document vide, vous indiquez aux moteurs de recherche qu'ils peuvent explorer et indexer toutes les pages de votre blog (déconseillé).

Si vous cliquez sur OUI et que vous souhaitez ajouter des nouvelles instructions, référez-vous aux explications fournies dans le centre d'aide pour webmasters.

Dès que vous aurez enregistré le nouveau contenu du fichier, celui-ci sera automatiquement mis en ligne.

Sur Outils pour webmasters, le fichier s'affichera tel que vous l'avez écrit, après quelques heures de patience.

• Outils pour webmasters
• Exploration
• Outil de test du fichier robots.txt

Autres éléments SEO

• La balise title
• La description
• Sujet non-dévoilé
• Le fichier robots.txt
• Les pages 404
• Les redirections
• Sujet non-dévoilé
• Sujet non-dévoilé
• Favicon personnalisée

Pour une meilleure performance de notre blog, nous devons l'optimiser pour un meilleur référencement . Un meilleur référencement est également nécessaire pour obtenir un trafic organique des moteurs de recherche. Un grand pas vers un meilleur référencement est d'ajouter le fichier robots.txt à votre blog. Il indique aux robots des moteurs de recherche sur quelle page à explorer et quoi ne pas faire. Dans Blogger (Blogspot), nous avons la possibilité de personnaliser le fichier robots.txt en fonction de nos besoins. Mais avant de l'ajouter à votre blog d'abord en tant que débutant, nous avons besoin de savoir ce qu'est le fichier robots.txt. Commençons donc le tutoriel.

Qu'est-ce que Robots.txt?

Robots.txt est un fichier qui indique aux robots du moteur de recherche quelle page explorer et quoi ne pas faire. Simplement, vous pouvez exempter les pages de démonstration de votre blog, les pages d'étiquettes, les pages d'archives et autres que vous ne considérez pas comme importantes. Les robots des moteurs de recherche analysent toujours le fichier robots.txt avant d'explorer un blog.

Commençons donc à ajouter ce formidable outil de référencement à votre blog.

Ajout de Robots.txt aux Blogs Blogger (Blogspot):

Pour ajouter le fichier Custom Robots.txt à votre blog, suivez les étapes de base mentionnées ci-dessous:

1. Allez sur votre blog blogger.
2. Accédez à Paramètres >> Préférences de recherche >>
3. Robots d'exploration et indexation  >> Fichier robots.txt personnalisé >> Modifier >> Oui 

:

4.Maintenant, collez le code du fichier robots.txt ci-dessous dans la boîte.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

         5.N'oubliez pas de changer l'URL en surbrillance ( exemple.blogspot.com ) avec l'adresse de votre blog.
         6.Cliquez sur le bouton Enregistrer les modifications.

Vous avez fini.
 

Comment vérifier votre fichier Robots.txt?

Ajoutez simplement /robots.txt après l'adresse de votre blog et votre fichier robots.txt vous sera montré. Jetez un oeil à l'exemple ci-dessous

 
J'espère que vous avez tous facilement ajouté le fichier robots.txt personnalisé dans votre blog. Si vous avez des questions concernant l'un des tutoriels de blogspot, laissez un commentaire ci-dessous.

Comment creer fichier robots txt ?

Où trouver le fichier robots txt ?

Comment modifier le fichier robots txt ?

C'est quoi un fichier robots txt ?