La fonction Robot.txt sur Blogger

La fonction Robot.txt sur Blogger - Le fichier Robot.txt est un outil très important, pour faciliter l’exploration et l’indexation des blogs dans le SE (moteur de recherche).

Le Robot.txt est simplement une convention qui Commande les robots des moteurs de recherche d'explorer vos pages de site ou bien empêche également l'indexation de toutes les pages.

Par exemple, vous ne voulez pas que certaines pages de votre site soient affichées sur les moteurs de recherche! et avec le Robot.txt, nous pouvons utiliser cette fonction pour bloquer la page.

Tous les blogspot comportent des robots txt fournis par blogger, avec la confuguration par défaut robot.txt comme ci-dessous :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://mon-blogger-code.blogspot.com/sitemap.xml

Les significations du code Robot.txt :

• User-agent: Mediapartners-Google - L'agent utilisateur de Google indique que ce blog appartient à Google.
• Disallow: - Non autorisé
• User-agent: * - Tous les robots des moteurs de recherche.
• Disallow: /search - Non autorisé à explorer le dossier de recherche, etc.
• Allow: / - Permet aux pages d'être explorées, à l'exception de celles qui ont Disallow.
• Sitemap: - https://mon-blogger-code.blogspot.com/sitemap.xml : Adresse de votre flux blog / plan du blog.

Et bien voila ca etait qu’une petite explication sur les fonctions du Robot.txt. j'espère que cette article vous sera utile 😊