Vérificateur de Robots.txt

Qu'est-ce que c'est

Robots.txt est un fichier texte qui fournit des instructions aux crawlers des moteurs de recherche sur la façon d'explorer votre site, y compris les types de pages à accéder ou non. C'est souvent le gardien de votre site, et normalement la première chose à laquelle un robot de moteur de recherche accède.

Comment le réparer

Nous vous recommandons de toujours avoir un fichier robots en place pour votre site. Ce fichier peut être créé automatiquement à l'aide d'un utilitaire en ligne gratuit, d'un plugin Wordpress ou du processus de création de robots.txt de votre CMS.