Testeur de robots.txt
Testez les règles robots.txt en ligne pour correspondance user-agent, chemins autorisés ou interdits et directives de crawl.
Make HTML structure easier to inspect
Cet outil lit robots.txt et évalue quels chemins semblent autorisés ou interdits pour un robot choisi. robots.txt est une consigne volontaire, pas un contrôle d’accès, une authentification ou une barrière de sécurité. Les robots interprètent différemment les extensions.
Formatting is not HTML validation
Un fichier robots.txt contient des groupes avec sélecteurs user-agent et règles Allow et Disallow, ainsi que sitemap et crawl-delay facultatifs. Correspondance, priorité, casse, jokers et champs inconnus dépendent du robot.
How to format HTML
- Saisissez ou collez le fichier, choisissez user-agent, testez des chemins représentatifs et examinez groupe et règle. Vérifiez le fichier sur l’origine et le protocole exacts, redirections et cache; soumettez les sitemaps séparément.
- Saisissez ou collez le fichier, choisissez user-agent, testez des chemins représentatifs et examinez groupe et règle. Vérifiez le fichier sur l’origine et le protocole exacts, redirections et cache; soumettez les sitemaps séparément. Compare the tested path with crawler documentation.
Formatting method
- Read markup structure
Le testeur analyse groupes, compare user-agent, évalue règles de chemin et explique le résultat. Il peut modéliser conventions courantes, pas tous moteurs. Le résultat ne prouve pas lecture ou respect par le robot.
- Apply indentation
Le testeur analyse groupes, compare user-agent, évalue règles de chemin et explique le résultat. Il peut modéliser conventions courantes, pas tous moteurs. Le résultat ne prouve pas lecture ou respect par le robot.
- Preserve content
Le testeur analyse groupes, compare user-agent, évalue règles de chemin et explique le résultat. Il peut modéliser conventions courantes, pas tous moteurs. Le résultat ne prouve pas lecture ou respect par le robot.
Exact parser recovery, optional-tag handling, whitespace policy, embedded-language behavior, and error wording should be c...
Read the formatted result
Un résultat utile indique agent, chemin, règles et hypothèses. Vérifiez spécificité, fusion, encodage et différence crawl/indexation. Disallow ne retire pas une URL des résultats.
Erreurs courantes
Les erreurs courantes sont de bloquer CSS ou JavaScript nécessaire, croire le fichier protecteur de données privées, oublier barre ou joker, utiliser une directive inconnue ou tester autre hôte et protocole.
Les erreurs courantes sont de bloquer CSS ou JavaScript nécessaire, croire le fichier protecteur de données privées, oublier barre ou joker, utiliser une directive inconnue ou tester autre hôte et protocole. Compare the tested path with crawler documentation.
Limites et cas particuliers
Le testeur ne force pas les robots, ne retire pas le contenu indexé, ne valide pas le contrôle serveur et ne garantit pas l’obéissance. CDN, redirections, DNS et politique moteur exigent des contrôles séparés.
Le testeur ne force pas les robots, ne retire pas le contenu indexé, ne valide pas le contrôle serveur et ne garantit pas l’obéissance. CDN, redirections, DNS et politique moteur exigent des contrôles séparés. Compare the tested path with crawler documentation.
Examples
Testeur robots.txt en ligne — 1
Que contrôle robots.txt ?
Saisissez ou collez le fichier, choisissez user-agent, testez des chemins représentatifs et examinez groupe et règle. Vérifiez le fichier sur l’origine et le protocole exacts, redirections et cache; soumettez les sitemaps séparément.
Un résultat utile indique agent, chemin, règles et hypothèses. Vérifiez spécificité, fusion, encodage et différence crawl/indexation. Disallow ne retire pas une URL des résultats.
Testeur robots.txt en ligne — 2
Est-ce une fonction de sécurité ?
Saisissez ou collez le fichier, choisissez user-agent, testez des chemins représentatifs et examinez groupe et règle. Vérifiez le fichier sur l’origine et le protocole exacts, redirections et cache; soumettez les sitemaps séparément.
Un résultat utile indique agent, chemin, règles et hypothèses. Vérifiez spécificité, fusion, encodage et différence crawl/indexation. Disallow ne retire pas une URL des résultats.
Testeur robots.txt en ligne — 3
Comment choisir user-agent ?
Saisissez ou collez le fichier, choisissez user-agent, testez des chemins représentatifs et examinez groupe et règle. Vérifiez le fichier sur l’origine et le protocole exacts, redirections et cache; soumettez les sitemaps séparément.
Un résultat utile indique agent, chemin, règles et hypothèses. Vérifiez spécificité, fusion, encodage et différence crawl/indexation. Disallow ne retire pas une URL des résultats.
Testeur robots.txt en ligne — 4
Disallow retire-t-il les pages ?
Saisissez ou collez le fichier, choisissez user-agent, testez des chemins représentatifs et examinez groupe et règle. Vérifiez le fichier sur l’origine et le protocole exacts, redirections et cache; soumettez les sitemaps séparément.
Un résultat utile indique agent, chemin, règles et hypothèses. Vérifiez spécificité, fusion, encodage et différence crawl/indexation. Disallow ne retire pas une URL des résultats.
Testeur robots.txt en ligne — 5
Qu’est-ce que Allow ?
Saisissez ou collez le fichier, choisissez user-agent, testez des chemins représentatifs et examinez groupe et règle. Vérifiez le fichier sur l’origine et le protocole exacts, redirections et cache; soumettez les sitemaps séparément.
Un résultat utile indique agent, chemin, règles et hypothèses. Vérifiez spécificité, fusion, encodage et différence crawl/indexation. Disallow ne retire pas une URL des résultats.
Testeur robots.txt en ligne — 6
Les jokers sont-ils universels ?
Saisissez ou collez le fichier, choisissez user-agent, testez des chemins représentatifs et examinez groupe et règle. Vérifiez le fichier sur l’origine et le protocole exacts, redirections et cache; soumettez les sitemaps séparément.
Un résultat utile indique agent, chemin, règles et hypothèses. Vérifiez spécificité, fusion, encodage et différence crawl/indexation. Disallow ne retire pas une URL des résultats.
Frequently asked questions
Que contrôle robots.txt ?
robots.txt guide les robots conformes. Utilisez authentification et contrôles serveur pour accès et directives adaptées pour indexation.
Est-ce une fonction de sécurité ?
robots.txt guide les robots conformes. Utilisez authentification et contrôles serveur pour accès et directives adaptées pour indexation.
Comment choisir user-agent ?
robots.txt guide les robots conformes. Utilisez authentification et contrôles serveur pour accès et directives adaptées pour indexation.
Disallow retire-t-il les pages ?
robots.txt guide les robots conformes. Utilisez authentification et contrôles serveur pour accès et directives adaptées pour indexation.
Qu’est-ce que Allow ?
robots.txt guide les robots conformes. Utilisez authentification et contrôles serveur pour accès et directives adaptées pour indexation.
Les jokers sont-ils universels ?
robots.txt guide les robots conformes. Utilisez authentification et contrôles serveur pour accès et directives adaptées pour indexation.
Crawl-delay fonctionne-t-il partout ?
robots.txt guide les robots conformes. Utilisez authentification et contrôles serveur pour accès et directives adaptées pour indexation.
Où placer robots.txt ?
robots.txt guide les robots conformes. Utilisez authentification et contrôles serveur pour accès et directives adaptées pour indexation.