Testador de robots.txt
Teste regras robots.txt online para correspondência de user-agent, caminhos permitidos e bloqueados e limites de rastreamento.
Make HTML structure easier to inspect
Esta ferramenta lê robots.txt e avalia quais caminhos parecem permitidos ou proibidos para um crawler escolhido. robots.txt é orientação voluntária, não controle de acesso, autenticação ou barreira de segurança. Crawlers podem interpretar extensões de modo diferente.
Formatting is not HTML validation
Um robots.txt contém grupos com seletores user-agent e regras Allow e Disallow, além de sitemap e crawl-delay opcionais. Correspondência, prioridade, caixa, curingas e campos desconhecidos dependem do crawler.
How to format HTML
- Informe ou cole o arquivo, escolha user-agent, teste caminhos representativos e examine grupo e regra. Confira o arquivo no host e protocolo exatos, redirects e cache; envie sitemaps separadamente quando aplicável.
- Informe ou cole o arquivo, escolha user-agent, teste caminhos representativos e examine grupo e regra. Confira o arquivo no host e protocolo exatos, redirects e cache; envie sitemaps separadamente quando aplicável. Compare the tested path with crawler documentation.
Formatting method
- Read markup structure
O testador analisa grupos, compara user-agent, avalia regras de caminho e explica resultado. Pode modelar convenções comuns, não todo mecanismo. Resultado não mostra que crawler leu ou obedecerá ao arquivo.
- Apply indentation
O testador analisa grupos, compara user-agent, avalia regras de caminho e explica resultado. Pode modelar convenções comuns, não todo mecanismo. Resultado não mostra que crawler leu ou obedecerá ao arquivo.
- Preserve content
O testador analisa grupos, compara user-agent, avalia regras de caminho e explica resultado. Pode modelar convenções comuns, não todo mecanismo. Resultado não mostra que crawler leu ou obedecerá ao arquivo.
Exact parser recovery, optional-tag handling, whitespace policy, embedded-language behavior, and error wording should be c...
Read the formatted result
Um resultado útil mostra agente, caminho, regras e suposições. Confira especificidade, combinação, encoding e diferença entre rastrear e indexar. Disallow não remove URL de resultados.
Erros comuns
Erros comuns incluem bloquear CSS ou JavaScript necessário, achar que protege arquivo privado, esquecer barra ou wildcard, usar diretiva não suportada ou testar outro host e protocolo.
Erros comuns incluem bloquear CSS ou JavaScript necessário, achar que protege arquivo privado, esquecer barra ou wildcard, usar diretiva não suportada ou testar outro host e protocolo. Compare the tested path with crawler documentation.
Limites e casos especiais
Não força crawler, remove conteúdo indexado, valida controle do servidor nem garante obediência. CDN, redirects, DNS e política do buscador exigem verificações separadas.
Não força crawler, remove conteúdo indexado, valida controle do servidor nem garante obediência. CDN, redirects, DNS e política do buscador exigem verificações separadas. Compare the tested path with crawler documentation.
Examples
Testador de robots.txt online — 1
O que robots.txt controla?
Informe ou cole o arquivo, escolha user-agent, teste caminhos representativos e examine grupo e regra. Confira o arquivo no host e protocolo exatos, redirects e cache; envie sitemaps separadamente quando aplicável.
Um resultado útil mostra agente, caminho, regras e suposições. Confira especificidade, combinação, encoding e diferença entre rastrear e indexar. Disallow não remove URL de resultados.
Testador de robots.txt online — 2
É recurso de segurança?
Informe ou cole o arquivo, escolha user-agent, teste caminhos representativos e examine grupo e regra. Confira o arquivo no host e protocolo exatos, redirects e cache; envie sitemaps separadamente quando aplicável.
Um resultado útil mostra agente, caminho, regras e suposições. Confira especificidade, combinação, encoding e diferença entre rastrear e indexar. Disallow não remove URL de resultados.
Testador de robots.txt online — 3
Como user-agent é escolhido?
Informe ou cole o arquivo, escolha user-agent, teste caminhos representativos e examine grupo e regra. Confira o arquivo no host e protocolo exatos, redirects e cache; envie sitemaps separadamente quando aplicável.
Um resultado útil mostra agente, caminho, regras e suposições. Confira especificidade, combinação, encoding e diferença entre rastrear e indexar. Disallow não remove URL de resultados.
Testador de robots.txt online — 4
Disallow remove páginas da busca?
Informe ou cole o arquivo, escolha user-agent, teste caminhos representativos e examine grupo e regra. Confira o arquivo no host e protocolo exatos, redirects e cache; envie sitemaps separadamente quando aplicável.
Um resultado útil mostra agente, caminho, regras e suposições. Confira especificidade, combinação, encoding e diferença entre rastrear e indexar. Disallow não remove URL de resultados.
Testador de robots.txt online — 5
O que é Allow?
Informe ou cole o arquivo, escolha user-agent, teste caminhos representativos e examine grupo e regra. Confira o arquivo no host e protocolo exatos, redirects e cache; envie sitemaps separadamente quando aplicável.
Um resultado útil mostra agente, caminho, regras e suposições. Confira especificidade, combinação, encoding e diferença entre rastrear e indexar. Disallow não remove URL de resultados.
Testador de robots.txt online — 6
Curingas são universais?
Informe ou cole o arquivo, escolha user-agent, teste caminhos representativos e examine grupo e regra. Confira o arquivo no host e protocolo exatos, redirects e cache; envie sitemaps separadamente quando aplicável.
Um resultado útil mostra agente, caminho, regras e suposições. Confira especificidade, combinação, encoding e diferença entre rastrear e indexar. Disallow não remove URL de resultados.
Frequently asked questions
O que robots.txt controla?
robots.txt orienta crawlers compatíveis. Use autenticação e controles de servidor para acesso e diretivas adequadas para indexação.
É recurso de segurança?
robots.txt orienta crawlers compatíveis. Use autenticação e controles de servidor para acesso e diretivas adequadas para indexação.
Como user-agent é escolhido?
robots.txt orienta crawlers compatíveis. Use autenticação e controles de servidor para acesso e diretivas adequadas para indexação.
Disallow remove páginas da busca?
robots.txt orienta crawlers compatíveis. Use autenticação e controles de servidor para acesso e diretivas adequadas para indexação.
O que é Allow?
robots.txt orienta crawlers compatíveis. Use autenticação e controles de servidor para acesso e diretivas adequadas para indexação.
Curingas são universais?
robots.txt orienta crawlers compatíveis. Use autenticação e controles de servidor para acesso e diretivas adequadas para indexação.
Crawl-delay funciona sempre?
robots.txt orienta crawlers compatíveis. Use autenticação e controles de servidor para acesso e diretivas adequadas para indexação.
Onde robots.txt deve ficar?
robots.txt orienta crawlers compatíveis. Use autenticação e controles de servidor para acesso e diretivas adequadas para indexação.