Probador de robots.txt

Use Probador de robots.txt en Ali Hub DevTools con validación clara, resultados, información de privacidad y límites documentados.

Probador de robots.txt

Prueba reglas robots.txt en línea para coincidencia de user-agent, rutas permitidas y bloqueadas y límites de rastreo.

Make HTML structure easier to inspect

Esta herramienta lee robots.txt y evalúa qué rutas parece permitido o no solicitar a un rastreador elegido. robots.txt es una directiva voluntaria, no control de acceso, autenticación ni límite de seguridad. Los bots pueden interpretar extensiones distinto.

Formatting is not HTML validation

Un robots.txt contiene grupos con selectores user-agent y reglas Allow y Disallow, además de sitemap y crawl-delay opcionales. Coincidencia, prioridad, mayúsculas, comodines y campos no soportados dependen del rastreador.

How to format HTML

Introduce o pega el archivo, elige user-agent, prueba rutas representativas y revisa grupo y regla. Comprueba el archivo en origen y protocolo exactos, redirecciones y caché; envía sitemaps aparte si procede.
Introduce o pega el archivo, elige user-agent, prueba rutas representativas y revisa grupo y regla. Comprueba el archivo en origen y protocolo exactos, redirecciones y caché; envía sitemaps aparte si procede. Compare the tested path with crawler documentation.

Formatting method

Read markup structure
El tester analiza grupos, compara user-agent, evalúa reglas de ruta y explica el resultado. Puede modelar convenciones comunes, no todos los motores. El resultado no muestra que el bot leyera o respetará el archivo.
Apply indentation
El tester analiza grupos, compara user-agent, evalúa reglas de ruta y explica el resultado. Puede modelar convenciones comunes, no todos los motores. El resultado no muestra que el bot leyera o respetará el archivo.
Preserve content
El tester analiza grupos, compara user-agent, evalúa reglas de ruta y explica el resultado. Puede modelar convenciones comunes, no todos los motores. El resultado no muestra que el bot leyera o respetará el archivo.

Exact parser recovery, optional-tag handling, whitespace policy, embedded-language behavior, and error wording should be c...

Read the formatted result

Un buen resultado muestra agente, ruta, reglas y supuestos. Revisa especificidad, combinación, codificación y diferencia entre rastreo e indexación. Disallow no elimina una URL de resultados.

Errores comunes

Errores frecuentes son bloquear CSS o JavaScript necesario, creer que protege archivos privados, olvidar barra o wildcard, usar directivas desconocidas o probar otro host o protocolo.

Errores frecuentes son bloquear CSS o JavaScript necesario, creer que protege archivos privados, olvidar barra o wildcard, usar directivas desconocidas o probar otro host o protocolo. Compare the tested path with crawler documentation.

Límites y casos especiales

No fuerza bots, elimina contenido indexado, valida control del servidor ni garantiza obediencia. CDN, redirecciones, DNS y política del buscador requieren comprobaciones separadas.

No fuerza bots, elimina contenido indexado, valida control del servidor ni garantiza obediencia. CDN, redirecciones, DNS y política del buscador requieren comprobaciones separadas. Compare the tested path with crawler documentation.

Examples