Pruebe su Robots.txt
Resultados de la prueba
Pruebe su Robots.txt antes de implementar
Verifique que las reglas de rastreo funcionen correctamente para evitar bloquear accidentalmente páginas importantes de los motores de búsqueda
Antes de subir su archivo robots.txt, es crucial probar que sus reglas funcionen como se espera. Un solo error podría bloquear a Google el acceso a todo su sitio o secciones importantes. Esta herramienta le permite pegar su contenido robots.txt y probar múltiples URLs contra él.
¿Por qué probar su Robots.txt?
El archivo robots.txt utiliza una sintaxis específica con comodines y patrones que pueden ser difíciles de configurar correctamente. Las pruebas aseguran que sus reglas Allow y Disallow funcionen correctamente para diferentes agentes de usuario. Esto previene errores comunes como bloquear accidentalmente archivos CSS/JS, directorios completos o su sitemap.
Características
Prueba de múltiples URLs
Pruebe múltiples URLs a la vez contra las reglas de su robots.txt.
Selección de User-Agent
Pruebe reglas para bots específicos como Googlebot, Bingbot o todos los bots (*).
Resultados instantáneos
Obtenga retroalimentación inmediata sobre si una URL está permitida o bloqueada.
Del lado del cliente
Todas las pruebas se realizan en su navegador. Su contenido robots.txt nunca se envía a ningún lado.
Consejos de prueba
- Siempre pruebe con el agente de usuario específico que está apuntando (ej. Googlebot, Bingbot).
- Pruebe casos extremos como URLs con parámetros de consulta (?page=2) y barras diagonales finales.
- Verifique que los archivos CSS, JS e imágenes no estén bloqueados accidentalmente.
- Pruebe la URL de su sitemap para asegurarse de que sea accesible.
- Compruebe que las páginas de administración, inicio de sesión y privadas estén correctamente bloqueadas.
- Recuerde que las reglas de robots.txt distinguen entre mayúsculas y minúsculas para la ruta.
Preguntas frecuentes
¿Cómo funciona la coincidencia de robots.txt?
Robots.txt usa coincidencia basada en rutas. Disallow: /private/ bloquea todas las URLs que comienzan con /private/. El comodín * coincide con cualquier secuencia de caracteres, y $ ancla una coincidencia al final de la URL.
¿Allow tiene prioridad sobre Disallow?
La implementación de Google da prioridad a la regla más específica. Si tanto Allow como Disallow coinciden, gana el patrón más largo (más específico). Si tienen la misma longitud, Allow tiene prioridad.
¿Es robots.txt sensible a mayúsculas y minúsculas?
El campo User-agent no distingue mayúsculas de minúsculas, pero la coincidencia de rutas (Allow/Disallow) sí. Disallow: /Private/ no bloqueará /private/.