Проверьте ваш Robots.txt
Результаты проверки
Проверьте Robots.txt перед развёртыванием
Убедитесь, что правила сканирования работают корректно, чтобы не заблокировать важные страницы от поисковых систем по ошибке
Перед загрузкой файла robots.txt крайне важно проверить, что ваши правила работают как ожидается. Одна ошибка может заблокировать Google от доступа ко всему сайту или важным разделам. Этот инструмент позволяет вставить содержимое robots.txt и проверить несколько URL-адресов.
Зачем проверять Robots.txt?
Файл robots.txt использует специфический синтаксис с подстановочными знаками и шаблонами, которые сложно настроить правильно. Тестирование гарантирует, что правила Allow и Disallow работают корректно для различных пользовательских агентов. Это предотвращает типичные ошибки, такие как случайная блокировка CSS/JS-файлов, целых каталогов или карты сайта.
Возможности
Проверка нескольких URL
Проверяйте несколько URL-адресов одновременно по правилам robots.txt.
Выбор User-Agent
Проверяйте правила для конкретных ботов, таких как Googlebot, Bingbot, или для всех ботов (*).
Мгновенные результаты
Получайте мгновенную обратную связь о том, разрешён или заблокирован URL.
На стороне клиента
Все проверки выполняются в вашем браузере. Содержимое robots.txt никуда не отправляется.
Советы по тестированию
- Всегда проверяйте с конкретным пользовательским агентом, на который нацеливаетесь (например, Googlebot, Bingbot).
- Проверяйте граничные случаи, такие как URL с параметрами запроса (?page=2) и завершающими косыми чертами.
- Убедитесь, что CSS-, JS- и файлы изображений не заблокированы случайно.
- Проверьте URL карты сайта, чтобы убедиться в его доступности.
- Проверьте, правильно ли заблокированы административные, страницы входа и приватные страницы.
- Помните, что правила robots.txt чувствительны к регистру для пути.
Часто задаваемые вопросы
Как работает сопоставление robots.txt?
Robots.txt использует сопоставление на основе пути. Disallow: /private/ блокирует все URL, начинающиеся с /private/. Подстановочный знак * соответствует любой последовательности символов, а $ привязывает совпадение к концу URL.
Имеет ли Allow приоритет над Disallow?
Реализация Google отдаёт приоритет более конкретному правилу. Если совпадают и Allow, и Disallow, побеждает более длинный (более конкретный) шаблон. При одинаковой длине приоритет имеет Allow.
Чувствителен ли robots.txt к регистру?
Поле User-agent не чувствительно к регистру, но сопоставление пути (Allow/Disallow) чувствительно. Disallow: /Private/ не заблокирует /private/.