Przetestuj swój Robots.txt
Wyniki testu
Przetestuj Robots.txt przed wdrożeniem
Sprawdź, czy reguły indeksowania działają prawidłowo, aby zapobiec przypadkowemu blokowaniu ważnych stron z wyszukiwarek
Przed przesłaniem pliku robots.txt kluczowe jest przetestowanie, czy reguły działają zgodnie z oczekiwaniami. Jeden błąd może zablokować Google dostęp do całej witryny lub ważnych sekcji. To narzędzie pozwala wkleić zawartość robots.txt i przetestować wiele adresów URL.
Dlaczego testować Robots.txt?
Plik robots.txt używa specyficznej składni ze znakami wieloznacznymi i wzorcami, które mogą być trudne do prawidłowego skonfigurowania. Testowanie zapewnia, że reguły Allow i Disallow działają prawidłowo dla różnych agentów użytkownika. Zapobiega to typowym błędom, takim jak przypadkowe blokowanie plików CSS/JS, całych katalogów lub mapy witryny.
Funkcje
Testowanie wielu URL
Testuj wiele adresów URL jednocześnie na podstawie reguł robots.txt.
Wybór User-Agenta
Testuj reguły dla konkretnych botów, takich jak Googlebot, Bingbot lub wszystkich botów (*).
Natychmiastowe wyniki
Otrzymuj natychmiastową informację zwrotną, czy URL jest dozwolony czy zablokowany.
Po stronie klienta
Wszystkie testy odbywają się w przeglądarce. Zawartość robots.txt nie jest nigdzie wysyłana.
Wskazówki dotyczące testowania
- Zawsze testuj z konkretnym agentem użytkownika, który celujesz (np. Googlebot, Bingbot).
- Testuj przypadki brzegowe, takie jak URL z parametrami zapytania (?page=2) i końcowymi ukośnikami.
- Sprawdź, czy pliki CSS, JS i obrazy nie są przypadkowo zablokowane.
- Przetestuj URL mapy witryny, aby upewnić się, że jest dostępny.
- Sprawdź, czy strony administracyjne, logowania i prywatne są prawidłowo zablokowane.
- Pamiętaj, że reguły robots.txt rozróżniają wielkość liter w ścieżce.
Często zadawane pytania
Jak działa dopasowywanie robots.txt?
Robots.txt używa dopasowywania opartego na ścieżce. Disallow: /private/ blokuje wszystkie URL zaczynające się od /private/. Znak wieloznaczny * dopasowuje dowolną sekwencję znaków, a $ zakotwicza dopasowanie na końcu URL.
Czy Allow ma pierwszeństwo przed Disallow?
Implementacja Google daje pierwszeństwo bardziej szczegółowej regule. Jeśli zarówno Allow, jak i Disallow pasują, wygrywa dłuższy (bardziej szczegółowy) wzorzec. Przy tej samej długości Allow ma pierwszeństwo.
Czy robots.txt rozróżnia wielkość liter?
Pole User-agent nie rozróżnia wielkości liter, ale dopasowywanie ścieżki (Allow/Disallow) tak. Disallow: /Private/ nie zablokuje /private/.