Otestujte svůj Robots.txt
Výsledky testu
Otestujte robots.txt před nasazením
Ověřte, že pravidla procházení fungují správně, abyste zabránili náhodnému blokování důležitých stránek z vyhledávačů
Před nahráním souboru robots.txt je nezbytné otestovat, zda vaše pravidla fungují podle očekávání. Jediná chyba by mohla zablokovat Google v přístupu k celému vašemu webu nebo důležitým sekcím. Tento nástroj vám umožní vložit obsah robots.txt a otestovat proti němu více URL adres.
Proč testovat robots.txt?
Soubor robots.txt používá specifickou syntaxi se zástupnými znaky a vzory, které může být obtížné správně nastavit. Testování zajišťuje, že vaše pravidla Allow a Disallow fungují správně pro různé uživatelské agenty. To zabraňuje běžným chybám, jako je náhodné blokování CSS/JS souborů, celých adresářů nebo vaší sitemapy.
Funkce
Testování více URL
Otestujte více URL adres najednou proti pravidlům vašeho robots.txt.
Výběr User-Agenta
Testujte pravidla pro konkrétní boty jako Googlebot, Bingbot nebo všechny boty (*).
Okamžité výsledky
Získejte okamžitou zpětnou vazbu, zda je URL povolena nebo blokována.
Na straně klienta
Veškeré testování probíhá ve vašem prohlížeči. Obsah robots.txt není nikam odesílán.
Tipy pro testování
- Vždy testujte s konkrétním user-agentem, na který cílíte (např. Googlebot, Bingbot).
- Testujte okrajové případy jako URL s parametry dotazu (?page=2) a koncovými lomítky.
- Ověřte, že CSS, JS a obrázkové soubory nejsou náhodně blokovány.
- Otestujte URL vaší sitemapy, abyste se ujistili, že je přístupná.
- Zkontrolujte, že administrátorské, přihlašovací a soukromé stránky jsou správně blokovány.
- Pamatujte, že pravidla robots.txt rozlišují velká a malá písmena u cesty.
Často kladené otázky
Jak funguje porovnávání robots.txt?
Robots.txt používá porovnávání založené na cestě. Disallow: /private/ blokuje všechny URL začínající na /private/. Zástupný znak * odpovídá jakékoli sekvenci znaků a $ ukotvuje shodu na konec URL.
Má Allow přednost před Disallow?
Implementace Google dává přednost specifičtějšímu pravidlu. Pokud se shodují jak Allow, tak Disallow, vyhrává delší (specifičtější) vzor. Pokud mají stejnou délku, má přednost Allow.
Je robots.txt citlivý na velká a malá písmena?
Pole User-agent není citlivé na velká a malá písmena, ale porovnávání cesty (Allow/Disallow) citlivé je. Disallow: /Private/ nezablokuje /private/.