Testa din Robots.txt
Testresultat
Testa din Robots.txt före driftsättning
Verifiera att crawl-regler fungerar korrekt för att förhindra att viktiga sidor oavsiktligt blockeras från sökmotorer
Innan du laddar upp din robots.txt-fil är det avgörande att testa att dina regler fungerar som förväntat. Ett enda misstag kan blockera Google från att komma åt hela din webbplats eller viktiga sektioner. Det här verktyget låter dig klistra in ditt robots.txt-innehåll och testa flera URL:er mot det.
Varför testa din Robots.txt?
robots.txt-filen använder en specifik syntax med jokertecken och mönster som kan vara svåra att få rätt. Testning säkerställer att dina Allow- och Disallow-regler fungerar korrekt för olika användaragenter. Detta förhindrar vanliga misstag som att oavsiktligt blockera CSS/JS-filer, hela kataloger eller din sitemap.
Funktioner
Multi-URL-testning
Testa flera URL:er samtidigt mot dina robots.txt-regler.
User-Agent-val
Testa regler för specifika botar som Googlebot, Bingbot eller alla botar (*).
Omedelbara resultat
Få omedelbar feedback om huruvida en URL är tillåten eller blockerad.
Klientsidan
All testning sker i din webbläsare. Ditt robots.txt-innehåll skickas aldrig någonstans.
Testtips
- Testa alltid med den specifika användaragent du riktar in dig på (t.ex. Googlebot, Bingbot).
- Testa gränsfall som URL:er med frågeparametrar (?page=2) och avslutande snedstreck.
- Verifiera att CSS-, JS- och bildfiler inte oavsiktligt blockeras.
- Testa din sitemap-URL för att säkerställa att den är tillgänglig.
- Kontrollera att admin-, inloggnings- och privata sidor är korrekt blockerade.
- Kom ihåg att robots.txt-regler är skiftlägeskänsliga för sökvägen.
Vanliga frågor
Hur fungerar robots.txt-matchning?
Robots.txt använder sökvägsbaserad matchning. Disallow: /private/ blockerar alla URL:er som börjar med /private/. Jokertecknet * matchar vilken teckensekvens som helst, och $ förankrar en matchning till slutet av URL:en.
Har Allow prioritet över Disallow?
Googles implementering ger prioritet till den mer specifika regeln. Om både Allow och Disallow matchar vinner det längre (mer specifika) mönstret. Om de är lika långa har Allow prioritet.
Är robots.txt skiftlägeskänsligt?
User-agent-fältet är inte skiftlägeskänsligt, men sökvägsmatchning (Allow/Disallow) är det. Disallow: /Private/ kommer inte att blockera /private/.