Test din Robots.txt
Testresultater
Test din Robots.txt før distribusjon
Bekreft at crawl-regler fungerer korrekt for å forhindre utilsiktet blokkering av viktige sider fra søkemotorer
Før du laster opp robots.txt-filen din, er det avgjørende å teste at reglene fungerer som forventet. En enkel feil kan blokkere Google fra å få tilgang til hele nettstedet eller viktige seksjoner. Dette verktøyet lar deg lime inn robots.txt-innholdet ditt og teste flere URL-er mot det.
Hvorfor teste Robots.txt?
robots.txt-filen bruker en spesifikk syntaks med jokertegn og mønstre som kan være vanskelige å få riktig. Testing sikrer at Allow- og Disallow-reglene fungerer korrekt for ulike brukeragenter. Dette forhindrer vanlige feil som utilsiktet blokkering av CSS/JS-filer, hele kataloger eller nettkartet ditt.
Funksjoner
Multi-URL-testing
Test flere URL-er samtidig mot robots.txt-reglene dine.
User-Agent-valg
Test regler for spesifikke roboter som Googlebot, Bingbot eller alle roboter (*).
Umiddelbare resultater
Få umiddelbar tilbakemelding om en URL er tillatt eller blokkert.
Klientsiden
All testing skjer i nettleseren din. robots.txt-innholdet ditt sendes aldri noe sted.
Testtips
- Test alltid med den spesifikke brukeragenten du målretter (f.eks. Googlebot, Bingbot).
- Test grensetilfeller som URL-er med spørringsparametre (?page=2) og avsluttende skråstreker.
- Bekreft at CSS-, JS- og bildefiler ikke utilsiktet er blokkert.
- Test nettkartet-URL-en din for å sikre at den er tilgjengelig.
- Sjekk at admin-, innloggings- og private sider er korrekt blokkert.
- Husk at robots.txt-regler skiller mellom store og små bokstaver for stien.
Ofte stilte spørsmål
Hvordan fungerer robots.txt-matching?
Robots.txt bruker stibasert matching. Disallow: /private/ blokkerer alle URL-er som starter med /private/. Jokertegnet * matcher enhver tegnsekvens, og $ forankrer et treff til slutten av URL-en.
Har Allow prioritet over Disallow?
Googles implementering gir prioritet til den mer spesifikke regelen. Hvis både Allow og Disallow matcher, vinner det lengre (mer spesifikke) mønsteret. Hvis de er like lange, har Allow prioritet.
Er robots.txt sensitiv for store og små bokstaver?
User-agent-feltet er ikke sensitivt for store og små bokstaver, men stimatching (Allow/Disallow) er det. Disallow: /Private/ vil ikke blokkere /private/.