Test din Robots.txt
Testresultater
Test din Robots.txt før implementering
Bekræft at crawl-regler fungerer korrekt for at forhindre utilsigtet blokering af vigtige sider fra søgemaskiner
Før du uploader din robots.txt-fil, er det afgørende at teste, at dine regler fungerer som forventet. En enkelt fejl kan blokere Google fra at tilgå hele dit websted eller vigtige sektioner. Dette værktøj lader dig indsætte dit robots.txt-indhold og teste flere URL'er mod det.
Hvorfor teste din Robots.txt?
robots.txt-filen bruger en specifik syntaks med jokertegn og mønstre, der kan være vanskelige at få rigtigt. Test sikrer, at dine Allow- og Disallow-regler fungerer korrekt for forskellige brugeragenter. Dette forhindrer almindelige fejl som utilsigtet blokering af CSS/JS-filer, hele mapper eller dit sitemap.
Funktioner
Multi-URL-test
Test flere URL'er på én gang mod dine robots.txt-regler.
User-Agent-valg
Test regler for specifikke bots som Googlebot, Bingbot eller alle bots (*).
Øjeblikkelige resultater
Få øjeblikkelig feedback om, hvorvidt en URL er tilladt eller blokeret.
Klientside
Al test foregår i din browser. Dit robots.txt-indhold sendes aldrig nogen steder hen.
Testtips
- Test altid med den specifikke brugeragent, du målretter (f.eks. Googlebot, Bingbot).
- Test grænsetilfælde som URL'er med forespørgselsparametre (?page=2) og afsluttende skråstreger.
- Bekræft at CSS-, JS- og billedfiler ikke utilsigtet er blokeret.
- Test din sitemap-URL for at sikre, at den er tilgængelig.
- Tjek at admin-, login- og private sider er korrekt blokeret.
- Husk at robots.txt-regler skelner mellem store og små bogstaver for stien.
Ofte stillede spørgsmål
Hvordan fungerer robots.txt-matching?
Robots.txt bruger sti-baseret matching. Disallow: /private/ blokerer alle URL'er, der starter med /private/. Jokertegnet * matcher enhver tegnsekvens, og $ forankrer et match til slutningen af URL'en.
Har Allow prioritet over Disallow?
Googles implementering giver prioritet til den mere specifikke regel. Hvis både Allow og Disallow matcher, vinder det længere (mere specifikke) mønster. Hvis de er lige lange, har Allow prioritet.
Er robots.txt versalfølsom?
User-agent-feltet er ikke versalfølsomt, men sti-matching (Allow/Disallow) er versalfølsom. Disallow: /Private/ vil ikke blokere /private/.