Test uw Robots.txt
Testresultaten
Test uw Robots.txt vóór implementatie
Verifieer dat crawlregels correct werken om te voorkomen dat belangrijke pagina's per ongeluk worden geblokkeerd voor zoekmachines
Voordat u uw robots.txt-bestand uploadt, is het cruciaal om te testen of uw regels werken zoals verwacht. Eén enkele fout kan Google blokkeren van toegang tot uw gehele site of belangrijke secties. Met deze tool kunt u uw robots.txt-inhoud plakken en meerdere URL's ertegen testen.
Waarom uw Robots.txt testen?
Het robots.txt-bestand gebruikt een specifieke syntaxis met wildcards en patronen die lastig correct in te stellen kunnen zijn. Testen verzekert dat uw Allow- en Disallow-regels correct werken voor verschillende user agents. Dit voorkomt veelvoorkomende fouten zoals het per ongeluk blokkeren van CSS/JS-bestanden, complete mappen of uw sitemap.
Functies
Multi-URL-testen
Test meerdere URL's tegelijk tegen uw robots.txt-regels.
User-Agent-selectie
Test regels voor specifieke bots zoals Googlebot, Bingbot of alle bots (*).
Directe resultaten
Krijg onmiddellijke feedback of een URL is toegestaan of geblokkeerd.
Clientzijde
Alle tests vinden plaats in uw browser. Uw robots.txt-inhoud wordt nergens naartoe verzonden.
Testtips
- Test altijd met de specifieke user-agent die u target (bijv. Googlebot, Bingbot).
- Test randgevallen zoals URL's met queryparameters (?page=2) en afsluitende schuine strepen.
- Verifieer dat CSS-, JS- en afbeeldingsbestanden niet per ongeluk geblokkeerd zijn.
- Test uw sitemap-URL om te controleren of deze toegankelijk is.
- Controleer of admin-, login- en privépagina's correct geblokkeerd zijn.
- Onthoud dat robots.txt-regels hoofdlettergevoelig zijn voor het pad.
Veelgestelde vragen
Hoe werkt robots.txt-matching?
Robots.txt gebruikt pad-gebaseerde matching. Disallow: /private/ blokkeert alle URL's die beginnen met /private/. De wildcard * komt overeen met elke tekenreeks, en $ verankert een match aan het einde van de URL.
Heeft Allow voorrang op Disallow?
De implementatie van Google geeft voorrang aan de meer specifieke regel. Als zowel Allow als Disallow overeenkomen, wint het langere (meer specifieke) patroon. Bij gelijke lengte heeft Allow voorrang.
Is robots.txt hoofdlettergevoelig?
Het User-agent-veld is niet hoofdlettergevoelig, maar padmatching (Allow/Disallow) is dat wel. Disallow: /Private/ blokkeert /private/ niet.