Testen Sie Ihre Robots.txt
Testergebnisse
Testen Sie Ihre Robots.txt vor der Bereitstellung
Überprüfen Sie, ob die Crawl-Regeln korrekt funktionieren, um ein versehentliches Blockieren wichtiger Seiten für Suchmaschinen zu verhindern
Bevor Sie Ihre robots.txt-Datei hochladen, ist es wichtig zu testen, ob Ihre Regeln wie erwartet funktionieren. Ein einziger Fehler könnte Google den Zugang zu Ihrer gesamten Website oder wichtigen Bereichen blockieren. Mit diesem Tool können Sie Ihren robots.txt-Inhalt einfügen und mehrere URLs dagegen testen.
Warum Ihre Robots.txt testen?
Die robots.txt-Datei verwendet eine spezifische Syntax mit Platzhaltern und Mustern, die schwierig korrekt einzurichten sein können. Tests stellen sicher, dass Ihre Allow- und Disallow-Regeln für verschiedene User-Agents korrekt funktionieren. Dies verhindert häufige Fehler wie das versehentliche Blockieren von CSS/JS-Dateien, ganzen Verzeichnissen oder Ihrer Sitemap.
Funktionen
Multi-URL-Test
Testen Sie mehrere URLs gleichzeitig gegen Ihre robots.txt-Regeln.
User-Agent-Auswahl
Testen Sie Regeln für bestimmte Bots wie Googlebot, Bingbot oder alle Bots (*).
Sofortige Ergebnisse
Erhalten Sie sofortiges Feedback, ob eine URL erlaubt oder blockiert ist.
Clientseitig
Alle Tests finden in Ihrem Browser statt. Ihr robots.txt-Inhalt wird nirgendwohin gesendet.
Test-Tipps
- Testen Sie immer mit dem spezifischen User-Agent, den Sie ansprechen (z.B. Googlebot, Bingbot).
- Testen Sie Grenzfälle wie URLs mit Abfrageparametern (?page=2) und abschließenden Schrägstrichen.
- Überprüfen Sie, dass CSS-, JS- und Bilddateien nicht versehentlich blockiert werden.
- Testen Sie Ihre Sitemap-URL, um sicherzustellen, dass sie zugänglich ist.
- Prüfen Sie, ob Admin-, Login- und private Seiten korrekt blockiert sind.
- Denken Sie daran, dass robots.txt-Regeln bei Pfaden zwischen Groß- und Kleinschreibung unterscheiden.
Häufig gestellte Fragen
Wie funktioniert das robots.txt-Matching?
Robots.txt verwendet pfadbasiertes Matching. Disallow: /private/ blockiert alle URLs, die mit /private/ beginnen. Der Platzhalter * stimmt mit jeder Zeichenfolge überein, und $ verankert einen Treffer am Ende der URL.
Hat Allow Vorrang vor Disallow?
Googles Implementierung gibt der spezifischeren Regel den Vorrang. Wenn sowohl Allow als auch Disallow übereinstimmen, gewinnt das längere (spezifischere) Muster. Bei gleicher Länge hat Allow Vorrang.
Ist robots.txt groß-/kleinschreibungsempfindlich?
Das User-Agent-Feld unterscheidet nicht zwischen Groß- und Kleinschreibung, aber das Pfad-Matching (Allow/Disallow) schon. Disallow: /Private/ blockiert /private/ nicht.