Ελέγξτε το Robots.txt σας
Αποτελέσματα ελέγχου
Ελέγξτε το Robots.txt πριν την ανάπτυξη
Επαληθεύστε ότι οι κανόνες ανίχνευσης λειτουργούν σωστά για να αποτρέψετε τον τυχαίο αποκλεισμό σημαντικών σελίδων από τις μηχανές αναζήτησης
Πριν ανεβάσετε το αρχείο robots.txt, είναι κρίσιμο να ελέγξετε ότι οι κανόνες σας λειτουργούν όπως αναμένεται. Ένα μόνο λάθος θα μπορούσε να αποκλείσει τη Google από την πρόσβαση σε ολόκληρο τον ιστότοπό σας ή σε σημαντικές ενότητες. Αυτό το εργαλείο σας επιτρέπει να επικολλήσετε το περιεχόμενο robots.txt και να ελέγξετε πολλαπλά URL έναντι αυτού.
Γιατί να ελέγξετε το Robots.txt;
Το αρχείο robots.txt χρησιμοποιεί συγκεκριμένη σύνταξη με χαρακτήρες μπαλαντέρ και μοτίβα που μπορεί να είναι δύσκολο να ρυθμιστούν σωστά. Ο έλεγχος διασφαλίζει ότι οι κανόνες Allow και Disallow λειτουργούν σωστά για διαφορετικούς user agents. Αυτό αποτρέπει συνηθισμένα λάθη όπως τον τυχαίο αποκλεισμό αρχείων CSS/JS, ολόκληρων καταλόγων ή του sitemap σας.
Χαρακτηριστικά
Έλεγχος πολλαπλών URL
Ελέγξτε πολλαπλά URL ταυτόχρονα έναντι των κανόνων robots.txt σας.
Επιλογή User-Agent
Ελέγξτε κανόνες για συγκεκριμένα bots όπως Googlebot, Bingbot ή όλα τα bots (*).
Άμεσα αποτελέσματα
Λάβετε άμεση ανατροφοδότηση για το αν ένα URL επιτρέπεται ή αποκλείεται.
Στην πλευρά του πελάτη
Όλος ο έλεγχος γίνεται στο πρόγραμμα περιήγησής σας. Το περιεχόμενο robots.txt δεν αποστέλλεται πουθενά.
Συμβουλές ελέγχου
- Ελέγχετε πάντα με τον συγκεκριμένο user-agent που στοχεύετε (π.χ. Googlebot, Bingbot).
- Ελέγξτε οριακές περιπτώσεις όπως URL με παραμέτρους ερωτήματος (?page=2) και τελικές κάθετες.
- Επαληθεύστε ότι τα αρχεία CSS, JS και εικόνων δεν αποκλείονται κατά λάθος.
- Ελέγξτε το URL του sitemap σας για να βεβαιωθείτε ότι είναι προσβάσιμο.
- Ελέγξτε ότι οι σελίδες διαχείρισης, σύνδεσης και ιδιωτικές σελίδες αποκλείονται σωστά.
- Θυμηθείτε ότι οι κανόνες robots.txt είναι ευαίσθητοι στα κεφαλαία/πεζά για τη διαδρομή.
Συχνές ερωτήσεις
Πώς λειτουργεί η αντιστοίχιση robots.txt;
Το Robots.txt χρησιμοποιεί αντιστοίχιση βάσει διαδρομής. Disallow: /private/ αποκλείει όλα τα URL που ξεκινούν με /private/. Ο χαρακτήρας μπαλαντέρ * αντιστοιχεί σε οποιαδήποτε ακολουθία χαρακτήρων, και $ αγκυρώνει μια αντιστοίχιση στο τέλος του URL.
Έχει η Allow προτεραιότητα έναντι της Disallow;
Η υλοποίηση της Google δίνει προτεραιότητα στον πιο συγκεκριμένο κανόνα. Αν και οι Allow και Disallow ταιριάζουν, κερδίζει το μεγαλύτερο (πιο συγκεκριμένο) μοτίβο. Αν έχουν ίδιο μήκος, η Allow έχει προτεραιότητα.
Είναι το robots.txt ευαίσθητο στα κεφαλαία/πεζά;
Το πεδίο User-agent δεν είναι ευαίσθητο στα κεφαλαία/πεζά, αλλά η αντιστοίχιση διαδρομής (Allow/Disallow) είναι. Disallow: /Private/ δεν θα αποκλείσει το /private/.