Testează-ți Robots.txt
Rezultatele testului
Testează Robots.txt înainte de implementare
Verifică dacă regulile de crawling funcționează corect pentru a preveni blocarea accidentală a paginilor importante din motoarele de căutare
Înainte de a încărca fișierul robots.txt, este crucial să testezi că regulile funcționează conform așteptărilor. O singură greșeală ar putea bloca Google de la accesarea întregului site sau a secțiunilor importante. Acest instrument îți permite să lipești conținutul robots.txt și să testezi mai multe URL-uri împotriva lui.
De ce să testezi Robots.txt?
Fișierul robots.txt folosește o sintaxă specifică cu caractere wildcard și modele care pot fi dificil de configurat corect. Testarea asigură că regulile Allow și Disallow funcționează corect pentru diferiți agenți utilizator. Aceasta previne greșeli comune precum blocarea accidentală a fișierelor CSS/JS, a directoarelor întregi sau a hărții site-ului.
Funcționalități
Testare multi-URL
Testează mai multe URL-uri simultan împotriva regulilor robots.txt.
Selectare User-Agent
Testează reguli pentru roboți specifici precum Googlebot, Bingbot sau toți roboții (*).
Rezultate instantanee
Primește feedback imediat dacă un URL este permis sau blocat.
Pe partea clientului
Toate testele au loc în browserul tău. Conținutul robots.txt nu este trimis nicăieri.
Sfaturi de testare
- Testează întotdeauna cu agentul utilizator specific pe care îl vizezi (ex. Googlebot, Bingbot).
- Testează cazuri limită precum URL-uri cu parametri de interogare (?page=2) și slash-uri finale.
- Verifică că fișierele CSS, JS și imagine nu sunt blocate accidental.
- Testează URL-ul hărții site-ului pentru a te asigura că este accesibil.
- Verifică că paginile de administrare, autentificare și private sunt blocate corect.
- Reține că regulile robots.txt sunt sensibile la majuscule pentru cale.
Întrebări frecvente
Cum funcționează potrivirea robots.txt?
Robots.txt folosește potrivirea bazată pe cale. Disallow: /private/ blochează toate URL-urile care încep cu /private/. Caracterul wildcard * potrivește orice secvență de caractere, iar $ ancorează o potrivire la sfârșitul URL-ului.
Allow are prioritate față de Disallow?
Implementarea Google acordă prioritate regulii mai specifice. Dacă atât Allow, cât și Disallow se potrivesc, câștigă modelul mai lung (mai specific). Dacă au aceeași lungime, Allow are prioritate.
Robots.txt este sensibil la majuscule?
Câmpul User-agent nu este sensibil la majuscule, dar potrivirea căii (Allow/Disallow) este. Disallow: /Private/ nu va bloca /private/.