Testa il tuo Robots.txt
Risultati del test
Testa il tuo Robots.txt prima della distribuzione
Verifica che le regole di scansione funzionino correttamente per evitare di bloccare accidentalmente pagine importanti dai motori di ricerca
Prima di caricare il file robots.txt, è fondamentale testare che le regole funzionino come previsto. Un singolo errore potrebbe impedire a Google di accedere all'intero sito o a sezioni importanti. Questo strumento ti permette di incollare il contenuto robots.txt e testare più URL contro di esso.
Perché testare il Robots.txt?
Il file robots.txt utilizza una sintassi specifica con caratteri jolly e pattern che possono essere difficili da configurare correttamente. Il test assicura che le regole Allow e Disallow funzionino correttamente per diversi user agent. Questo previene errori comuni come il blocco accidentale di file CSS/JS, intere directory o della sitemap.
Funzionalità
Test multi-URL
Testa più URL contemporaneamente contro le regole del tuo robots.txt.
Selezione User-Agent
Testa le regole per bot specifici come Googlebot, Bingbot o tutti i bot (*).
Risultati istantanei
Ottieni feedback immediato su se un URL è consentito o bloccato.
Lato client
Tutti i test avvengono nel tuo browser. Il contenuto robots.txt non viene mai inviato da nessuna parte.
Suggerimenti per il test
- Testa sempre con lo specifico user-agent che stai mirando (es. Googlebot, Bingbot).
- Testa i casi limite come URL con parametri di query (?page=2) e barre finali.
- Verifica che i file CSS, JS e immagini non siano accidentalmente bloccati.
- Testa l'URL della tua sitemap per assicurarti che sia accessibile.
- Controlla che le pagine di amministrazione, login e private siano correttamente bloccate.
- Ricorda che le regole robots.txt sono sensibili alle maiuscole per il percorso.
Domande frequenti
Come funziona il matching di robots.txt?
Robots.txt usa il matching basato sul percorso. Disallow: /private/ blocca tutti gli URL che iniziano con /private/. Il carattere jolly * corrisponde a qualsiasi sequenza di caratteri e $ àncora un match alla fine dell'URL.
Allow ha priorità su Disallow?
L'implementazione di Google dà priorità alla regola più specifica. Se sia Allow che Disallow corrispondono, vince il pattern più lungo (più specifico). Se hanno la stessa lunghezza, Allow ha priorità.
robots.txt è sensibile alle maiuscole?
Il campo User-agent non è sensibile alle maiuscole, ma il matching del percorso (Allow/Disallow) lo è. Disallow: /Private/ non bloccherà /private/.