Teste seu Robots.txt
Resultados do teste
Teste seu Robots.txt antes da implantação
Verifique se as regras de rastreamento funcionam corretamente para evitar bloquear acidentalmente páginas importantes dos mecanismos de busca
Antes de enviar seu arquivo robots.txt, é crucial testar se suas regras funcionam como esperado. Um único erro pode bloquear o Google de acessar todo o seu site ou seções importantes. Esta ferramenta permite colar o conteúdo do robots.txt e testar múltiplos URLs contra ele.
Por que testar seu Robots.txt?
O arquivo robots.txt usa uma sintaxe específica com curingas e padrões que podem ser difíceis de configurar corretamente. Os testes garantem que suas regras Allow e Disallow funcionem corretamente para diferentes user agents. Isso previne erros comuns como bloquear acidentalmente arquivos CSS/JS, diretórios inteiros ou seu sitemap.
Recursos
Teste multi-URL
Teste múltiplos URLs de uma vez contra as regras do seu robots.txt.
Seleção de User-Agent
Teste regras para bots específicos como Googlebot, Bingbot ou todos os bots (*).
Resultados instantâneos
Obtenha feedback imediato sobre se um URL é permitido ou bloqueado.
Lado do cliente
Todos os testes acontecem no seu navegador. O conteúdo do robots.txt nunca é enviado para lugar nenhum.
Dicas de teste
- Sempre teste com o user-agent específico que você está direcionando (ex. Googlebot, Bingbot).
- Teste casos extremos como URLs com parâmetros de consulta (?page=2) e barras finais.
- Verifique se arquivos CSS, JS e imagens não estão acidentalmente bloqueados.
- Teste o URL do seu sitemap para garantir que está acessível.
- Verifique se as páginas de administração, login e privadas estão corretamente bloqueadas.
- Lembre-se de que as regras do robots.txt diferenciam maiúsculas de minúsculas para o caminho.
Perguntas frequentes
Como funciona a correspondência do robots.txt?
O Robots.txt usa correspondência baseada em caminho. Disallow: /private/ bloqueia todos os URLs que começam com /private/. O curinga * corresponde a qualquer sequência de caracteres, e $ ancora uma correspondência ao final do URL.
Allow tem prioridade sobre Disallow?
A implementação do Google dá prioridade à regra mais específica. Se tanto Allow quanto Disallow corresponderem, o padrão mais longo (mais específico) vence. Se tiverem o mesmo comprimento, Allow tem prioridade.
O robots.txt diferencia maiúsculas de minúsculas?
O campo User-agent não diferencia maiúsculas de minúsculas, mas a correspondência de caminho (Allow/Disallow) diferencia. Disallow: /Private/ não bloqueará /private/.