Testez votre Robots.txt
Résultats du test
Testez votre Robots.txt avant le déploiement
Vérifiez que les règles d'exploration fonctionnent correctement pour éviter de bloquer accidentellement des pages importantes des moteurs de recherche
Avant de télécharger votre fichier robots.txt, il est crucial de tester que vos règles fonctionnent comme prévu. Une seule erreur pourrait empêcher Google d'accéder à l'intégralité de votre site ou à des sections importantes. Cet outil vous permet de coller votre contenu robots.txt et de tester plusieurs URLs contre celui-ci.
Pourquoi tester votre Robots.txt ?
Le fichier robots.txt utilise une syntaxe spécifique avec des caractères génériques et des motifs qui peuvent être difficiles à configurer correctement. Les tests garantissent que vos règles Allow et Disallow fonctionnent correctement pour différents agents utilisateurs. Cela prévient les erreurs courantes comme le blocage accidentel de fichiers CSS/JS, de répertoires entiers ou de votre sitemap.
Fonctionnalités
Test multi-URL
Testez plusieurs URLs à la fois contre les règles de votre robots.txt.
Sélection d'User-Agent
Testez les règles pour des bots spécifiques comme Googlebot, Bingbot ou tous les bots (*).
Résultats instantanés
Obtenez un retour immédiat sur l'autorisation ou le blocage d'une URL.
Côté client
Tous les tests se font dans votre navigateur. Votre contenu robots.txt n'est jamais envoyé nulle part.
Conseils de test
- Testez toujours avec l'agent utilisateur spécifique que vous ciblez (ex. Googlebot, Bingbot).
- Testez les cas limites comme les URLs avec des paramètres de requête (?page=2) et les barres obliques finales.
- Vérifiez que les fichiers CSS, JS et images ne sont pas accidentellement bloqués.
- Testez l'URL de votre sitemap pour vous assurer qu'elle est accessible.
- Vérifiez que les pages d'administration, de connexion et privées sont correctement bloquées.
- N'oubliez pas que les règles robots.txt sont sensibles à la casse pour le chemin.
Questions fréquentes
Comment fonctionne la correspondance robots.txt ?
Robots.txt utilise une correspondance basée sur le chemin. Disallow: /private/ bloque toutes les URLs commençant par /private/. Le caractère générique * correspond à n'importe quelle séquence de caractères, et $ ancre une correspondance à la fin de l'URL.
Allow a-t-il priorité sur Disallow ?
L'implémentation de Google donne la priorité à la règle la plus spécifique. Si Allow et Disallow correspondent tous les deux, le motif le plus long (plus spécifique) l'emporte. S'ils ont la même longueur, Allow a priorité.
robots.txt est-il sensible à la casse ?
Le champ User-agent n'est pas sensible à la casse, mais la correspondance de chemin (Allow/Disallow) l'est. Disallow: /Private/ ne bloquera pas /private/.