اختبار Robots.txt

اختبر ما إذا كانت عناوين URL قابلة للزحف وفقاً لقواعد robots.txt الخاصة بك

مشاركة:

اختبر Robots.txt الخاص بك

اختبر Robots.txt قبل النشر

تحقق من أن قواعد الزحف تعمل بشكل صحيح لمنع حظر الصفحات المهمة من محركات البحث عن طريق الخطأ

قبل رفع ملف robots.txt، من الضروري اختبار أن القواعد تعمل كما هو متوقع. خطأ واحد قد يمنع Google من الوصول إلى موقعك بالكامل أو أقسام مهمة. تتيح لك هذه الأداة لصق محتوى robots.txt واختبار عناوين URL متعددة مقابله.

لماذا تختبر Robots.txt؟

يستخدم ملف robots.txt صياغة محددة مع أحرف البدل والأنماط التي قد يكون من الصعب ضبطها بشكل صحيح. يضمن الاختبار أن قواعد Allow و Disallow تعمل بشكل صحيح لوكلاء المستخدم المختلفين. هذا يمنع الأخطاء الشائعة مثل حظر ملفات CSS/JS عن طريق الخطأ أو أدلة كاملة أو خريطة الموقع.

المميزات

اختبار عناوين URL متعددة

اختبر عناوين URL متعددة في وقت واحد مقابل قواعد robots.txt الخاصة بك.

اختيار وكيل المستخدم

اختبر القواعد لبوتات محددة مثل Googlebot أو Bingbot أو جميع البوتات (*).

نتائج فورية

احصل على ملاحظات فورية حول ما إذا كان عنوان URL مسموحاً أو محظوراً.

من جانب العميل

يتم الاختبار بالكامل في متصفحك. لا يتم إرسال محتوى robots.txt إلى أي مكان.

نصائح للاختبار

  • اختبر دائماً مع وكيل المستخدم المحدد الذي تستهدفه (مثل Googlebot أو Bingbot).
  • اختبر الحالات الحدية مثل عناوين URL مع معلمات الاستعلام (?page=2) والشرطات المائلة الزائدة.
  • تحقق من عدم حظر ملفات CSS و JS والصور عن طريق الخطأ.
  • اختبر عنوان URL لخريطة الموقع للتأكد من إمكانية الوصول إليه.
  • تحقق من حظر صفحات الإدارة وتسجيل الدخول والصفحات الخاصة بشكل صحيح.
  • تذكر أن قواعد robots.txt حساسة لحالة الأحرف بالنسبة للمسار.

الأسئلة الشائعة

كيف تعمل مطابقة robots.txt؟

يستخدم robots.txt المطابقة المبنية على المسار. Disallow: /private/ يحظر جميع عناوين URL التي تبدأ بـ /private/. يطابق حرف البدل * أي تسلسل من الأحرف، و$ يثبت المطابقة في نهاية عنوان URL.

هل تأخذ Allow الأولوية على Disallow؟

تعطي تنفيذ Google الأولوية للقاعدة الأكثر تحديداً. إذا تطابقت كل من Allow و Disallow، يفوز النمط الأطول (الأكثر تحديداً). إذا كانا بنفس الطول، تأخذ Allow الأولوية.

هل robots.txt حساس لحالة الأحرف؟

حقل User-agent غير حساس لحالة الأحرف، لكن مطابقة المسار (Allow/Disallow) حساسة لحالة الأحرف. Disallow: /Private/ لن يحظر /private/.