أنشئ ملف Robots.txt الخاص بك
مولد Robots.txt احترافي لتحسين السيو
تحكم في كيفية وصول محركات البحث إلى محتوى موقعك وفهرسته من خلال ملف robots.txt مُعد بشكل صحيح
يساعدك مولد robots.txt المجاني في إنشاء ملف robots.txt مخصص بواجهة مرئية سهلة الاستخدام. لا حاجة للبرمجة — فقط حدد تفضيلاتك، أضف القواعد، وحمّل ملفك. يعمل مع جميع محركات البحث الرئيسية بما في ذلك Google و Bing و Yahoo وزواحف الويب.
ما هو robots.txt؟
robots.txt هو ملف نصي يوضع في جذر موقعك ويخبر زواحف محركات البحث بالصفحات أو الأقسام التي يمكنها أو لا يمكنها الوصول إليها. وهو جزء من بروتوكول استبعاد الروبوتات (REP) ومن أول الأشياء التي تتحقق منها الروبوتات عند زيارة موقعك. يساعد ملف robots.txt المُعد جيداً في تحسين ميزانية الزحف وحماية المناطق الحساسة.
الميزات الرئيسية
منشئ مرئي
أنشئ ملف robots.txt بصرياً دون كتابة كود. أضف القواعد بالنقرات، وليس بالصيغ.
إعدادات سريعة
ابدأ بإعدادات شائعة — السماح للجميع، حظر الجميع، حظر زواحف الذكاء الاصطناعي، أو إعداد قياسي.
وكلاء مستخدم متعددون
أنشئ قواعد محددة لزواحف مختلفة مثل Googlebot و Bingbot وروبوتات الذكاء الاصطناعي.
إعلان خريطة الموقع
ضمّن روابط خريطة الموقع مباشرة في ملف robots.txt لتحسين الاكتشافية.
تحميل فوري
حمّل ملفك المُنشأ فوراً أو انسخه إلى الحافظة.
معالجة 100% من جانب العميل
تتم جميع العمليات في متصفحك. لا يتم إرسال أي بيانات إلى أي خادم.
كيفية الاستخدام
- اختر إعداداً سريعاً أو ابدأ من الصفر بإضافة القواعد يدوياً.
- حدد وكيل المستخدم (مثل * لجميع الروبوتات، أو محدد مثل Googlebot).
- أضف مسارات السماح والحظر للتحكم في الصفحات التي يمكن للروبوتات الوصول إليها.
- اختيارياً، حدد تأخير الزحف وأضف رابط(روابط) خريطة الموقع.
- انقر على 'إنشاء robots.txt' لرؤية المخرجات.
- انسخ أو حمّل الملف وارفعه إلى الدليل الجذري لموقعك.
أفضل الممارسات
- ضع ملف robots.txt دائماً في الدليل الجذري لموقعك (مثل: example.com/robots.txt).
- لا تستخدم robots.txt لإخفاء البيانات الحساسة — استخدم المصادقة أو noindex بدلاً من ذلك.
- ضمّن دائماً توجيه Sitemap لفهرسة أسرع.
- اختبر ملف robots.txt باستخدام Google Search Console قبل النشر.
- كن حذراً مع قواعد الحظر بأحرف البدل (*) — يمكنها حظر صفحات مهمة عن طريق الخطأ.
- حدد تأخير الزحف فقط إذا كان خادمك يتعرض لحمل عالٍ من الروبوتات.
الأسئلة الشائعة
أين أضع ملف robots.txt؟
ارفعه إلى الدليل الجذري لموقعك بحيث يكون متاحاً على https://yourdomain.com/robots.txt. تحتوي معظم لوحات تحكم الاستضافة على مدير ملفات يمكنك استخدامه.
هل يمنع robots.txt الصفحات من Google؟
يخبر robots.txt الزواحف بعدم الزحف لصفحات معينة، لكنه لا يضمن عدم ظهورها في نتائج البحث. لمنع الفهرسة فعلياً، استخدم وسم 'noindex' أو رأس X-Robots-Tag HTTP.
ماذا يعني User-Agent: *؟
النجمة (*) هي حرف بدل يطبق القواعد على جميع زواحف الويب والروبوتات. يمكنك أيضاً استهداف روبوتات محددة مثل 'Googlebot' أو 'Bingbot'.
هل يمكن لملف robots.txt تحسين السيو؟
نعم! من خلال إدارة ميزانية الزحف بشكل صحيح، تضمن أن محركات البحث تقضي وقتها على أهم صفحاتك بدلاً من إهدار الموارد على المحتوى منخفض القيمة أو المكرر.