Robots.txt टेस्टर

परीक्षण करें कि क्या URL आपके robots.txt नियमों के अनुसार क्रॉल योग्य हैं

शेयर करें:

अपना Robots.txt परीक्षण करें

डिप्लॉय करने से पहले अपना Robots.txt परीक्षण करें

सत्यापित करें कि क्रॉल नियम सही ढंग से काम कर रहे हैं ताकि गलती से महत्वपूर्ण पेज सर्च इंजन से ब्लॉक न हों

अपनी robots.txt फाइल अपलोड करने से पहले, यह परीक्षण करना महत्वपूर्ण है कि आपके नियम अपेक्षित रूप से काम कर रहे हैं। एक गलती Google को आपकी पूरी साइट या महत्वपूर्ण अनुभागों तक पहुंच से रोक सकती है। यह टूल आपको robots.txt कंटेंट पेस्ट करने और उसके विरुद्ध कई URL परीक्षण करने देता है।

अपना Robots.txt क्यों परीक्षण करें?

robots.txt फाइल वाइल्डकार्ड और पैटर्न के साथ एक विशिष्ट सिंटैक्स का उपयोग करती है जिसे सही ढंग से सेट करना मुश्किल हो सकता है। परीक्षण सुनिश्चित करता है कि आपके Allow और Disallow नियम विभिन्न यूजर एजेंट्स के लिए सही ढंग से काम करते हैं। यह CSS/JS फाइलों, पूरी डायरेक्टरी या आपके साइटमैप को गलती से ब्लॉक करने जैसी सामान्य गलतियों को रोकता है।

विशेषताएं

बहु-URL परीक्षण

अपने robots.txt नियमों के विरुद्ध एक साथ कई URL परीक्षण करें।

युज़र-एजेंट चयन

Googlebot, Bingbot या सभी बॉट्स (*) जैसे विशिष्ट बॉट्स के लिए नियम परीक्षण करें।

तत्काल परिणाम

URL अनुमत है या ब्लॉक, इस पर तुरंत प्रतिक्रिया प्राप्त करें।

क्लाइंट-साइड

सभी परीक्षण आपके ब्राउज़र में होता है। आपका robots.txt कंटेंट कहीं नहीं भेजा जाता।

परीक्षण सुझाव

  • हमेशा उस विशिष्ट यूजर-एजेंट के साथ परीक्षण करें जिसे आप लक्षित कर रहे हैं (जैसे Googlebot, Bingbot)।
  • क्वेरी पैरामीटर (?page=2) और ट्रेलिंग स्लैश वाले URL जैसे एज केस परीक्षण करें।
  • सत्यापित करें कि CSS, JS और इमेज फाइलें गलती से ब्लॉक नहीं हुई हैं।
  • अपने साइटमैप URL का परीक्षण करें यह सुनिश्चित करने के लिए कि यह एक्सेसिबल है।
  • जांचें कि एडमिन, लॉगिन और प्राइवेट पेज सही ढंग से ब्लॉक हैं।
  • याद रखें कि robots.txt नियम पथ के लिए केस-सेंसिटिव हैं।

अक्सर पूछे जाने वाले प्रश्न

robots.txt मैचिंग कैसे काम करती है?

Robots.txt पथ-आधारित मैचिंग का उपयोग करता है। Disallow: /private/ /private/ से शुरू होने वाले सभी URL ब्लॉक करता है। * वाइल्डकार्ड किसी भी वर्ण अनुक्रम से मेल खाता है, और $ URL के अंत में मैच को एंकर करता है।

क्या Allow Disallow पर प्राथमिकता लेता है?

Google का कार्यान्वयन अधिक विशिष्ट नियम को प्राथमिकता देता है। यदि Allow और Disallow दोनों मेल खाते हैं, तो लंबा (अधिक विशिष्ट) पैटर्न जीतता है। समान लंबाई होने पर Allow को प्राथमिकता मिलती है।

क्या robots.txt केस-सेंसिटिव है?

User-agent फील्ड केस-इनसेंसिटिव है, लेकिन पथ मैचिंग (Allow/Disallow) केस-सेंसिटिव है। Disallow: /Private/ /private/ को ब्लॉक नहीं करेगा।