Robots.txt टेस्टर
पता करें कि कोई क्रॉलर किसी पेज को खोल सकता है या नहीं, और आपके robots.txt की ठीक कौन-सी पंक्ति यह तय करती है। सर्च इंजन और AI क्रॉलर को साथ-साथ जाँचें, और वे गलतियाँ पकड़ें जिनकी वजह से क्रॉलर आपके नियम अनदेखा कर देते हैं।
होम पेज जाँचने के लिए खाली छोड़ें। पूरा URL भी चलेगा।
इस्तेमाल कैसे करें
- 1अपनी वेबसाइट दर्ज करें और "लाएँ" चुनें, या जो robots.txt अभी प्रकाशित नहीं किया है उसे जाँचने के लिए "चिपकाएँ" पर जाएँ।
- 2जिस पेज या पाथ को जाँचना है उसे लिखें, और Googlebot जैसा क्रॉलर चुनें।
- 3नतीजा पढ़ें: वह बताता है कि क्रॉलर को अनुमति है या नहीं और किस पंक्ति ने यह तय किया।
- 4सूची में दी गई समस्याएँ ठीक करें, फिर दोबारा जाँचें।
अक्सर पूछे जाने वाले प्रश्न
क्या robots.txt किसी पेज को Google से बाहर रखता है?
नहीं। यह क्रॉलर को पेज खोलने से रोकता है, पर अगर दूसरी साइटें उस URL से लिंक करती हैं तो Google फिर भी उसे सूचीबद्ध कर सकता है। किसी पेज को खोज परिणामों से बाहर रखने के लिए noindex robots meta tag या X-Robots-Tag हेडर इस्तेमाल करें, और पेज को crawl होने दें ताकि Google उसे देख सके।
अगर मेरी साइट पर robots.txt न हो तो क्या होता है?
अगर फ़ाइल "नहीं मिली" लौटाती है, तो क्रॉलर मान लेते हैं कि वे सब कुछ crawl कर सकते हैं। अगर वह सर्वर त्रुटि लौटाती है, तो Google ठीक होने तक पूरी साइट को ब्लॉक मानता है, जो ज़्यादा बुरा है।
कई नियम लागू हों तो कौन-सा जीतता है?
सबसे विशिष्ट वाला: सबसे लंबा मेल खाने वाला पाथ। अगर Allow और Disallow बराबर लंबाई से मेल खाएँ, तो Allow जीतता है। जिस क्रॉलर का अपना समूह है, वह "User-agent: *" के नियमों को पूरी तरह अनदेखा करता है।
क्या मुझे AI क्रॉलर को ब्लॉक करना चाहिए?
यह आपके लक्ष्यों पर निर्भर करता है। ब्लॉक करने से सही व्यवहार वाले AI क्रॉलर आपके पेज इस्तेमाल नहीं कर पाते, पर हो सकता है AI के जवाबों में आपका हवाला भी कम मिले। robots.txt स्वैच्छिक है, इसलिए यह उन क्रॉलर को नहीं रोकता जो इसे नहीं मानते।
और मुफ़्त SEO टूल्स
क्या आप चाहते हैं कि यह जाँच आपकी पूरी वेबसाइट पर अपने-आप हो?
Opptym आपकी वेबसाइट के हर पेज पर SEO जाँच चलाता है, पुराना इतिहास सँभालकर रखता है, और बताता है कि सबसे पहले क्या ठीक करना है।