अपनी क्रॉलर अनुमतियों का ऑडिट करें और AI डेटा स्क्रैपिंग को नियंत्रित करें—बिना किसी शुल्क के।
के युग में जनरेटिव एआईआपका रोबोट्स.txt फ़ाइल आपके सर्वर पर सबसे महत्वपूर्ण सुरक्षा दस्तावेज़ है। यह गेटकीपर है जो Googlebot को "स्वागत" कहता है और GPTBot (OpenAI) या CCBot (Common Crawl) को बताता है कि क्या उन्हें अपने मॉडल को प्रशिक्षित करने के लिए आपकी मालिकाना सामग्री का उपभोग करने की अनुमति है।
मल्टीलिपि रोबोट्स.txt वैलिडेटर एक मुफ्त इंजीनियरिंग यूटिलिटी है जिसे आपके अनुमति नियमों का ऑडिट करने के लिए डिज़ाइन किया गया है। यह सुनिश्चित करता है कि आप AI स्क्रैपिंग एजेंटों पर अपनी स्थिति को सत्यापित करते समय गलती से SEO ट्रैफ़िक को ब्लॉक नहीं कर रहे हैं।
"सुरक्षा लूप" आवश्यक
SEO दृश्यता बनाम AI गोपनीयता।
इस फ़ाइल में एक भी सिंटैक्स त्रुटि आपके पूरे वेबसाइट को Google से डी-इंडेक्स कर सकती है। इसके विपरीत, एक गुम नियम AI कंपनियों को आपके पूरे ब्लॉग संग्रह को बिना किसी मुआवजे के स्क्रैप करने की अनुमति दे सकता है।
एसईओ जोखिम
Googlebot या Bingbot को ब्लॉक करने से आपका ट्रैफ़िक नष्ट हो जाता है।
AI जोखिम
GPTBot या ClaudeBot को अनुमति देने का मतलब है कि आपकी सामग्री प्रशिक्षण डेटा बन जाती है।
संतुलन
हमारा टूल मान्य करता है कि आपके "Allow" और "Disallow" निर्देश सिंटैक्टिक रूप से सही हैं और उन विशिष्ट एजेंटों को लक्षित कर रहे हैं जिन्हें आप प्रबंधित करना चाहते हैं।
ऑडिट प्रोटोकॉल
अपने गेटकीपर को कैसे मान्य करें।
यह न मानें कि आपकी अनुमतियाँ सही हैं। लाइव क्रॉलर मानकों के विरुद्ध उन्हें सत्यापित करें।
मुफ्त टूल तक पहुंचें
Robots.txt वैलिडेटर पर जाएं।
इनपुट एंडपॉइंट
अपना रूट डोमेन दर्ज करें (जैसे, https://example.com)।
स्कैन निष्पादित करें
रोबोट्स.txt मान्य करें बटन पर क्लिक करें।
समीक्षा तर्क
सिंटैक्स जांच, बॉट-विशिष्ट विश्लेषण और पहुंच का परीक्षण करें।
समीक्षा तर्क:
सिंटैक्स जांच: अमान्य वाइल्डकार्ड या पथ त्रुटियों को फ़्लैग करता है
बॉट-विशिष्ट विश्लेषण: विशेष रूप से Googlebot, GPTBot, Bingbot और CCBot जैसे प्रमुख एजेंटों के लिए अनुमतियों की जाँच करता है
पहुंच: पुष्टि करता है कि फ़ाइल सुलभ है और 200 OK स्थिति कोड लौटा रही है
नॉलेज ग्राफ़ को नियंत्रित करना
तय करें कि आपसे कौन सीखता है।
अगर आप एक प्रीमियम प्रकाशक या सास प्लेटफ़ॉर्म हैं, तो आप चाहेंगे कि खोज इंजन सक्रिय रहें, जबकि सामान्य एआई स्क्रैपर ब्लॉक हो जाएं।
परिदृश्य
आप Google Search परिणामों में दिखना चाहते हैं लेकिन नहीं चाहते कि ChatGPT आपके पेवॉल्ड लेखों को मुफ्त में सुनाए।
समाधान
यह सुनिश्चित करने के लिए वैलिडेटर का उपयोग करें कि आपका User-agent: GPTBot Disallow: / नियम सही ढंग से लागू किया गया है और आपके User-agent: * नियम।
बहुभाषी साइटमैप
अपने इंफ्रास्ट्रक्चर को कनेक्ट करना।
आपका रोबोट्स.txt आपके क्रॉलर के लिए मैप रूम भी है। इसे स्पष्ट रूप से आपके XML साइटमैप से लिंक होना चाहिए।
जाँच
हमारा टूल सत्यापित करता है कि एक साइटमैप: https://yoursite.com/sitemap.xml निर्देश मौजूद है।
वैश्विक प्रभाव
यह आपकी स्थानीयकृत उप-निर्देशिकाओं को खोजने के लिए महत्वपूर्ण है (उदाहरण के लिए, /fr/, /es/). यदि क्रॉलर robots.txt के माध्यम से साइटमैप नहीं ढूंढ पाता है, तो आपके डीप-लेवल अनुवादित पृष्ठ अज्ञात रह सकते हैं।