अपनी क्रॉलर अनुमतियों का ऑडिट करें और एआई डेटा स्क्रैपिंग को नियंत्रित करें - बिना किसी लागत के।
के युग में जनरेटिव एआई , आपकी robots.txt फ़ाइल आपके सर्वर पर सबसे महत्वपूर्ण सुरक्षा दस्तावेज़ है। यह गेटकीपर है जो Googlebot को "वेलकम" बताता है और GPTBot (OpenAI) या CCBot (कॉमन क्रॉल) को बताता है कि क्या उन्हें अपने मॉडल को प्रशिक्षित करने के लिए आपकी मालिकाना सामग्री को निगलने की अनुमति है।
मल्टीलिपि Robots.txt सत्यापनकर्ता एक निःशुल्क इंजीनियरिंग उपयोगिता है जिसे आपके अनुमति नियमों का ऑडिट करने के लिए डिज़ाइन किया गया है। यह सुनिश्चित करता है कि आप एआई स्क्रैपिंग एजेंटों पर अपने रुख की पुष्टि करते समय गलती से एसईओ ट्रैफ़िक को अवरुद्ध नहीं कर रहे हैं।
"सुरक्षा लूप" आवश्यक
एसईओ दृश्यता बनाम एआई गोपनीयता।
इस फ़ाइल में एक सिंटैक्स गड़बड़ी आपकी पूरी वेबसाइट को Google से डी-इंडेक्स कर सकती है. इसके विपरीत, एक लापता नियम एआई कंपनियों को मुआवजे के बिना आपके पूरे ब्लॉग संग्रह को परिमार्जन करने की अनुमति दे सकता है।
एसईओ जोखिम
Googlebot या Bingbot को ब्लॉक करने से आपका ट्रैफ़िक नष्ट हो जाता है.
एआई जोखिम
GPTBot या ClaudeBot की अनुमति देने का मतलब है कि आपकी सामग्री प्रशिक्षण डेटा बन जाती है।
संतुलन
हमारा टूल इस बात की पुष्टि करता है कि आपके "अनुमति दें" और "अनुमति न दें" निर्देश वाक्यात्मक रूप से सही हैं और उन विशिष्ट एजेंटों को लक्षित करते हैं जिन्हें आप प्रबंधित करना चाहते हैं।
ऑडिट प्रोटोकॉल
अपने द्वारपाल को कैसे मान्य करें।
यह न मानें कि आपकी अनुमतियाँ सही हैं। उन्हें लाइव क्रॉलर मानकों के अनुसार सत्यापित करें।
फ्री टूल तक पहुंचें
Robots.txt सत्यापनकर्ता पर जाएँ.
इनपुट समापन बिंदु
अपना रूट डोमेन दर्ज करें (उदाहरण के लिए, https://example.com)।
स्कैन निष्पादित करें
Robots.txt मान्य करें बटन पर क्लिक करें।
तर्क की समीक्षा करें
सिंटैक्स जांच, बॉट-विशिष्ट विश्लेषण और पहुंच क्षमता की जांच करें।
तर्क की समीक्षा करें:
सिंटैक्स जांच: अमान्य वाइल्डकार्ड या पथ त्रुटियों को ध्वजांकित करता है
बॉट-विशिष्ट विश्लेषण: विशेष रूप से Googlebot, GPTBot, Bingbot और CCBot जैसे प्रमुख एजेंटों के लिए अनुमतियों की जांच करता है
पहुंच क्षमता: पुष्टि करता है कि फ़ाइल पहुँच योग्य है और 200 OK स्थिति कोड लौटा रही है
ज्ञान ग्राफ को नियंत्रित करना
तय करें कि आपसे कौन सीखता है।
यदि आप एक प्रीमियम प्रकाशक या SaaS प्लेटफ़ॉर्म हैं, तो आप खोज इंजनों को सक्रिय रखते हुए सामान्य AI स्क्रैपर्स को ब्लॉक करना चाह सकते हैं।
परिदृश्य
आप Google खोज परिणामों में प्रदर्शित होना चाहते हैं लेकिन नहीं चाहते कि ChatGPT आपके भुगतान वाले लेखों को मुफ्त में सुनाए।
विलयन
यह सुनिश्चित करने के लिए सत्यापनकर्ता का उपयोग करें उपयोगकर्ता-एजेंट: GPTBot अनुमति न दें: / नियम सही ढंग से लागू किया गया है और आपके से अलग है उपयोगकर्ता-एजेंट: * नियम।
बहुभाषी साइटमैप
अपने बुनियादी ढांचे को जोड़ना।
आपका robots.txt आपके क्रॉलर्स के लिए मानचित्र कक्ष भी है। इसे स्पष्ट रूप से आपके XML साइटमैप से लिंक करना चाहिए।
चेक
हमारा टूल सत्यापित करता है कि साइटमैप: https://yoursite.com/sitemap.xml निर्देश मौजूद है।
वैश्विक प्रभाव
यह आपकी स्थानीयकृत उप-निर्देशिकाओं की खोज के लिए महत्वपूर्ण है (उदाहरण के लिए, /fr/ , /एस/ ). अगर क्रॉलर robots.txt के माध्यम से साइटमैप नहीं ढूंढ पाता है, तो हो सकता है कि आपके गहरे स्तर के अनुवादित पृष्ठ अनदेखे रह जाएं.