Robots.txt
रोबोट.टीएक्सटी एक टेक्स्ट फ़ाइल है जिसे किसी वेबसाइट की रूट डायरेक्टरी में रखा जाता है जो सर्च इंजन क्रॉलर को निर्देश देती है कि किन पेजों या फाइलों को वे अनुरोध करने की अनुमति है या अस्वीकृत हैं। यह बॉट्स के आपके साइट इंफ्रास्ट्रक्चर के साथ इंटरैक्ट करने के तरीके को नियंत्रित करने में रक्षा की पहली पंक्ति है और क्रॉल बजट को अनुकूलित करने में मदद करती है।
अपने सर्वश्रेष्ठ सामग्री पर बॉट्स को निर्देशित करना
Google आपकी साइट पर सीमित "क्रॉल बजट" आवंटित करता है—आपके बॉट्स प्रति दिन कितने पृष्ठों को क्रॉल करेंगे। यदि बॉट एडमिन पैनल, डुप्लिकेट प्रिंट-फ्रेंडली पृष्ठों, या कार्ट/चेकआउट यूआरएल को क्रॉल करने में समय बर्बाद करते हैं, तो वे आपके मूल्यवान अनुवादित उत्पाद पृष्ठों को चूक सकते हैं। robots.txt बॉट्स को बताता है "/admin/ पर समय बर्बाद न करें, इसके बजाय /en/, /fr/, /de/ पर ध्यान केंद्रित करें।" अंतरराष्ट्रीय साइटों के लिए, आपको भाषा ऑटो-डिटेक्शन रीडायरेक्ट पृष्ठों, एपीआई एंडपॉइंट्स और किसी भी तकनीकी यूआरएल को क्रॉल करने से रोकना चाहिए जिन्हें अनुक्रमित करने की आवश्यकता नहीं है। हालांकि, कभी भी अपनी भाषा निर्देशिकाओं को गलती से ब्लॉक न करें—यह एक विनाशकारी गलती है जो सभी अंतरराष्ट्रीय एसईओ को मार देती है।
क्रॉल एक्सेस की अनुमति देना बनाम रोकना
वास्तविक दुनिया पर प्रभाव
साइट में रोबोट.टीएक्सटी नहीं है, बॉट्स 10,000 कार्ट यूआरएल क्रॉल करते हैं
क्रॉल बजट बर्बाद, उत्पाद पृष्ठों को धीरे-धीरे क्रॉल किया गया
नए उत्पादों को खोज में दिखने में हफ़्ते लगते हैं
रोबोट.टीएक्सटी जोड़ें: अस्वीकरण /cart/, /checkout/, /api/
बॉट्स उत्पाद और भाषा पृष्ठों पर 100% ध्यान केंद्रित करते हैं
नए उत्पाद 24 घंटे के भीतर अनुक्रमित