robots.txt file Kya h | robots.txt kya hota h
robots.txt क्या है?
robots.txt फ़ाइल कैसे काम करती है?
एक robots.txt फ़ाइल केवल एक पाठ फ़ाइल है जिसमें कोई HTML मार्कअप कोड नहीं है (इसलिए .txt एक्सटेंशन)। वेबसाइट पर किसी भी अन्य फ़ाइल की तरह, robots.txt फ़ाइल वेब सर्वर पर होस्ट की जाती है। वास्तव में, किसी भी वेबसाइट के लिए robots.txt फ़ाइल को आम तौर पर नीचे दिखाए गए अनुसार /robots.txt के बाद ahomepage के लिए पूरा यूआरएल टाइप करके एक्सेस किया जा सकता है।
एक robots.txt फ़ाइल को जिम, एक बार, या एक सामुदायिक केंद्र की दीवार पर पोस्ट किया गया “आचार संहिता” संकेत मानें: संकेत के पास सूचीबद्ध नियमों को लागू करने की कोई शक्ति नहीं है, लेकिन “अच्छे” संरक्षक उनका पालन करेंगे , जबकि “बुरे” वाले संभवतः उन्हें तोड़ देंगे और उन पर प्रतिबंध लगा दिया जाएगा।
बॉट एक कंप्यूटर प्रोग्राम है जो वेबसाइटों और एप्लिकेशन के साथ स्वचालित रूप से इंटरैक्ट करता है। अच्छे बॉट और बुरे बॉट हैं, और एक वेब क्रॉलर बॉट एक प्रकार का अच्छा बॉट है। ये बॉट वेबपृष्ठों को “क्रॉल” करते हैं और सामग्री को खोज इंजन परिणामों में प्रदर्शित करने के लिए अनुक्रमित करते हैं। एक robots.txt फ़ाइल वेब क्रॉलर को उनकी गतिविधियों को प्रबंधित करने में मदद करती है ताकि वे वेबसाइट या अनुक्रमणिका पृष्ठों को होस्ट करने वाले वेब सर्वर पर बोझ न डालें जो सार्वजनिक रूप से देखने के लिए नहीं हैं।
robots.txt फ़ाइल का उद्देश्य क्या है?
एक robots.txt फ़ाइल केवल एक पाठ फ़ाइल है जिसमें कोई HTML मार्कअप कोड नहीं है (इसलिए .txt एक्सटेंशन)। वेबसाइट पर किसी भी अन्य फ़ाइल की तरह, robots.txt फ़ाइल वेब सर्वर पर होस्ट की जाती है। वास्तव में, किसी भी वेबसाइट के लिए robots.txt फ़ाइल को आमतौर पर होमपेज के लिए पूरा URL टाइप करके /robots.txt जैसे कि https://www.cloudflare.com/robots.txt द्वारा एक्सेस किया जा सकता है। क्योंकि फ़ाइल साइट पर कहीं और से जुड़ी नहीं है, उपयोगकर्ताओं को इसके मिलने की संभावना नहीं है, लेकिन अधिकांश वेब क्रॉलर बॉट बाकी साइट को क्रॉल करने से पहले इसकी तलाश करेंगे।
एक robots.txt फ़ाइल बॉट्स के लिए निर्देश प्रदान कर सकती है, लेकिन यह उन निर्देशों को लागू नहीं कर सकती है। किसी डोमेन पर कोई अन्य पृष्ठ देखने से पहले, एक अच्छा बॉट, जैसे वेब क्रॉलर या समाचार फ़ीड बॉट, robots.txt फ़ाइल पर जाने का प्रयास करेगा और निर्देशों का पालन करेगा। एक खराब बॉट या तो robots.txt फ़ाइल को अनदेखा कर देगा या वर्जित वेबपृष्ठों को खोजने के लिए इसे प्रोसेस करेगा।
वेब क्रॉलर बॉट द्वारा robots.txt फ़ाइल में निर्देशों के सबसे विशिष्ट सेट का पालन किया जाएगा। यदि फ़ाइल में विरोधाभासी कमांड हैं, तो बॉट अधिक बारीक कमांड का पालन करेगा।
यह नोट करना महत्वपूर्ण है कि प्रत्येक उपडोमेन को अपनी स्वयं की robots.txt फ़ाइल की आवश्यकता होती है। जबकि www.cloudflare.com की अपनी फ़ाइल है, सभी Cloudflare सबडोमेन (blog.cloudflare.com, community.cloudflare.com, और इसी तरह) को अपनी स्वयं की फ़ाइल की भी आवश्यकता होती है।
Example of a robots.txt file-
एक robots.txt फ़ाइल बनाएँ
आपका पहला कदम वास्तव में अपनी robots.txt फ़ाइल बनाना है।
एक पाठ फ़ाइल होने के नाते, आप वास्तव में विंडोज नोटपैड का उपयोग करके एक बना सकते हैं।
और इससे कोई फर्क नहीं पड़ता कि आप अंततः अपनी robots.txt फ़ाइल कैसे बनाते हैं, प्रारूप बिल्कुल वही है:
उपयोगकर्ता-एजेंट: एक्स
अस्वीकार करें: वाई
उपयोगकर्ता-एजेंट वह विशिष्ट बॉट है जिससे आप बात कर रहे हैं।
और “अनुमति न दें” के बाद आने वाली हर चीज़ वे पेज या सेक्शन हैं जिन्हें आप ब्लॉक करना चाहते हैं।
यहाँ एक उदाहरण है:
उपयोगकर्ता-एजेंट: googlebot
अनुमति न दें: /images
यह नियम Googlebot को आपकी वेबसाइट के छवि फ़ोल्डर को अनुक्रमित नहीं करने के लिए कहेगा।
आप अपनी वेबसाइट पर रुकने वाले किसी भी या सभी बॉट्स से बात करने के लिए तारक चिह्न (*) का उपयोग कर सकते हैं।
यहाँ एक उदाहरण है:
उपभोक्ता अभिकर्ता: *
अनुमति न दें: /images
“*” किसी भी और सभी spider को आपके छवि फ़ोल्डर को क्रॉल नहीं करने के लिए कहता है।
यह robots.txt फ़ाइल का उपयोग करने के कई तरीकों में से एक है। Google की इस सहायक मार्गदर्शिका में उन विभिन्न नियमों की अधिक जानकारी है जिनका उपयोग आप अपनी साइट के विभिन्न पृष्ठों को क्रॉल करने से बॉट्स को ब्लॉक करने या अनुमति देने के लिए कर सकते हैं।
अपनी robots.txt फ़ाइल को ढूँढना आसान बनाएँ-
एक बार जब आप अपनी robots.txt फ़ाइल बना लेते हैं, तो इसे प्रकाशित करने का समय आ गया है।
तकनीकी रूप से आप अपनी robots.txt फ़ाइल को अपनी साइट की किसी भी मुख्य निर्देशिका में रख सकते हैं।
हालांकि, आपकी robots.txt फ़ाइल के खोजे जाने की संभावना बढ़ाने के लिए, मैं इसे यहां संग्रहीत करने की अनुशंसा करता हूं:
https://example.com/robots.txt
robots.txt file Kya h-
robots.txt kya hota h-