Tuesday, December 6, 2022

रोबोट टेक्स्ट फ़ाइल | Best Robot.txt File

रोबोट टेक्स्ट फ़ाइल कैसे बनाएँ | Robot.txt File का क्या काम होता है ? | Robots.txt kya hai Hindi

रोबोट टेक्स्ट फ़ाइल सर्च इंजन लाखों वेब साइटों को उन सर्च परिणामों को उत्पन्न करने के लिए इंडेक्स करता है जो वे कीवर्ड के लिए लौटाते हैं। वे “स्पाईडर” का उपयोग करके ऐसा करते हैं।

सर्च इंजन डेटाबेस अलग-अलग समय पर अपडेट होते हैं। एक बार जब आप सर्च इंजन डेटाबेस में होते हैं, तो रोबोट समय-समय पर आपके पास आते रहते हैं, आपके पृष्ठों में कोई भी परिवर्तन लेने के लिए, और यह सुनिश्चित करने के लिए कि उनके पास नवीनतम जानकारी है। आपके द्वारा विज़िट किए जाने की संख्या इस बात पर निर्भर करती है कि सर्च इंजन अपनी विज़िट कैसे सेट करता है, जो प्रति सर्च इंजन में भिन्न हो सकती है।

सर्च इंजन टिप्स एंड ट्रिक्स: अपनी वेब साइट के लिए रोबोट टेक्स्ट फ़ाइल बनाएँ

अधिकांश सर्च इंजनों की अपनी स्पाईडर होती है जो वेब पृष्ठों की तलाश में वेब पर रेंगती है। स्पाईडर को “रोबोट” के रूप में भी जाना जाता है क्योंकि वे केवल छोटे छोटे प्रोग्राम होते हैं जो स्वचालित रूप से चलते हैं, वेब पेजों की तलाश करते हैं और उन्हें इंडेक्स करने के लिए एम्बेडेड टेक्स्ट लिंक के माध्यम से पुनरावर्ती यात्रा करते हैं।

अधिकांश रोबोट आपकी वेब साइट की शीर्ष-स्तरीय निर्देशिका में robots.txt फ़ाइल की तलाश करते हैं, जिसे “रूट” के रूप में भी जाना जाता है, जहां आपका होम पेज वेब सर्वर पर स्थित है।

robots.txt फ़ाइल एक साधारण टेक्स्ट फ़ाइल है जिसे नोटपैड जैसे मूल टेक्स्ट एडिटर में बनाया गया है। यह आपको नियंत्रित करने की अनुमति देता है कि स्पाईडर को क्या एक्सेस करने की अनुमति है और इसे एक्सेस या इंडेक्स करने की अनुमति नहीं है।

बुनियादी robots.txt फ़ाइल का प्रारूप बहुत आसान है:

User-Agent: [Spider Name]

Disallow: [File Name]

उदाहरण के लिए, सभी रोबोटों को आपकी वेब साइट तक पूर्ण पहुंच की अनुमति देने के लिए, आपकी robots.txt फ़ाइल इस तरह दिखेगी:

User-agent: *

Disallow:

तारांकन एक “वाइल्ड कार्ड” वर्ण है जो सभी रोबोटों का प्रतिनिधित्व करता है। अस्वीकृत पंक्ति को खाली छोड़ना रोबोटों को इंगित करता है कि साइट पर कुछ भी अस्वीकृत नहीं है।

अगला उदाहरण सभी रोबोटों को cgi-bin (जहां आपकी स्क्रिप्ट आमतौर पर स्थित हैं), छवि निर्देशिकाओं और पोर्टफोलियो निर्देशिकाओं से रोकता है:

User-agent: *

Disallow: /cgi-bin/

Disallow: /images/

Disallow: /portfolio/

नोट: आपको प्रत्येक निर्देशिका या व्यक्तिगत फ़ाइल के लिए एक अलग अस्वीकृत पंक्ति का उपयोग करना चाहिए। इस उदाहरण में, आपको आश्चर्य हो सकता है कि आप किसी रोबोट को अपनी पोर्टफोलियो निर्देशिका को इंडेक्स करने की अनुमति क्यों नहीं देना चाहेंगे।

यदि आप एक फोटोग्राफर हैं और आपके पोर्टफोलियो पृष्ठ पर थंबनेल चित्र हैं जो एक पॉप-अप विंडो में लॉन्च किए गए विस्तार पृष्ठों से लिंक करते हैं, तो हो सकता है कि आप उन पॉप-अप पृष्ठों को इंडेक्स नहीं करना चाहें। इन्हें “डेड-एंड” या “अनाथ” पृष्ठ कहा जाता है क्योंकि पृष्ठ पर केवल बढ़ी हुई छवि दिखाई देती है जिसमें कोई संपर्क जानकारी या मेनू मुख्य साइट पर वापस लिंक नहीं होता है। यदि आगंतुक इन पृष्ठों में से किसी एक पर आपकी साइट में प्रवेश करता है, तो उनके पास जाने के लिए कोई रास्ता नहीं होगा और आपसे संपर्क करने का कोई रास्ता नहीं होगा।

जब आप किसी इमेज पर क्लिक करते हैं, तो वह एक नई विंडो में खुलती है। नई विंडो में पेज एक “डेड-एंड” पेज है। एक robots.txt फ़ाइल सर्च इंजनों को इन “मृत” पृष्ठों को इंडेक्स करने से रोक सकती है ताकि आप साइट विज़िटर को फंसे न छोड़ें।

यह उदाहरण googlebot (Google स्पाइडर) को तक पहुंचने से रोकता है

private.htm file:

User-agent: googlebot

Disallow: private.htm

जब आप अपनी robots.txt फ़ाइल बनाते हैं तो यह अत्यंत महत्वपूर्ण है कि आप एक मूल पाठ संपादक (जैसे नोटपैड) का उपयोग करें, न कि Microsoft Word जैसे वर्ड प्रोसेसिंग एप्लिकेशन का। Microsoft Word जैसे एप्लिकेशन छिपे हुए वर्ण सम्मिलित कर सकते हैं जो आपकी robots.txt फ़ाइल को अपठनीय बना सकते हैं। अपनी robots.txt फ़ाइल को वेब सर्वर पर पोस्ट करने के बाद, आप यह सुनिश्चित करने के लिए इसे सत्यापित कर सकते हैं कि यह ठीक से स्वरूपित है। वेब पर कई निःशुल्क सत्यापनकर्ता हैं।

आपकी रूट निर्देशिका में robots.txt फ़ाइल होने के कई फायदे और कुछ नुकसान हैं। प्रोटोकॉल के लिए आवश्यक है कि सभी सर्च इंजन रोबोट आपकी वेब साइट को robots.txt फ़ाइल के साथ इंडेक्स करना प्रारंभ करें। यदि फ़ाइल मौजूद है तो यह रोबोट के लिए डिफ़ॉल्ट प्रवेश बिंदु है। प्रमुख सर्च इंजन कभी भी रोबोट अपवर्जन के लिए मानक का उल्लंघन नहीं करेंगे।

यह प्राथमिक कारण है कि यह होना चाहिए। इसके अलावा, यह आपकी सर्च इंजन रैंकिंग में मदद कर सकता है जब सही ढंग से उपयोग किया जाता है, और यह आपकी वेब साइट पर मृत पृष्ठों को इंडेक्स होने से रोक सकता है। प्राथमिक नुकसान यह है कि robots.txt फ़ाइल वेब पर नापाक व्यक्तियों द्वारा देखी जा सकती है, इसलिए आप कभी भी robots.txt फ़ाइल का उपयोग अपनी वेब साइट पर संवेदनशील पृष्ठों या निर्देशिकाओं (जैसे पासवर्ड या निजी जानकारी) को छिपाने का प्रयास करने के लिए नहीं करना चाहते हैं।

रोबोट टेक्स्ट फ़ाइल कैसे बनाएँ| Robot.txt File का क्या काम होता है ?

रोबोट टेक्स्ट फ़ाइल कैसे बनाएँ | Robot.txt File का क्या काम होता है ? | Robots.txt kya hai Hindi
रोबोट टेक्स्ट फ़ाइल कैसे बनाएँ | Robot.txt File का क्या काम होता है ? | Robots.txt kya hai Hindi

ऑटोमेटेड सर्च इंजन रोबोट – वे कैसे काम करते हैं, वे क्या करते हैं

स्वचालित सर्च इंजन रोबोट, जिन्हें कभी-कभी “स्पाईडर” या “क्रॉलर” कहा जाता है, वेब पेजों के साधक हैं। वे कैसे काम करते हैं? वे वास्तव में क्या करते हैं? वे महत्वपूर्ण क्यों हैं?

सर्च इंजन डेटाबेस में जोड़ने के लिए वेब पेजों को इंडेक्स करने के बारे में आप सभी उपद्रव के साथ सोचेंगे, कि रोबोट महान और शक्तिशाली प्राणी होंगे। गलत। सर्च इंजन रोबोट में केवल प्रारंभिक ब्राउज़रों की तरह ही बुनियादी कार्यक्षमता होती है, जिसे वे वेब पेज में समझ सकते हैं। शुरुआती ब्राउज़रों की तरह, रोबोट कुछ खास चीजें नहीं कर सकते।

रोबोट फ्रेम, फ्लैश मूवी, इमेज या जावास्क्रिप्ट को नहीं समझते हैं। वे पासवर्ड से सुरक्षित क्षेत्रों में प्रवेश नहीं कर सकते हैं और वे उन सभी बटनों पर क्लिक नहीं कर सकते हैं जो आपकी वेबसाइट पर हैं। गतिशील रूप से जेनरेट किए गए यूआरएल को इंडेक्स करते समय उन्हें ठंडा किया जा सकता है और जावास्क्रिप्ट नेविगेशन के साथ एक स्टॉप तक धीमा कर दिया जा सकता है।

सर्च इंजन रोबोट कैसे काम करते हैं?

सर्च इंजन रोबोटों को स्वचालित डेटा पुनर्प्राप्ति कार्यक्रमों के रूप में सोचें, जो जानकारी और लिंक सर्चने के लिए वेब पर यात्रा करते हैं। जब आप “यूआरएल सबमिट करें” पृष्ठ पर एक सर्च इंजन में एक वेब पेज सबमिट करते हैं, तो वेब पर अपने अगले प्रयास पर जाने के लिए वेबसाइटों की रोबोट की कतार में नया यूआरएल जोड़ा जाता है। यहां तक ​​कि अगर आप सीधे एक पृष्ठ सबमिट नहीं करते हैं, तो कई रोबोट आपकी साइट को अन्य साइटों के लिंक के कारण ढूंढ लेंगे जो वापस आपकी ओर इशारा करते हैं। यह एक कारण है कि आपकी लिंक लोकप्रियता का निर्माण करना और अन्य सामयिक साइटों से लिंक वापस आपके लिए प्राप्त करना महत्वपूर्ण है।

आपकी वेबसाइट पर पहुंचने पर, स्वचालित रोबोट पहले यह देखने के लिए जांच करते हैं कि आपके पास robots.txt फ़ाइल है या नहीं। इस फ़ाइल का उपयोग रोबोटों को यह बताने के लिए किया जाता है कि आपकी साइट के कौन से क्षेत्र उनके लिए सीमा से बाहर हैं। आमतौर पर ये निर्देशिकाएं हो सकती हैं जिनमें केवल बायनेरिज़ या अन्य फ़ाइलें होती हैं जिनके साथ रोबोट को स्वयं चिंता करने की आवश्यकता नहीं होती है।

रोबोट उनके द्वारा देखे जाने वाले प्रत्येक पृष्ठ से लिंक एकत्र करते हैं, और बाद में अन्य पृष्ठों के माध्यम से उन लिंक का अनुसरण करते हैं। इस तरह, वे अनिवार्य रूप से एक पृष्ठ से दूसरे पृष्ठ के लिंक का अनुसरण करते हैं। संपूर्ण वर्ल्ड वाइड वेब लिंक से बना है, मूल विचार यह है कि आप एक स्थान से दूसरे स्थान पर लिंक का अनुसरण कर सकते हैं। इस तरह रोबोट घूमते हैं।

ऑनलाइन पृष्ठों को इंडेक्स करने के बारे में “स्मार्ट” सर्च इंजन इंजीनियरों से आता है, जो सर्च इंजन रोबोट द्वारा प्राप्त जानकारी का मूल्यांकन करने के लिए उपयोग की जाने वाली विधियों को तैयार करते हैं। जब सर्च इंजन डेटाबेस में पेश किया जाता है, तो सर्च इंजन से पूछताछ करने वाले सर्चकर्ताओं के लिए जानकारी उपलब्ध होती है। जब कोई सर्च इंजन उपयोगकर्ता सर्च इंजन में अपनी क्वेरी दर्ज करता है, तो यह सुनिश्चित करने के लिए कई त्वरित गणनाएं की जाती हैं कि सर्च इंजन अपने आगंतुक को उनकी क्वेरी के लिए सबसे प्रासंगिक प्रतिक्रिया देने के लिए परिणामों का सही सेट प्रस्तुत करता है।

अलग-अलग रोबोटों की पहचान करने और उनकी यात्राओं की संख्या की गणना के साथ-साथ, आंकड़े आपको आक्रामक बैंडविड्थ-हथियाने वाले रोबोट या रोबोट भी दिखा सकते हैं जिन्हें आप अपनी वेबसाइट पर नहीं देखना चाहते हैं। इस लेख के अंत के संसाधन अनुभाग में, आपको ऐसी साइटें मिलेंगी जो सर्च इंजन रोबोटों के नाम और आईपी पते सूचीबद्ध करती हैं ताकि आपको उनकी पहचान करने में मदद मिल सके।

सर्च इंजन रोबोट आपकी वेबसाइट पर पेज कैसे पढ़ते हैं?

जब सर्च इंजन रोबोट आपके पृष्ठ पर जाता है, तो यह पृष्ठ पर दृश्य पाठ, आपके पृष्ठ के स्रोत कोड में विभिन्न टैग की सामग्री (शीर्षक टैग, मेटा टैग, आदि) और आपके पृष्ठ पर हाइपरलिंक को देखता है। रोबोट को मिलने वाले शब्दों और लिंक से सर्च इंजन तय करता है कि आपका पेज किस बारे में है।

“क्या मायने रखता है” यह पता लगाने के लिए कई कारकों का उपयोग किया जाता है और जानकारी का मूल्यांकन और संसाधित करने के लिए प्रत्येक सर्च इंजन का अपना एल्गोरिदम होता है। सर्च इंजन के माध्यम से रोबोट कैसे स्थापित किया जाता है, इस पर निर्भर करते हुए, जानकारी को इंडेक्स किया जाता है और फिर सर्च इंजन के डेटाबेस में वितरित किया जाता है।

डेटाबेस को दी गई जानकारी तब सर्च इंजन और निर्देशिका रैंकिंग प्रक्रिया का हिस्सा बन जाती है। जब सर्च इंजन आगंतुक अपनी क्वेरी सबमिट करता है, तो सर्च इंजन अपने डेटाबेस के माध्यम से अंतिम सूची देने के लिए खोदता है जो परिणाम पृष्ठ पर प्रदर्शित होता है।

सर्च इंजन डेटाबेस अलग-अलग समय पर अपडेट होते हैं। एक बार जब आप सर्च इंजन डेटाबेस में होते हैं, तो रोबोट समय-समय पर आपके पास आते रहते हैं, आपके पृष्ठों में कोई भी परिवर्तन लेने के लिए, और यह सुनिश्चित करने के लिए कि उनके पास नवीनतम जानकारी है। आपके द्वारा विज़िट किए जाने की संख्या इस बात पर निर्भर करती है कि सर्च इंजन अपनी विज़िट कैसे सेट करता है, जो प्रति सर्च इंजन में भिन्न हो सकती है।

कभी-कभी विज़िटिंग रोबोट उस वेबसाइट तक पहुंचने में असमर्थ होते हैं, जिस पर वे जा रहे हैं। यदि आपकी साइट बंद है, या आप भारी मात्रा में ट्रैफ़िक का अनुभव कर रहे हैं, तो हो सकता है कि रोबोट आपकी साइट तक पहुँचने में सक्षम न हो। जब ऐसा होता है, तो आपकी वेबसाइट पर रोबोट द्वारा बार-बार आने के आधार पर वेबसाइट को फिर से इंडेक्स नहीं किया जा सकता है। ज्यादातर मामलों में, रोबोट जो आपके पृष्ठों तक नहीं पहुंच सकते, बाद में फिर से प्रयास करेंगे, इस उम्मीद में कि आपकी साइट तब पहुंच योग्य होगी।

सर्च इंजन रोबोट – वे कैसे काम करते हैं, वे क्या करते हैं | Search Engine Robots

अगर आपकी साइट सर्च इंजन में नहीं मिलती है, तो शायद इसका कारण यह है कि रोबोट इससे निपट नहीं सकते। यह साइट को सर्चने में सक्षम नहीं होने जितना आसान कुछ हो सकता है, या यह अधिक जटिल समस्याएं हो सकती हैं जिसमें रोबोट साइट को क्रॉल करने में सक्षम नहीं है या यह पता लगा सकता है कि आपके पृष्ठ क्या हैं।

अपनी साइट को प्रमुख सर्च इंजनों में सबमिट करना: जो “इसे नहीं ढूंढ सकता” समस्या से निपटने में मदद करेगा। यहां तक ​​​​कि आपकी साइट पर वापस जाने वाले लिंक भी सर्च इंजन रोबोट को आकर्षित करने के लिए पर्याप्त हो सकते हैं। उदाहरण के लिए, Google सुझाव देता है कि आपको अपने पृष्ठ सबमिट करने की आवश्यकता नहीं है; वे आपकी साइट को सर्च लेंगे यदि आपके पास वेब पर कम से कम एक अन्य साइट से उस पर वापस इंगित करने वाला लिंक है।

यदि रोबोट आपकी साइट को ढूंढ सकते हैं लेकिन उसका अर्थ नहीं निकाल सकते हैं, तो आपको अपने पृष्ठों पर उपयोग की जाने वाली सामग्री और तकनीक को देखने की आवश्यकता हो सकती है। जब सर्च इंजन रोबोट आपके वेब पृष्ठों तक पहुंचने का प्रयास करता है तो फ़्रेम, फ्लैश, गतिशील रूप से उत्पन्न पृष्ठ और अमान्य HTML स्रोत कोड समस्या पैदा कर सकते हैं। जबकि कुछ सर्च इंजन गतिशील रूप से उत्पन्न पृष्ठों और फ्लैश (जैसे Google और AllTheWeb) को इंडेक्स करने में सक्षम होने लगे हैं, इनमें से कुछ तकनीकों का उपयोग सर्च इंजन रोबोट द्वारा इंडेक्स होने की आपकी क्षमता में बाधा डाल सकता है।

छवियों में पाठ को सर्च इंजन रोबोट द्वारा नहीं पढ़ा जा सकता है। ALT छवि पाठ का उपयोग करना रोबोटों को आपकी छवियों को “पढ़ने” में मदद करने का एक महत्वपूर्ण तरीका है। व्यापक छवियों वाली वेबसाइटें अपनी सामग्री प्रस्तुत करने के लिए ALT पाठ पर बहुत अधिक निर्भर करती हैं।

मैं इंडेक्स से अधिकतम लाभ कैसे प्राप्त करूं? |  किसी वेबसाइट में Robot.txt File कहां मौजूद रहती है ?

यदि आप जानते हैं कि स्पाइडरिंग रोबोट को “फ़ीड” करना है तो आप सर्च इंजन रैंकिंग में स्वयं की सहायता करेंगे। अच्छी सामग्री से भरी वेबसाइट का होना प्रमुख कारक है। सर्च इंजन अपने आगंतुकों की सेवा के लिए मौजूद हैं, आपकी वेबसाइट को रैंक करने के लिए नहीं। आपको यह सुनिश्चित करने की आवश्यकता है कि आप अपनी साइट पर स्वयं को इस तरह प्रस्तुत करें जो सर्च इंजन आगंतुक के लिए सबसे उपयोगी हो।

प्रत्येक सर्च इंजन का अपना विचार होता है कि किसी पृष्ठ में क्या महत्वपूर्ण है, लेकिन वे सभी पाठ को अत्यधिक महत्व देते हैं। यह सुनिश्चित करना कि आपके पृष्ठों के टेक्स्ट में आपके सबसे महत्वपूर्ण कीवर्ड वाक्यांश शामिल हैं, सर्च इंजन को उन पृष्ठों की सामग्री का मूल्यांकन करने में मदद करेगा।

यह सुनिश्चित करना कि आपके पास अच्छा शीर्षक और मेटा टैग हैं, सर्च इंजन को यह समझने में सहायता करेंगे कि आपका पृष्ठ किस बारे में है। यदि पृष्ठ पर पाठ विजेट के बारे में है, शीर्षक विगेट्स के बारे में है, और मेटा टैग विगेट्स के बारे में हैं, तो सर्च इंजन के पास एक बहुत अच्छा विचार होगा कि आप सभी विजेट्स के बारे में हैं। जब उनके विज़िटर विजेट सर्चते हैं, तो सर्च इंजन आपकी साइट को परिणामों में सूचीबद्ध करना जानते हैं।

साइटमैप पेज सर्च इंजन रोबोट को आपके वेबसाइट पेजों तक पहुंचने का हर मौका देने का एक बहुत अच्छा तरीका है। चूंकि रोबोट आपके वेब पृष्ठों के लिंक पर क्लिक करते हैं, इसलिए सुनिश्चित करें कि कम से कम आपके सबसे महत्वपूर्ण पृष्ठ साइटमैप में शामिल हैं; आप अपनी साइट के आकार के आधार पर अपने सभी पृष्ठों को वहां शामिल करना चाह सकते हैं। अपनी साइट के प्रत्येक पृष्ठ से साइटमैप पृष्ठ का लिंक जोड़ना सुनिश्चित करें।

एक अन्य महत्वपूर्ण विचार यह है कि अपने सभी पृष्ठों को अपने शीर्ष पृष्ठ से “क्लिक” की एक छोटी संख्या के भीतर रखें। कई रोबोट दो या तीन स्तरों से अधिक गहरे लिंक का पालन नहीं करेंगे, इसलिए यदि आपके “विजेट” पृष्ठ को केवल आपके होम पेज से कई लिंक का पालन करके पहुंचा जा सकता है (उदाहरण के लिए होम पेज >> हमारे बारे में पेज >> उत्पाद पेज >> विजेट पेज ), हो सकता है कि रोबोट इतना गहरा क्रॉल न कर पाए कि विजेट पृष्ठ पर पहुंच सके।

सर्च इंजन रोबोट अभिगम्यता के लिए अपनी वेबसाइट का परीक्षण – यह जानने के लिए कि सर्च इंजन रोबोट आपके पृष्ठ पर “क्या देखता है”, आप सिम स्पाइडर टूल देख सकते हैं। आपको आश्चर्य हो सकता है कि आपकी साइट रोबोट से कितनी अलग दिखती है। आपको यह टूल [https://support.google.com/webmasters/answer/6062598?hl=hi] पर मिल सकता है।

आप परिणामों में टेक्स्ट और एएलटी इमेज टेक्स्ट दिखाई देंगे। अगर आपकी पूरी वेबसाइट फ्लैश में बनी है, तो आपको कुछ भी दिखाई नहीं देगा क्योंकि रोबोट फ्लैश मूवी को नहीं समझते हैं। जब सर्च इंजन रोबोट की बात आती है, तो सरलता से सोचें। ढेर सारी अच्छी सामग्री और टेक्स्ट, हाइपरलिंक जो रोबोट अनुसरण कर सकते हैं, आपके पृष्ठों का अनुकूलन, आपकी साइट पर वापस आने वाले सामयिक लिंक और एक साइटमैप रोबोट के आने पर सर्वोत्तम परिणामों का मदद करेगा।

Rate this post
Suraj Kushwaha
Suraj Kushwahahttp://techshindi.com
हैलो दोस्तों, मेरा नाम सूरज कुशवाहा है मै यह ब्लॉग मुख्य रूप से हिंदी में पाठकों को विभिन्न प्रकार के कंप्यूटर टेक्नोलॉजी पर आधारित दिलचस्प पाठ्य सामग्री प्रदान करने के लिए बनाया है।

Related Articles

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Stay Connected

0FansLike
0FollowersFollow
0SubscribersSubscribe
- Advertisement -

Latest Articles