वेब स्पाइडरिंग और वेब क्रॉलर की परिभाषा

विषयसूची:

स्पैमर स्पाइडर वेबसाइट्स सूचना एकत्र करने के लिए
अनचाहे रोबोट क्रॉलर से आपकी वेबसाइट की सुरक्षा के लिए टिप्स
संबंधित लेख और जानकारी

स्पाइडर प्रोग्राम (या स्वचालित स्क्रिप्ट) हैं जो डेटा की तलाश में वेब के माध्यम से 'क्रॉल' करते हैं। मकड़ियों वेबसाइट यूआरएल के माध्यम से यात्रा करते हैं और ईमेल पतों जैसे वेब पेजों से डेटा खींच सकते हैं। मकड़ियों का उपयोग वेबसाइटों पर पाई जाने वाली सूचनाओं को खोज इंजनों में फीड करने के लिए भी किया जाता है।

मकड़ियों, जिन्हें 'वेब क्रॉलर' भी कहा जाता है, वे वेब पर खोज करते हैं और सभी अपने इरादे के अनुकूल नहीं होते हैं।

स्पैमर स्पाइडर वेबसाइट्स सूचना एकत्र करने के लिए

गूगल, याहू! और अन्य खोज इंजन केवल रेंगने वाली वेबसाइटों में रुचि रखने वाले नहीं हैं - इसलिए स्कैमर और स्पैमर हैं।

वेबसाइटों पर ईमेल पते खोजने के लिए स्पाइडर और अन्य स्वचालित टूल का उपयोग स्पैमर्स द्वारा किया जाता है (इंटरनेट पर इस अभ्यास को अक्सर वेबसाइटों पर 'कटाई' के रूप में संदर्भित किया जाता है) और फिर स्पैम सूची बनाने के लिए उनका उपयोग किया जाता है।

मकड़ियों भी एक उपकरण है जो खोज इंजन द्वारा आपकी वेबसाइट के बारे में अधिक जानकारी प्राप्त करने के लिए उपयोग किया जाता है लेकिन अनियंत्रित छोड़ दिया जाता है, निर्देशों के बिना एक वेबसाइट (या, आपकी साइट को क्रॉल करने के लिए 'अनुमतियां') प्रमुख सूचना सुरक्षा जोखिम पेश कर सकती हैं। स्पाइडर निम्नलिखित लिंक से यात्रा करते हैं, और वे डेटाबेस, प्रोग्राम फ़ाइलों और अन्य जानकारी के लिंक खोजने में बहुत माहिर होते हैं, जिनके लिए आप उन्हें एक्सेस नहीं करना चाहते हैं।

वेबमास्टर्स लॉग देखने के लिए देख सकते हैं कि मकड़ियों और अन्य रोबोट ने अपनी साइटों पर क्या दौरा किया है। यह जानकारी वेबमास्टर्स को यह जानने में मदद करती है कि उनकी साइट को कौन अनुक्रमित कर रहा है, और कितनी बार।

यह जानकारी उपयोगी है क्योंकि यह वेबमास्टरों को अपने एसईओ को ठीक करने और रोबोट.टेक्स्ट फ़ाइलों को अपडेट करने की अनुमति देती है ताकि भविष्य में कुछ रोबोटों को उनकी साइट को क्रॉल करने से रोका जा सके।

अनचाहे रोबोट क्रॉलर से आपकी वेबसाइट की सुरक्षा के लिए टिप्स

अवांछित क्रॉलर को अपनी वेबसाइट से बाहर रखने का एक सरल तरीका है। यहां तक कि अगर आपको अपनी साइट पर रेंगने वाले दुर्भावनापूर्ण मकड़ियों के बारे में चिंता नहीं है (ईमेल पते को बाधित करने से आपको अधिकांश क्रॉलर से सुरक्षा नहीं मिलेगी), आपको अभी भी महत्वपूर्ण निर्देशों के साथ खोज इंजन प्रदान करने की आवश्यकता है।

सभी वेबसाइटों में रूट निर्देशिका में स्थित एक फाइल होनी चाहिए, जिसे robots.txt फ़ाइल कहा जाता है। यह फ़ाइल आपको वेब क्रॉलर को निर्देश देने की अनुमति देती है, जहां आप चाहते हैं कि वे अनुक्रमणिका पृष्ठ देखें (जब तक कि किसी विशिष्ट पृष्ठ के मेटा डेटा में कोई अनुक्रमित न होने के लिए कहा गया हो) यदि वे एक खोज इंजन हैं।

जिस तरह आप चाहते हैं कि क्रॉलर बताएं कि आप उन्हें कहां ब्राउज़ करना चाहते हैं, आप उन्हें यह भी बता सकते हैं कि वे कहां नहीं जा सकते हैं और यहां तक कि आपकी पूरी वेबसाइट से विशिष्ट क्रॉलर ब्लॉक भी कर सकते हैं।

यह ध्यान रखना महत्वपूर्ण है कि एक अच्छी तरह से एक साथ रखी गई robots.txt फ़ाइल में खोज इंजन के लिए जबरदस्त मूल्य होगा और यहां तक कि आपकी वेबसाइट के प्रदर्शन को बेहतर बनाने में एक महत्वपूर्ण तत्व हो सकता है, लेकिन कुछ रोबोट क्रॉलर अभी भी आपके निर्देशों की अनदेखी करेंगे। इस कारण से, आपके सभी सॉफ़्टवेयर, प्लगइन्स और एप्लिकेशन को हर समय अद्यतित रखना महत्वपूर्ण है।