ஸ்பைடர் மற்றும் வலை கிராலர்ஸின் வரையறை

சிலந்திகள் & வலை கிராலர்கள்: வலைத்தள தரவு பாதுகாக்க உங்களுக்குத் தேவை

ஸ்பைடர்ஸ் தரவுகளை தேடும் வலை மூலம் 'வலைவலம்' என்று நிரல்கள் (அல்லது தானியங்கி ஸ்கிரிப்டுகள்) ஆகும். ஸ்பைடர்ஸ் வலைத்தள URL கள் வழியாக பயணிக்க முடியும் மற்றும் மின்னஞ்சல் முகவரிகளைப் போன்ற வலைப்பக்கங்களிலிருந்து தரவை இழுக்க முடியும். ஸ்பைடர்ஸ் வலைத்தளங்களில் தேடுபொறிகளுக்குத் தேவையான தகவல்களைப் பெற பயன்படுகிறது.

ஸ்பைடர்ஸ், 'வலை க்ராலர்ஸ்' எனும் இணையத்தளத்தையும் தேடுகின்றன, அவை அனைத்துமே அவர்களது விருப்பப்படி நட்பாக இல்லை.

தகவல் சேகரிக்க ஸ்பாம்டர் ஸ்பைடர் இணையதளங்கள்

Google, Yahoo!

மற்றும் மற்ற தேடுபொறிகள் வலைத்தளங்களை ஊடுருவலில் ஆர்வமுள்ளவை அல்ல - எனவே அவை ஸ்கேமர்கள் மற்றும் ஸ்பேமர்கள்.

ஸ்பைடர்ஸ் மற்றும் பிற தானியங்கு கருவிகள் ஸ்பேமர்களால் மின்னஞ்சல் முகவரிகள் (வலைத்தளங்களில் இந்த நடைமுறை பெரும்பாலும் 'அறுவடை' என அழைக்கப்படுகிறது) வலைத்தளங்களில் கண்டுபிடிக்கப்பட்டு ஸ்பேம் பட்டியலை உருவாக்க அவற்றைப் பயன்படுத்துகின்றன.

ஸ்பைடர்ஸ் உங்கள் வலைத்தளத்தைப் பற்றிய கூடுதல் தகவலைக் கண்டறிய, தேடுபொறிகளால் பயன்படுத்தப்படும் ஒரு கருவியாகும், ஆனால் உங்கள் தளத்தை எவ்வாறு தேடுவது என்பது முக்கிய தகவல் பாதுகாப்பு அபாயங்களை வழங்கலாம் என்பதற்கான வழிமுறைகளை (அல்லது, 'அனுமதிகளை' ஸ்பைடர்ஸ் பின்வரும் இணைப்புகளால் பயணிக்கப்படுகிறது, மேலும் அவை தரவுத்தளங்கள், நிரல் கோப்புகள் மற்றும் பிற அணுகலுக்கான இணைப்புகளை கண்டறிவதில் மிகவும் திறமையானவை.

ஸ்பைடர்ஸ் மற்றும் பிற ரோபோக்கள் தங்கள் தளங்களை பார்வையிட்டிருப்பதைப் பார்ப்பதற்கு வெப்மாஸ்டர்கள் பதிவைப் பார்க்கலாம். இந்தத் தகவல் வெப்மாஸ்டர்களுக்கு அவர்களின் தளத்தை யார் குறியாக்குகிறது, மற்றும் எத்தனை அடிக்கடி தெரியுமா உதவுகிறது.

இந்த தகவல் பயனுள்ளதாக இருக்கும், ஏனென்றால் இது வலைதளங்கள் தங்கள் எஸ்சிஓ மற்றும் robot.txt கோப்புகளை எதிர்காலத்தில் தங்கள் தளத்தை ஊடுருவி இருந்து சில ரோப்களை தடை செய்ய அனுமதிக்கிறது.

தேவையற்ற ரோபோ கிரால்களிலிருந்து உங்கள் வலைத்தளத்தைப் பாதுகாப்பதற்கான உதவிக்குறிப்புகள்

உங்கள் வலைத்தளத்தில் இருந்து தேவையற்ற கிராலர்கள் வெளியே வைக்க ஒரு எளிய வழி உள்ளது. உங்கள் தளத்தை ஊடுருவக்கூடிய தீங்கிழைக்கும் சிலந்திகளைப் பற்றி நீங்கள் அக்கறை கொள்ளவில்லை என்றால், (மின்னஞ்சல் முகவரி அகற்றப்படுவது, உங்களை மிகவும் பாதுகாப்பற்றவர்களிடமிருந்து பாதுகாக்காது), நீங்கள் முக்கியமான வழிமுறைகளுடன் தேடல் இயந்திரங்கள் வழங்க வேண்டும்.

அனைத்து வலைத்தளங்களும் ஒரு robots.txt கோப்பில் அழைக்கப்படும் ரூட் அடைவில் அமைந்துள்ள ஒரு கோப்பைக் கொண்டிருக்க வேண்டும். வலைப்பக்கங்களில் நீங்கள் தேடுபொறிகளுக்கு அறிவுறுத்துவதன் மூலம் இந்த குறியீட்டை அனுமதிக்கலாம். (தேடுபொறிகளாக இருந்தால் ஒரு குறிப்பிட்ட பக்கத்தின் மெட்டா தரவுகளில் குறியிடப்படாதவை இல்லையென்றாலன்றி) குறியீட்டு பக்கங்களை பார்க்க வேண்டும்.

நீங்கள் அவர்களை உலாவ விரும்புகிறீர்களே, எங்கே வேண்டுமானாலும் சொல்லலாம் என நீங்கள் கூறலாம் போலவே, உங்கள் முழு வலைத்தளத்திலிருந்தும் குறிப்பிட்ட கிராலர்களைத் தடுக்கவும் கூட அவர்கள் போகக்கூடாது எனவும் அவர்களிடம் சொல்லவும் முடியும்.

ஒரு வலுவான ஒன்றாக robots.txt கோப்பு தேடுபொறிகளுக்கு மிகப்பெரிய மதிப்பைக் கொண்டிருக்கும், மேலும் உங்கள் வலைத்தளத்தின் செயல்திறனை மேம்படுத்துவதில் முக்கிய உறுப்புகளாக இருக்கலாம் என்பதை நினைவில் கொள்ள வேண்டியது முக்கியம், ஆனால் சில ரோபோ கிராலர்கள் இன்னும் உங்கள் வழிமுறைகளை புறக்கணிப்பார்கள். இந்த காரணத்திற்காக, உங்கள் எல்லா மென்பொருட்களையும், செருகுநிரல்களையும், பயன்பாடுகளையும் அவ்வப்போது வைத்திருக்க வேண்டியது அவசியம்.

தொடர்புடைய கட்டுரைகள் மற்றும் தகவல்

மோசமான (ஸ்பேம்) நோக்கங்களுக்காக பயன்படுத்தப்படும் தகவல் அறுவடையின் காரணமாக, சில நடைமுறைகளை சட்டவிரோதமாகச் செயல்படுத்த 2003 இல் சட்டம் இயற்றப்பட்டது. இந்த நுகர்வோர் பாதுகாப்பு சட்டங்கள் 2003 ஆம் ஆண்டின் CAN-SPAM சட்டத்தின் கீழ் வருகின்றன.

உங்கள் வியாபாரத்தை எந்தவிதமான அஞ்சல் அஞ்சல் அல்லது தகவல் அறுவடையில் ஈடுபடுத்தினால், CAN-SPAM சட்டத்தின் மீது நீங்கள் படிக்க வேண்டிய நேரம் இது முக்கியம்.

ஸ்பேம் எதிர்ப்பு சட்டங்கள் மற்றும் ஸ்பேமர்களை எப்படி சமாளிக்கலாம், மேலும் வணிக உரிமையாளராக நீங்கள் என்ன செய்யலாம் என்பதைக் குறித்து பின்வரும் கட்டுரைகளைப் படித்து தெரிந்து கொள்ளலாம்: