ඔබේ වෙබ් අඩවියේ මුල ගබඩා කර ඇති රොබට්ස්.txt ගොනුවක් සෙවුම් එන්ජිමක් වැනි වෙබ් රොබෝවරු පවසන ඒවාට බාගත කිරීමට ඉඩ ලබා දෙන බහලුම් සහ ගොනු. Robots.txt ගොනුවක් භාවිතා කිරීමට පහසුය, නමුත් ඔබට මතක තබා ගත යුතු කරුණු කිහිපයක් තිබේ:
- Black hat web robots ඔබගේ රොබෝස්.txt ගොනුව නොසලකා හරිනු ඇත. වඩාත්ම සුලභ වර්ග නම් අන්තරාදායක බට් සහ රොබෝවරු අස්වැන්න නෙලා ගැනීමට සොයයි.
- සමහර නව වැඩසටහන්කරුවන් robots.txt ගොනුව නොසලකා හරින රොබෝවරු ලියනු ඇත. මෙය සාමාන්යයෙන් වරදක් සිදු කරයි.
- ඔබගේ රොබෝස්.txt ගොනුවේ ඕනෑම කෙනෙකුට දැකගත හැකිය. ඔවුන් සෑම විටම robots.txt යනුවෙන් හඳුන්වනු ලබන අතර වෙබ් අඩවියේ මූලයන් සෑම විටම ගබඩා කර ඇත.
- අවසාන වශයෙන්, ඔබගේ රොබෝස්.txt ගොනුව මඟින් ඔවුන්ගේ රොබෝට්ස්.txt ගොනුවෙන් බැහැර නොවූ පිටුවක සිට ගොනු හෝ ඩිරෙක්ටරියට සම්බන්ධ වන්නේ නම්, සෙවුම් ඇන්ජින් කෙසේ හෝ සොයාගත හැකිය.
වැදගත් කිසිවක් සඟවා ගැනීමට robots.txt ගොනු භාවිතා නොකරන්න. ඒ වෙනුවට, ආරක්ෂිත මුරපද පිටුපස වැදගත් තොරතුරු තබා හෝ වෙබ් අඩවි සම්පූර්ණයෙන්ම ඉවත් කළ යුතුය.
මෙම ආදර්ශ දත්තයන් භාවිතා කරන්නේ කෙසේද?
ඔබට අවශ්ය දේට සමීපතම නියැදියකින් පෙළ පිටපත් කරන්න, ඔබේ රොබෝස්.txt ගොනුවට ඇලවීම. ඔබගේ වඩාත් කැමති මානකරණයට ගැලපෙන පරිදි රොබෝව, බහලුම සහ ගොනු නාම වෙනස් කරන්න.
මූලික Robots.txt ගොනු දෙකක්
පරිශීලක-නියෝජිත: *
Disallow: /
මෙම ගොනුව කියවන්නේ ඕනෑම රොබෝවක (User-Agent: *) වෙබ් අඩවියේ සෑම පිටුවක්ම නොසලකා හරිනු නොලැබේ: /).
පරිශීලක-නියෝජිත: *
අකමැති:
මෙම ගොනුව කියවන්නේ ඕනෑම රොබෝවක (User-Agent: *) වෙබ් අඩවියේ සෑම පිටුවක්ම බැලීමට ඉඩ ලබා දෙන බවයි (Disallow:).
ඔබේ robots.txt ගොනුව හිස් හෝ ඔබේ වෙබ් අඩවියේ කිසිවක් නොමැති වීමෙන් ඔබට මෙය කළ හැකිය.
රොබෝවරු වෙතින් විශේෂිත නාමාවලි
පරිශීලක-නියෝජිත: *
Disallow: / cgi-bin /
Disallow: / temp /
මෙම ගොනුව කියවන්නේ ඕනෑම රොබෝවක් (User-Agent: *) විසින් බහලුම / cgi-bin / සහ / temp / (Disallow: / cgi-bin / Disallow: / temp /) නොසලකා හරින බවයි.
රොබෝවරුන් වෙතින් නිශ්චිත පිටු ආරක්ෂා කරන්න
පරිශීලක-නියෝජිත: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
මෙම ගොනුව කියවන්නේ ඕනෑම රොබෝවක (User-Agent: *) ගොනු /jenns-stuff.htm සහ /private.php (නොගැලපේ: /jenns-stuff.htm Disallow: /private.php) නොසලකා හරින බවයි.
ඔබගේ වෙබ් අඩවියට පිවිසීමෙන් විශේෂිත රොබෝවරයා වළක්වා ගන්න
පරිශීලක-නියෝජිත: Lycos / xx
Disallow: /
මෙම ගොනුව පවසන්නේ Lycos bot (පරිශීලක-නියෝජිත: Lycos / xx) අඩවියේ ඕනෑම ස්ථානයකට ප්රවේශ වීමට ඉඩ නොදෙන බවයි (Disallow: /) බවයි.
එක් විශේෂිත රොබෝවෙක් සඳහා අවසර දෙන්න
පරිශීලක-නියෝජිත: *
Disallow: /
පරිශීලක-නියෝජිත: Googlebot
අකමැති:
මෙම ගොනුව මුලින්ම අප වැනි සියලු රොබෝව ප්රතික්ෂේප කර පසුව, Googlebot (User-Agent: Googlebot) සියල්ලටම ප්රවේශ වීමට ඉඩ සලසයි. (Disallow:).
හරියටම ඔබට අවශ්ය විකෘති ලබාගැනීම සඳහා බහු මාර්ග ඒකාබද්ධ කිරීම
පරිශීලක-නියෝජිතයා වැනි * ඉතා සංකීර්ණ පරිශීලක-නියෝජිත නියෝජිතයෙකු භාවිතා කිරීමට වඩා හොඳය, ඔබ කැමති පරිදි විශේෂිත විය හැකිය. රොබෝවරු එම ලිපිගොනුව කියවා ඇති බව මතක තබා ගන්න. එබැවින් සෑම රොබෝවරයකටම සෑම දෙයක්ම අවහිර කර ඇති බව පළමු පේළි ප්රකාශ කර තිබේ නම්, ඉන්පසුව පසුව ගොනුවේ සියලුම රොබෝවරුන්ට සියල්ලට ප්රවේශය ලබා දෙන බව පවසන විට, රොබෝවරුන්ට සෑම දෙයකම ප්රවේශය ලැබෙනු ඇත.
ඔබේ robots.txt ගොනුව නිවැරදිව ලියා ඇත්දැයි ඔබ විශ්වාස නොකරන්නේ නම්, ඔබගේ රොබෝස්.txt ගොනුව පරික්ෂා කිරීමට හෝ නව එකක් ලිවීමට Google ගූගල් මෙවලම් මෙවලම් භාවිතා කළ හැකිය.