رام کردن روبات موتورهای جستجو

[mking]

با سلام خدمت تمامي دوستان
امروز يه مطلبي در مورد روبات موتور جستجو ديدم که گفتم براي بقيه دوستان هم اين مطلب رو بيارم خيلي مفيد هستش.

راه های فراوانی برای به اصطلاح رام کردن روبات موتورهای جستجو وجود دارد اما یکی از راه های مفید، استفاده از فایل robots.txt می باشد که توسط این فایل می توانید به روبات ها به نوعی دستور دهید که در چه تاریخ، چه زمان وارد و چه فایل و چه فولدری را ایندکس کند.
یکی از پارامتر های robots.txt زمان دیرکرد روبات ها است که توسط این پارامتر می توانید مشخص کنید روبات چقدر تأخیری داشته باشد.

کد: (انتخاب همه)

User-agent: *
Crawl-delay: 10

با انجام این کار باعث شدید که روبات ها هر 10 ثانیه یکبار به سایت شما سر بزند. البته قابل ذکر است که بی رتبه و بی مطلب در سایت این کار هیچ تأثیری ندارد.

چگونه فایل robots.txt رو بسازم ؟
- شما کافیست برای این کار فایلی با نام robots و با پسوند txt بسازید. توجه داشته باشید تمامی حروف باید کوچک باشد و برای هنگام ذخیره باید حالت ASCII-encoded text رو انتخاب کنید. با برنامه ای مثل notepad می توانید خیلی راحت این کار را انجام دهید.
ساده ترین فایل robots.txt شامل ۲ نقش است:
* User-agent : روبات های مجاز
* Disallow : صفحه های غیرمجاز
بطور مثال برای اجازه دادن به تمامی روبات های خزنده وب می تونید از دستور زیر استفاده کنید :

کد: (انتخاب همه)

User-agent: *

چند تا مثال کاربردی:
- جلوگیری از خوانده شدن محتوا برای تمامی موتورهای جستجو:

کد: (انتخاب همه)

User-agent: *  
Disallow: /

- جلوگیری از خوانده شدن محتوای ۴ پوشه مشخص شده :

کد: (انتخاب همه)

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

- جلوگیری از خواندن محتویات پوشه private توسط گوگل :

کد: (انتخاب همه)

User-agent: Googlebot
Disallow: /private/

- جلوگیری از خوانده شدن یک فایل خاص :

کد: (انتخاب همه)

User-agent: *
Disallow: /directory/file.html

- برای کامنت گذاری از # استفاده می شه. تمامی نوشته ها بعد از # در یک خط کامنت محسوب می شوند ( در نظر گرفته نمی شوند ).
- توجه داشته باشید که بزرگ و کوچک بودن آدرس ها مهم است

در آخر يه نمونه ديگه از دستورات

کد: (انتخاب همه)

User-agent: *
Crawl-delay: 10

User-Agent: *
Disallow: /cgi-bin/
Disallow: /templates/
Disallow: /administrator/
Disallow: /languages/
Host: www.tdic.ir

User-agent: *
Allow: /
Sitemap: http://tdic.ir/sitemap.xml
Host: www.tdic.ir

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.