رام کردن روبات موتورهای جستجو

رام کردن روبات موتورهای جستجو - نسخه‌ی قابل چاپ

+- پارس جوم :: انجمن های تخصصی جوملا (https://forums.parsjoom.ir)
+-- انجمن: طراحی وب (/forum-21.html)
+--- انجمن: نیازهای طراحی وب (/forum-22.html)
+---- انجمن: سايت هاي مفيد براي طراحان (/forum-73.html)
+---- موضوع: رام کردن روبات موتورهای جستجو (/thread-1586.html)

رام کردن روبات موتورهای جستجو - mking - ۴-۵-۱۳۹۰ ۱۰:۴۹ عصر

با سلام خدمت تمامي دوستان
امروز يه مطلبي در مورد روبات موتور جستجو ديدم که گفتم براي بقيه دوستان هم اين مطلب رو بيارم خيلي مفيد هستش.

راه های فراوانی برای به اصطلاح رام کردن روبات موتورهای جستجو وجود دارد اما یکی از راه های مفید، استفاده از فایل robots.txt می باشد که توسط این فایل می توانید به روبات ها به نوعی دستور دهید که در چه تاریخ، چه زمان وارد و چه فایل و چه فولدری را ایندکس کند.
یکی از پارامتر های robots.txt زمان دیرکرد روبات ها است که توسط این پارامتر می توانید مشخص کنید روبات چقدر تأخیری داشته باشد.

کد: 

User-agent: *

Crawl-delay: 10

با انجام این کار باعث شدید که روبات ها هر 10 ثانیه یکبار به سایت شما سر بزند. البته قابل ذکر است که بی رتبه و بی مطلب در سایت این کار هیچ تأثیری ندارد.

چگونه فایل robots.txt رو بسازم ؟
- شما کافیست برای این کار فایلی با نام robots و با پسوند txt بسازید. توجه داشته باشید تمامی حروف باید کوچک باشد و برای هنگام ذخیره باید حالت ASCII-encoded text رو انتخاب کنید. با برنامه ای مثل notepad می توانید خیلی راحت این کار را انجام دهید.
ساده ترین فایل robots.txt شامل ۲ نقش است:
* User-agent : روبات های مجاز
* Disallow : صفحه های غیرمجاز
بطور مثال برای اجازه دادن به تمامی روبات های خزنده وب می تونید از دستور زیر استفاده کنید :

کد: 

User-agent: *

چند تا مثال کاربردی:
- جلوگیری از خوانده شدن محتوا برای تمامی موتورهای جستجو:

کد: 

User-agent: *  

Disallow: /

- جلوگیری از خوانده شدن محتوای ۴ پوشه مشخص شده :

کد: 

User-agent: *

Disallow: /cgi-bin/

Disallow: /images/

Disallow: /tmp/

Disallow: /private/

- جلوگیری از خواندن محتویات پوشه private توسط گوگل :

کد: 

User-agent: Googlebot

Disallow: /private/

- جلوگیری از خوانده شدن یک فایل خاص :

کد: 

User-agent: *

Disallow: /directory/file.html

- برای کامنت گذاری از # استفاده می شه. تمامی نوشته ها بعد از # در یک خط کامنت محسوب می شوند ( در نظر گرفته نمی شوند ).
- توجه داشته باشید که بزرگ و کوچک بودن آدرس ها مهم است

در آخر يه نمونه ديگه از دستورات

کد: 

User-agent: *

Crawl-delay: 10

User-Agent: *

Disallow: /cgi-bin/

Disallow: /templates/

Disallow: /administrator/

Disallow: /languages/

Host: www.tdic.ir

User-agent: *

Allow: /

Sitemap: http://tdic.ir/sitemap.xml

Host: www.tdic.ir

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

RE: رام کردن روبات موتورهای جستجو - mking - ۵-۶-۱۳۹۰ ۰۷:۲۷ عصر

با سلام
توي آدرس سايت زير مي تونيد آدرس سايت خودتون رو بديد تا سايت فايل (Robots.txt) رو براتون بررسي کنه.

کد: 

http://www.sxw.org.uk/computing/robots/check.html

توي سايت زير مي تونيد توضيحاتي پيرامون فايل (Robots.txt) رو ببينيد و همچنين نحوه استفاده از دستورات را با مثال ذکر کرده.

کد: 

http://www.robotstxt.org/orig.html

RE: رام کردن روبات موتورهای جستجو - mal2moh - ۱۲-۷-۱۳۹۱ ۰۱:۲۸ صبح

سلام
توی وب مستر پیام داده
Googlebot can't access your site
چکار باید بکنم تا مشکل برطرف بشه ؟

RE: رام کردن روبات موتورهای جستجو - Reza Ganji - ۱۲-۷-۱۳۹۱ ۰۱:۴۲ صبح

خوب باید ببنید دلیلش چیه !
شما چه کارهایی انجام دادید ؟
اگر مربوط به این تاپیک میشه همینجا پیگیری کنید و در غیر اینصورت در انجمن مشکلات پیگیری کنید !

RE: رام کردن روبات موتورهای جستجو - mking - ۱۲-۷-۱۳۹۱ ۰۳:۳۴ عصر

دوست گرامی فایل Robot.txt شامل چه مواردی هستش Macho

و اگر این فایل رو در وب مستر گوگل خودتون معرفی کردید مجددا آن را حذف کنید و دوباره مسیر دهی کنید (بهتر است مسیر بر روی روت سایت خودتون باشه

)...
برای پرسش و پاسخ در این زمینه در انجمن مشکلات تاپیک جدید ایجاد کنید

موفق و موید باشید

RE: رام کردن روبات موتورهای جستجو - mal2moh - ۷-۱۰-۱۳۹۱ ۰۳:۳۵ عصر

سلام
من بررسی های زیادی انجام دادم
اول اینکه لینک بررسی بالا مشکل داره و از لینک
دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

استفاده کنید
مشکل اصلی رو در هاست پیدا کردم
من چند هاست رو بررسی کردم اما فقط تمام سایت هایی که در یک هاست وجود داشتند مشکل Googlebot can't access your site رو نشون داد
حالا از کجای هاست هست نیز در حال بررسی اون هستم و نتیجه رو هم همینجا اعلام می کنم

من آدرسی رو در لینک بالا بررسی کردم برخی موارد هاست در دسترسی نبود و سایت بررسی کننده پیام connection time out رو می داد که فکر میکنم این مسئله بی تاثیر نباشه