زمان کنونی: ۱۰-۱-۱۴۰۳, ۰۱:۵۴ صبح درود مهمان گرامی! (ورودثبت نام)


ارسال پاسخ 
 
امتیاز موضوع:
  • 1 رأی - میانگین امتیازات: 5
  • 1
  • 2
  • 3
  • 4
  • 5
رام کردن روبات موتورهای جستجو
۴-۵-۱۳۹۰, ۱۰:۴۹ عصر
ارسال: #1
رام کردن روبات موتورهای جستجو
با سلام خدمت تمامي دوستان
امروز يه مطلبي در مورد روبات موتور جستجو ديدم که گفتم براي بقيه دوستان هم اين مطلب رو بيارم خيلي مفيد هستش.
[تصویر:  robotstxt.jpg]
راه های فراوانی برای به اصطلاح رام کردن روبات موتورهای جستجو وجود دارد اما یکی از راه های مفید، استفاده از فایل robots.txt می باشد که توسط این فایل می توانید به روبات ها به نوعی دستور دهید که در چه تاریخ، چه زمان وارد و چه فایل و چه فولدری را ایندکس کند.
یکی از پارامتر های robots.txt زمان دیرکرد روبات ها است که توسط این پارامتر می توانید مشخص کنید روبات چقدر تأخیری داشته باشد.
User-agent: *
Crawl-delay: 10
با انجام این کار باعث شدید که روبات ها هر 10 ثانیه یکبار به سایت شما سر بزند. البته قابل ذکر است که بی رتبه و بی مطلب در سایت این کار هیچ تأثیری ندارد.

چگونه فایل robots.txt رو بسازم ؟

- شما کافیست برای این کار فایلی با نام robots و با پسوند txt بسازید. توجه داشته باشید تمامی حروف باید کوچک باشد و برای هنگام ذخیره باید حالت ASCII-encoded text رو انتخاب کنید. با برنامه ای مثل notepad می توانید خیلی راحت این کار را انجام دهید.
ساده ترین فایل robots.txt شامل ۲ نقش است:
* User-agent : روبات های مجاز
* Disallow : صفحه های غیرمجاز
بطور مثال برای اجازه دادن به تمامی روبات های خزنده وب می تونید از دستور زیر استفاده کنید :
User-agent: *
چند تا مثال کاربردی:
- جلوگیری از خوانده شدن محتوا برای تمامی موتورهای جستجو:
User-agent: *  
Disallow: /
- جلوگیری از خوانده شدن محتوای ۴ پوشه مشخص شده :


User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

- جلوگیری از خواندن محتویات پوشه private توسط گوگل :


User-agent: Googlebot
Disallow: /private/

- جلوگیری از خوانده شدن یک فایل خاص :
User-agent: *
Disallow: /directory/file.html

- برای کامنت گذاری از # استفاده می شه. تمامی نوشته ها بعد از # در یک خط کامنت محسوب می شوند ( در نظر گرفته نمی شوند ).
- توجه داشته باشید که بزرگ و کوچک بودن آدرس ها مهم است

در آخر يه نمونه ديگه از دستورات
User-agent: *
Crawl-delay: 10

User-Agent: *
Disallow: /cgi-bin/
Disallow: /templates/
Disallow: /administrator/
Disallow: /languages/
Host: www.tdic.ir

User-agent: *
Allow: /
Sitemap: http://tdic.ir/sitemap.xml
Host: www.tdic.ir

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.
امضاء mking
وب سایت 365 - بزودی
مشاهده‌ی وب‌سایت کاربر یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
 سپاس شده توسط Reza Ganji ، Mojtaba Pordel ، shahryar warez ، مرتضی محمدجانی ، پیام عمرانی ، شاهین سمیع عادل ، rezaee ، hasan512 ، احسان افشاری ، mal2moh ، محمدرضا بهارلو ، Zhyar ، btheme ، zaban26
۵-۶-۱۳۹۰, ۰۷:۲۷ عصر
ارسال: #2
RE: رام کردن روبات موتورهای جستجو
با سلام
توي آدرس سايت زير مي تونيد آدرس سايت خودتون رو بديد تا سايت فايل (Robots.txt) رو براتون بررسي کنه.

http://www.sxw.org.uk/computing/robots/check.html

توي سايت زير مي تونيد توضيحاتي پيرامون فايل (Robots.txt) رو ببينيد و همچنين نحوه استفاده از دستورات را با مثال ذکر کرده.

http://www.robotstxt.org/orig.html
امضاء mking
وب سایت 365 - بزودی
مشاهده‌ی وب‌سایت کاربر یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
 سپاس شده توسط مرتضی محمدجانی ، Reza Ganji ، محمدرضا بهارلو ، Zhyar ، zaban26
۱۲-۷-۱۳۹۱, ۰۱:۲۸ صبح
ارسال: #3
RE: رام کردن روبات موتورهای جستجو
سلام
توی وب مستر پیام داده
Googlebot can't access your site
چکار باید بکنم تا مشکل برطرف بشه ؟
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
۱۲-۷-۱۳۹۱, ۰۱:۴۲ صبح
ارسال: #4
RE: رام کردن روبات موتورهای جستجو
خوب باید ببنید دلیلش چیه !
شما چه کارهایی انجام دادید ؟
اگر مربوط به این تاپیک میشه همینجا پیگیری کنید و در غیر اینصورت در انجمن مشکلات پیگیری کنید !
امضاء Reza Ganji
انجمن پارس جوم
مشاهده‌ی وب‌سایت کاربر یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
 سپاس شده توسط mal2moh ، mking
۱۲-۷-۱۳۹۱, ۰۳:۳۴ عصر
ارسال: #5
RE: رام کردن روبات موتورهای جستجو
دوست گرامی فایل Robot.txt شامل چه مواردی هستشMacho و اگر این فایل رو در وب مستر گوگل خودتون معرفی کردید مجددا آن را حذف کنید و دوباره مسیر دهی کنید (بهتر است مسیر بر روی روت سایت خودتون باشهOk)...
برای پرسش و پاسخ در این زمینه در انجمن مشکلات تاپیک جدید ایجاد کنیدOk
موفق و موید باشید
امضاء mking
وب سایت 365 - بزودی
مشاهده‌ی وب‌سایت کاربر یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
 سپاس شده توسط محمدسلیمانی ، mal2moh ، صدرا حسابی ، Reza Ganji
۷-۱۰-۱۳۹۱, ۰۳:۳۵ عصر
ارسال: #6
RE: رام کردن روبات موتورهای جستجو
سلام
من بررسی های زیادی انجام دادم
اول اینکه لینک بررسی بالا مشکل داره و از لینک
دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

استفاده کنید
مشکل اصلی رو در هاست پیدا کردم
من چند هاست رو بررسی کردم اما فقط تمام سایت هایی که در یک هاست وجود داشتند مشکل Googlebot can't access your site رو نشون داد
حالا از کجای هاست هست نیز در حال بررسی اون هستم و نتیجه رو هم همینجا اعلام می کنم

من آدرسی رو در لینک بالا بررسی کردم برخی موارد هاست در دسترسی نبود و سایت بررسی کننده پیام connection time out رو می داد که فکر میکنم این مسئله بی تاثیر نباشه
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
 سپاس شده توسط Reza Ganji
ارسال پاسخ 


پرش به انجمن:


کاربرانِ درحال بازدید از این موضوع: 1 مهمان