زمان کنونی: ۹-۲-۱۴۰۳, ۱۲:۰۱ صبح درود مهمان گرامی! (ورودثبت نام)


ارسال پاسخ 
 
امتیاز موضوع:
  • 0 رأی - میانگین امتیازات: 0
  • 1
  • 2
  • 3
  • 4
  • 5
سوال مهم در مورد robots.txt
۲۶-۱۰-۱۳۹۳, ۰۶:۱۰ عصر
ارسال: #7
RE: سوال مهم در مورد robots.txt
دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

robote.txt خاصیتی که داره اجباری نیست . یعنی به گوگل یا یاهو میگه که فلان جا ور نبینید ولی اجباری در کار نیست بوتهای دیگه مثلا هیوا بعضا گوش نمیدن .
روش کامل بلوک کردن گوکل و بقیه رو از httaccess رو در پست بالا نوشتم .
حالت کلیش اینه .

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(Googlebot|HTTrack|Yandex).*$ [NC]
RewriteRule .* - [F,L]
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
 سپاس شده توسط صدرا حسابی ، Reza Ganji
ارسال پاسخ 


پیام‌های داخل این موضوع
سوال مهم در مورد robots.txt - leksoz - ۲۴-۱۰-۱۳۹۳, ۱۱:۲۹ صبح
RE: سوال مهم در مورد robots.txt - Reza Ganji - ۲۵-۱۰-۱۳۹۳, ۱۲:۲۷ صبح
RE: سوال مهم در مورد robots.txt - leksoz - ۲۵-۱۰-۱۳۹۳, ۰۴:۲۱ عصر
RE: سوال مهم در مورد robots.txt - صدرا حسابی - ۲۵-۱۰-۱۳۹۳, ۰۷:۴۹ عصر
RE: سوال مهم در مورد robots.txt - leksoz - ۲۶-۱۰-۱۳۹۳, ۰۱:۳۲ عصر
RE: سوال مهم در مورد robots.txt - صدرا حسابی - ۲۶-۱۰-۱۳۹۳, ۰۵:۱۴ عصر
RE: سوال مهم در مورد robots.txt - sajjad salehi - ۲۶-۱۰-۱۳۹۳ ۰۶:۱۰ عصر

پرش به انجمن:


کاربرانِ درحال بازدید از این موضوع: 1 مهمان