زمان کنونی: ۹-۱-۱۴۰۳, ۰۹:۴۷ عصر درود مهمان گرامی! (ورودثبت نام)


ارسال پاسخ 
 
امتیاز موضوع:
  • 0 رأی - میانگین امتیازات: 0
  • 1
  • 2
  • 3
  • 4
  • 5
سوال مهم در مورد robots.txt
۲۴-۱۰-۱۳۹۳, ۱۱:۲۹ صبح
ارسال: #1
سوال مهم در مورد robots.txt
سلام سلام
اقا این فایل با نام:
robots.txt
داخل روت هاست بنده قرار گرفته
خوب حالا محتوی ان یه سری لینک موجوده...ایا اون ادرس بعد اسلش ها به معنی این هستش که موتورهای جستجو گر اون اسم بعد از ادرس سایت رو فیلتر کنن توی نمایش هاشون؟؟؟

ببینید الان این کد های بنده هستش:

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *
Disallow: /component/
Disallow: /80-portfolio/
Disallow: /composite-mounting-methods/
Disallow: /component/content/
Disallow: /component/taxonomy/
Disallow: /architecture-building/

خوب حالا با توجه به جمله : Disallow: /component/ در کد بالا این لینک در گوگل فیلتر میشه حالا ؟؟؟؟

adrese sitam/component/matlab

یعنی اون بخش matlab تو سرچ گوگل فیلتر میشه؟
امضاء leksoz
سایتهای بنده:
دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.
مشاهده‌ی وب‌سایت کاربر یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
۲۵-۱۰-۱۳۹۳, ۱۲:۲۷ صبح
ارسال: #2
RE: سوال مهم در مورد robots.txt
درود
هرجا در این فایل نوشته Allow شما به Disallow تغییر بدید.
میتونید برای اینکه فقط کسانی که مایل هستید سایت رو ببیند روی پوشه public_html از طریق سی پنل پسورد بزارید.یا مطالب رو فقط برای اعضا منتشر کنید و منوهای ایجاد شده هم دسترسی اعضا بدید.
امضاء Reza Ganji
انجمن پارس جوم
مشاهده‌ی وب‌سایت کاربر یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
 سپاس شده توسط sajjad salehi
۲۵-۱۰-۱۳۹۳, ۰۴:۲۱ عصر
ارسال: #3
RE: سوال مهم در مورد robots.txt
نه فقط میخام گوگل لینکهامو ایندکس نکنه
اقا گوگل ایندکس نکنه کل مطالب های سایتم رو
چه کدی قرار بدم
امضاء leksoz
سایتهای بنده:
دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.
مشاهده‌ی وب‌سایت کاربر یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
۲۵-۱۰-۱۳۹۳, ۰۷:۴۹ عصر
ارسال: #4
RE: سوال مهم در مورد robots.txt
اگه فقط می خواید گوگل کلا سایتتون رو ایندکس نکنه از این کد استفاده کنید:
User-agent: Googlebot
Disallow: /
امضاء صدرا حسابی
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
 سپاس شده توسط Reza Ganji
۲۶-۱۰-۱۳۹۳, ۰۱:۳۲ عصر
ارسال: #5
RE: سوال مهم در مورد robots.txt
یکم بیشتر توضیح بدید
الان فایل مورد نظر رو باز کردم
کلا پاک میکنم کد هاشو
و چی توش بزارم سیو کنم
؟
ممنون
امضاء leksoz
سایتهای بنده:
دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.
مشاهده‌ی وب‌سایت کاربر یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
۲۶-۱۰-۱۳۹۳, ۰۵:۱۴ عصر
ارسال: #6
RE: سوال مهم در مورد robots.txt
بله اگه فقط همین براتون مهمه می تونید فقط این کد رو داخل robot.txt بزارید:
User-agent: Googlebot
Disallow: /

یا می تونید در کنار موارد دیگه که به صورت پیشفرض تعیین شده در جوملا استفاده کنید:(این مورد پیشنهاد می شود و فقط اگر خواستید Disallow: /images/ را از کد زیر حذف کنید)

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

User-agent: Googlebot
Disallow: /
امضاء صدرا حسابی
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
 سپاس شده توسط sajjad salehi ، Reza Ganji
۲۶-۱۰-۱۳۹۳, ۰۶:۱۰ عصر
ارسال: #7
RE: سوال مهم در مورد robots.txt
دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

robote.txt خاصیتی که داره اجباری نیست . یعنی به گوگل یا یاهو میگه که فلان جا ور نبینید ولی اجباری در کار نیست بوتهای دیگه مثلا هیوا بعضا گوش نمیدن .
روش کامل بلوک کردن گوکل و بقیه رو از httaccess رو در پست بالا نوشتم .
حالت کلیش اینه .

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(Googlebot|HTTrack|Yandex).*$ [NC]
RewriteRule .* - [F,L]
یافتن تمامی ارسال‌های این کاربر
نقل قول این ارسال در یک پاسخ بازگشت به بالا
 سپاس شده توسط صدرا حسابی ، Reza Ganji
ارسال پاسخ 


پرش به انجمن:


کاربرانِ درحال بازدید از این موضوع: 1 مهمان