پارس جوم :: انجمن های تخصصی جوملا
سوال مهم در مورد robots.txt - نسخه‌ی قابل چاپ

+- پارس جوم :: انجمن های تخصصی جوملا (https://forums.parsjoom.ir)
+-- انجمن: پشتیبانی (/forum-70.html)
+--- انجمن: مباحث و مشکلات عمومی (/forum-33.html)
+--- موضوع: سوال مهم در مورد robots.txt (/thread-17109.html)

سوال مهم در مورد robots.txt - leksoz - ۲۴-۱۰-۱۳۹۳ ۱۱:۲۹ صبح

سلام سلام
اقا این فایل با نام:
robots.txt
داخل روت هاست بنده قرار گرفته
خوب حالا محتوی ان یه سری لینک موجوده...ایا اون ادرس بعد اسلش ها به معنی این هستش که موتورهای جستجو گر اون اسم بعد از ادرس سایت رو فیلتر کنن توی نمایش هاشون؟؟؟

ببینید الان این کد های بنده هستش:

کد:
# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *
Disallow: /component/
Disallow: /80-portfolio/
Disallow: /composite-mounting-methods/
Disallow: /component/content/
Disallow: /component/taxonomy/
Disallow: /architecture-building/

خوب حالا با توجه به جمله : Disallow: /component/ در کد بالا این لینک در گوگل فیلتر میشه حالا ؟؟؟؟

کد:
adrese sitam/component/matlab

یعنی اون بخش matlab تو سرچ گوگل فیلتر میشه؟

RE: سوال مهم در مورد robots.txt - Reza Ganji - ۲۵-۱۰-۱۳۹۳ ۱۲:۲۷ صبح

درود
هرجا در این فایل نوشته Allow شما به Disallow تغییر بدید.
میتونید برای اینکه فقط کسانی که مایل هستید سایت رو ببیند روی پوشه public_html از طریق سی پنل پسورد بزارید.یا مطالب رو فقط برای اعضا منتشر کنید و منوهای ایجاد شده هم دسترسی اعضا بدید.

RE: سوال مهم در مورد robots.txt - leksoz - ۲۵-۱۰-۱۳۹۳ ۰۴:۲۱ عصر

نه فقط میخام گوگل لینکهامو ایندکس نکنه
اقا گوگل ایندکس نکنه کل مطالب های سایتم رو
چه کدی قرار بدم

RE: سوال مهم در مورد robots.txt - صدرا حسابی - ۲۵-۱۰-۱۳۹۳ ۰۷:۴۹ عصر

اگه فقط می خواید گوگل کلا سایتتون رو ایندکس نکنه از این کد استفاده کنید:
کد:
User-agent: Googlebot
Disallow: /


RE: سوال مهم در مورد robots.txt - leksoz - ۲۶-۱۰-۱۳۹۳ ۰۱:۳۲ عصر

یکم بیشتر توضیح بدید
الان فایل مورد نظر رو باز کردم
کلا پاک میکنم کد هاشو
و چی توش بزارم سیو کنم
؟
ممنون

RE: سوال مهم در مورد robots.txt - صدرا حسابی - ۲۶-۱۰-۱۳۹۳ ۰۵:۱۴ عصر

بله اگه فقط همین براتون مهمه می تونید فقط این کد رو داخل robot.txt بزارید:
کد:
User-agent: Googlebot
Disallow: /

یا می تونید در کنار موارد دیگه که به صورت پیشفرض تعیین شده در جوملا استفاده کنید:(این مورد پیشنهاد می شود و فقط اگر خواستید Disallow: /images/ را از کد زیر حذف کنید)

کد:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

User-agent: Googlebot
Disallow: /


RE: سوال مهم در مورد robots.txt - sajjad salehi - ۲۶-۱۰-۱۳۹۳ ۰۶:۱۰ عصر

دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.

robote.txt خاصیتی که داره اجباری نیست . یعنی به گوگل یا یاهو میگه که فلان جا ور نبینید ولی اجباری در کار نیست بوتهای دیگه مثلا هیوا بعضا گوش نمیدن .
روش کامل بلوک کردن گوکل و بقیه رو از httaccess رو در پست بالا نوشتم .
حالت کلیش اینه .

کد:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(Googlebot|HTTrack|Yandex).*$ [NC]
RewriteRule .* - [F,L]