رام کردن روبات موتورهای جستجو
|
۴-۵-۱۳۹۰, ۱۰:۴۹ عصر
ارسال: #1
|
|||
|
|||
رام کردن روبات موتورهای جستجو
با سلام خدمت تمامي دوستان
امروز يه مطلبي در مورد روبات موتور جستجو ديدم که گفتم براي بقيه دوستان هم اين مطلب رو بيارم خيلي مفيد هستش. راه های فراوانی برای به اصطلاح رام کردن روبات موتورهای جستجو وجود دارد اما یکی از راه های مفید، استفاده از فایل robots.txt می باشد که توسط این فایل می توانید به روبات ها به نوعی دستور دهید که در چه تاریخ، چه زمان وارد و چه فایل و چه فولدری را ایندکس کند. یکی از پارامتر های robots.txt زمان دیرکرد روبات ها است که توسط این پارامتر می توانید مشخص کنید روبات چقدر تأخیری داشته باشد. کد: (انتخاب همه) User-agent: * چگونه فایل robots.txt رو بسازم ؟ - شما کافیست برای این کار فایلی با نام robots و با پسوند txt بسازید. توجه داشته باشید تمامی حروف باید کوچک باشد و برای هنگام ذخیره باید حالت ASCII-encoded text رو انتخاب کنید. با برنامه ای مثل notepad می توانید خیلی راحت این کار را انجام دهید. ساده ترین فایل robots.txt شامل ۲ نقش است: * User-agent : روبات های مجاز * Disallow : صفحه های غیرمجاز بطور مثال برای اجازه دادن به تمامی روبات های خزنده وب می تونید از دستور زیر استفاده کنید : کد: (انتخاب همه) User-agent: * - جلوگیری از خوانده شدن محتوا برای تمامی موتورهای جستجو: کد: (انتخاب همه) User-agent: * کد: (انتخاب همه) User-agent: * - جلوگیری از خواندن محتویات پوشه private توسط گوگل : کد: (انتخاب همه) User-agent: Googlebot - جلوگیری از خوانده شدن یک فایل خاص : کد: (انتخاب همه) User-agent: * - برای کامنت گذاری از # استفاده می شه. تمامی نوشته ها بعد از # در یک خط کامنت محسوب می شوند ( در نظر گرفته نمی شوند ). - توجه داشته باشید که بزرگ و کوچک بودن آدرس ها مهم است در آخر يه نمونه ديگه از دستورات کد: (انتخاب همه) User-agent: * دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید. دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید. |
|||
|
۵-۶-۱۳۹۰, ۰۷:۲۷ عصر
ارسال: #2
|
|||
|
|||
RE: رام کردن روبات موتورهای جستجو
با سلام
توي آدرس سايت زير مي تونيد آدرس سايت خودتون رو بديد تا سايت فايل (Robots.txt) رو براتون بررسي کنه. کد: (انتخاب همه) http://www.sxw.org.uk/computing/robots/check.html توي سايت زير مي تونيد توضيحاتي پيرامون فايل (Robots.txt) رو ببينيد و همچنين نحوه استفاده از دستورات را با مثال ذکر کرده. کد: (انتخاب همه) http://www.robotstxt.org/orig.html |
|||
|
۱۲-۷-۱۳۹۱, ۰۱:۲۸ صبح
ارسال: #3
|
|||
|
|||
RE: رام کردن روبات موتورهای جستجو
سلام
توی وب مستر پیام داده Googlebot can't access your site چکار باید بکنم تا مشکل برطرف بشه ؟ |
|||
۱۲-۷-۱۳۹۱, ۰۱:۴۲ صبح
ارسال: #4
|
|||
|
|||
RE: رام کردن روبات موتورهای جستجو
خوب باید ببنید دلیلش چیه !
شما چه کارهایی انجام دادید ؟ اگر مربوط به این تاپیک میشه همینجا پیگیری کنید و در غیر اینصورت در انجمن مشکلات پیگیری کنید ! |
|||
|
۱۲-۷-۱۳۹۱, ۰۳:۳۴ عصر
ارسال: #5
|
|||
|
|||
RE: رام کردن روبات موتورهای جستجو
دوست گرامی فایل Robot.txt شامل چه مواردی هستش و اگر این فایل رو در وب مستر گوگل خودتون معرفی کردید مجددا آن را حذف کنید و دوباره مسیر دهی کنید (بهتر است مسیر بر روی روت سایت خودتون باشه)...
برای پرسش و پاسخ در این زمینه در انجمن مشکلات تاپیک جدید ایجاد کنید موفق و موید باشید |
|||
|
۷-۱۰-۱۳۹۱, ۰۳:۳۵ عصر
ارسال: #6
|
|||
|
|||
RE: رام کردن روبات موتورهای جستجو
سلام
من بررسی های زیادی انجام دادم اول اینکه لینک بررسی بالا مشکل داره و از لینک دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید. استفاده کنید مشکل اصلی رو در هاست پیدا کردم من چند هاست رو بررسی کردم اما فقط تمام سایت هایی که در یک هاست وجود داشتند مشکل Googlebot can't access your site رو نشون داد حالا از کجای هاست هست نیز در حال بررسی اون هستم و نتیجه رو هم همینجا اعلام می کنم من آدرسی رو در لینک بالا بررسی کردم برخی موارد هاست در دسترسی نبود و سایت بررسی کننده پیام connection time out رو می داد که فکر میکنم این مسئله بی تاثیر نباشه |
|||
|
|
کاربرانِ درحال بازدید از این موضوع: 1 مهمان