ساسپند شدن سایت و مصرف اضافی پهنای باند
|
۱۰-۴-۱۳۹۳, ۰۵:۱۱ عصر
ارسال: #16
|
|||
|
|||
RE: ساسپند شدن سایت و مصرف اضافی پهنای باند
سلام
من یکی از اعضای تیم موتور جستجوی گرگر هستم. نام خزشگر (Crawler) ما hivaBot هست. اون IP ای که آقای گنجی گفتن block کنید، مال خزشگر موتور ما هست. اما نکته اینجاس که لطفاً block اش نکنید! به نظر میرسه مشکل از خزشگر ما نبوده. من فایل لاگ شما رو بررسی کردم. تعداد کل درخواستهایی که در روز مورد نظر (20 June) دریافت کردید 3880 عدد بوده که از این تعداد 1708 تاش مال خزشگر ما بوده. اما نکته اینجاس که حجم صفحاتی که ما از شما گرفتیم خیلی کم بوده و نمیتونسته باعث suspend شدن شما بشه. توسط اجرای این دستور در bash میتونید درخواستهای hivaBot رو جداگانه مشاهده کنید: کد: (انتخاب همه) AGENT="hivaBot"; grep $AGENT CMD_SHOW_LOG.txt | sed 's/^\(.*\) \(.*\) \(.*\) \[\(.*\)\] \"\(.*\)\" \(.*\) \(.*\) \"\(.*\)\" \"\(.*\)\"$/\7\t\9\t\5/g' | sort -nr همونطور که میبینید، بزرگترین صفحهی دریافتی ما از شما، 1832 بایت بوده! آدرسش: کد: (انتخاب همه) /component/mailto/?tmpl=component&template=untitled&link=aeaf1bd0cc11a4d148bf37989004116eac23b8ef برای مشاهدهی بقیهی درخواستها (مرتب شده به ترتیب حجم صفحهی دریافتی)، این دستور رو اجرا کنید: کد: (انتخاب همه) AGENT="hivaBot"; grep -v $AGENT CMD_SHOW_LOG.txt | sed 's/^\(.*\) \(.*\) \(.*\) \[\(.*\)\] \"\(.*\)\" \(.*\) \(.*\) \"\(.*\)\" \"\(.*\)\"$/\7\t\9\t\5/g' | sort -nr کد: (انتخاب همه) 1043254 Mozilla/5.0 (Windows NT 6.1; rv:13.0) Gecko/20100101 Firefox/13.0.1 GET /images/stories/%D9%88%D8%B2%DB%8C%D8%B1%20%D9%86%DB%8C%D8%B1%D9%88/salar_pouyan_28.JPG HTTP/1.1 کد: (انتخاب همه) AGENT="hivaBot"; cat CMD_SHOW_LOG.txt | sed 's/^\(.*\) \(.*\) \(.*\) \[\(.*\)\] \"\(.*\)\" \(.*\) \(.*\) \"\(.*\)\" \"\(.*\)\"$/\7\t\9\t\5/g' | sort -nr | head -n 100 | grep $AGENT همهی اینها نشونهی این هستن که مشکل از خزشگر hivaBot نبوده. (دقت کنید که خزشگر ما اصلاً به سراغ عکسها نمیره و بنابراین منطقی نیست که پهنای باند زیادی مصرف کنه) اما نکتهای که هست اینه که این فایل لاگ که گذاشتید (اولیه رو میگم)، مال 20 June هست در حالی که اون یکی فایل نشون میده مشکل از روز 14 June شروع شده که پهنای باند مصرفی از 184104 کیلوبایت (حدود ۱۸۰ مگابایت) در روز گذشته به 4141108 کیلوبایت (حدود ۴.۱ گیگابایت) افزایش پیدا کرده و ۳-۴ روز در همین وضعیت بوده. اگه بتونید فایل access log روز 14 June رو هم اینجا بفرستید، میشه بررسی کرد که مشکل از کجا بوده. اما این که چرا تعداد زیادی درخواست از خزشگر ما برای ارسال ایمیل بوده: خزشگر، صفحات یک سایت رو یکی یکی دریافت میکنه و بعد از تحلیل، لینکهای موجود در صفحه رو استخراج کرده و اونها رو هم دریافت میکنه. حالا این پیوند (link) خاص یعنی کد: (انتخاب همه) /component/mailto/?tmpl=component&template=untitled&link=... لطفاً هر چه زودتر لاگ روز ۱۴ ژوئن رو بفرستید که بررسی کنیم و اگر مشکلی از سمت خزشگر ما هست برطرفش کنیم. ممنون. |
|||
|
کاربرانِ درحال بازدید از این موضوع: 1 مهمان