پارس جوم ::  انجمن های تخصصی جوملا
ساسپند شدن سایت و مصرف اضافی پهنای باند - نسخه‌ی قابل چاپ

+- پارس جوم :: انجمن های تخصصی جوملا (https://forums.parsjoom.ir)
+-- انجمن: پشتیبانی (/forum-70.html)
+--- انجمن: مباحث و مشکلات عمومی (/forum-33.html)
+--- موضوع: ساسپند شدن سایت و مصرف اضافی پهنای باند (/thread-15387.html)

صفحه‌ها: 1 2


RE: ساسپند شدن سایت و مصرف اضافی پهنای باند - Reza Ganji - ۳۱-۳-۱۳۹۳ ۰۶:۵۸ صبح

سرورهای ایرانی به دلیل گران بودن پهنای باند سریع سایت رو مسدود میکنند.
سایت یکی از دوستان هم که اینطوری بود اومده روی سرور ما و مشکلی نداره و حتی مصرف پهنای باندش اونی نیست که بهش هاستینگ قبلی گفته بود از سی گیگی که اونها بهش گفتند الان چک کردم کلا دو گیگ مصرف کرده و تا آخر ماه میلادی شاید بشه سه گیگ.
فکر میکنم این مشکل یه جورایی به دایرکت ادمین یا سرورهای داخل ایران ربط داشته باشه.


RE: ساسپند شدن سایت و مصرف اضافی پهنای باند - eskafild - ۳۱-۳-۱۳۹۳ ۰۷:۴۲ صبح

الآن ساسپند شده فایل ها رو میدند بشه انتقالش داد؟Eyes


RE: ساسپند شدن سایت و مصرف اضافی پهنای باند - Reza Ganji - ۳۱-۳-۱۳۹۳ ۰۸:۲۲ صبح

بله چرا نمیدهند؟
خواستید فعلا یه هاست موقت بهتون میدم تا مشکلتون رو بعدا رفع کنید.
بهرحال شما از دوستان عزیز ما هستید.


RE: ساسپند شدن سایت و مصرف اضافی پهنای باند - eskafild - ۳۱-۳-۱۳۹۳ ۰۳:۴۲ عصر

ممنون آقای گنجی، همیشه زحمتمون با شماستRose


RE: ساسپند شدن سایت و مصرف اضافی پهنای باند - imaniman - ۳۱-۳-۱۳۹۳ ۰۷:۴۷ عصر

من در مورد مشکلتون نمیدونم ولی اینا میدونم که هاست منم یبار دچار حجم اضافه شده بود ولی با مکاتبه رفع ساسپند کردند و بنده حجم اضافی را پاک کردم نه اینکه بگن پول بده حجم بخر من ارور لوگ ها را پاک کردم


RE: ساسپند شدن سایت و مصرف اضافی پهنای باند - sayyid - ۱۰-۴-۱۳۹۳ ۰۵:۱۱ عصر

سلام
من یکی از اعضای تیم موتور جستجوی گرگر هستم. نام خزشگر (Crawler) ما hivaBot هست.
اون IP ای که آقای گنجی گفتن block کنید، مال خزشگر موتور ما هست.
اما نکته اینجاس که لطفاً block اش نکنید! به نظر می‌رسه مشکل از خزشگر ما نبوده.
من فایل لاگ شما رو بررسی کردم. تعداد کل درخواست‌هایی که در روز مورد نظر (20 June) دریافت کردید 3880 عدد بوده که از این تعداد 1708 تاش مال خزشگر ما بوده. اما نکته اینجاس که حجم صفحاتی که ما از شما گرفتیم خیلی کم بوده و نمی‌تونسته باعث suspend شدن شما بشه.

توسط اجرای این دستور در bash می‌تونید درخواست‌های hivaBot رو جداگانه مشاهده کنید:
کد:
AGENT="hivaBot"; grep $AGENT CMD_SHOW_LOG.txt | sed 's/^\(.*\) \(.*\) \(.*\) \[\(.*\)\] \"\(.*\)\" \(.*\) \(.*\) \"\(.*\)\" \"\(.*\)\"$/\7\t\9\t\5/g' | sort -nr
این دستور تمامی درخواست‌های hivaBot رو به ترتیب حجم صفحه‌ی دریافتی از سرور (از زیاد به کم) نمایش می‌ده.
همونطور که می‌بینید، بزرگترین صفحه‌ی دریافتی ما از شما، 1832 بایت بوده! آدرسش:
کد:
/component/mailto/?tmpl=component&template=untitled&link=aeaf1bd0cc11a4d148bf37989004116eac23b8ef
و مجموع کل دریافتی ما از شما در این لاگ، 976980 بایت (یعنی کمتر از یک مگابایت) بوده. در حالی که حجم کل صفحات موجود در این فایل لاگ، 47100255 بایت هست (یعنی حدود ۴۷ مگابایت). پس در این لاگی که گذاشتید، خزشگر ما حدود ۲٪ از پهنای باند شما رو اشغال کرده.

برای مشاهده‌ی بقیه‌ی درخواست‌ها (مرتب شده به ترتیب حجم صفحه‌ی دریافتی)، این دستور رو اجرا کنید:
کد:
AGENT="hivaBot"; grep -v $AGENT CMD_SHOW_LOG.txt | sed 's/^\(.*\) \(.*\) \(.*\) \[\(.*\)\] \"\(.*\)\" \(.*\) \(.*\) \"\(.*\)\" \"\(.*\)\"$/\7\t\9\t\5/g' | sort -nr
در خروجی مشاهده می‌کنید که اولین خط (یعنی بزرگترین درخواست) یک فایل یک مگابایتی بوده:
کد:
1043254 Mozilla/5.0 (Windows NT 6.1; rv:13.0) Gecko/20100101 Firefox/13.0.1     GET /images/stories/%D9%88%D8%B2%DB%8C%D8%B1%20%D9%86%DB%8C%D8%B1%D9%88/salar_pouyan_28.JPG HTTP/1.1
و تعدادی عکس بزرگ هم در ادامه می‌بینید. اگه ۱۰۰ تا درخواست اول رو مشاهده کنید، می‌بینید که مجموع حجمشون شده 40091492 بایت (یعنی حدود ۴۰ مگابایت) که هیچ کدومش از طرف خزشگر ما نبوده:
کد:
AGENT="hivaBot"; cat CMD_SHOW_LOG.txt | sed 's/^\(.*\) \(.*\) \(.*\) \[\(.*\)\] \"\(.*\)\" \(.*\) \(.*\) \"\(.*\)\" \"\(.*\)\"$/\7\t\9\t\5/g' | sort -nr | head -n 100 | grep $AGENT

همه‌ی اینها نشونه‌ی این هستن که مشکل از خزشگر hivaBot نبوده. (دقت کنید که خزشگر ما اصلاً به سراغ عکس‌ها نمی‌ره و بنابراین منطقی نیست که پهنای باند زیادی مصرف کنه)
اما نکته‌ای که هست اینه که این فایل لاگ که گذاشتید (اولیه رو می‌گم)، مال 20 June هست در حالی که اون یکی فایل نشون می‌ده مشکل از روز 14 June شروع شده که پهنای باند مصرفی از 184104 کیلوبایت (حدود ۱۸۰ مگابایت) در روز گذشته به 4141108 کیلوبایت (حدود ۴.۱ گیگابایت) افزایش پیدا کرده و ۳-۴ روز در همین وضعیت بوده. اگه بتونید فایل access log روز 14 June رو هم اینجا بفرستید، می‌شه بررسی کرد که مشکل از کجا بوده.

اما این که چرا تعداد زیادی درخواست از خزشگر ما برای ارسال ایمیل بوده:
خزشگر، صفحات یک سایت رو یکی یکی دریافت می‌کنه و بعد از تحلیل، لینک‌های موجود در صفحه رو استخراج کرده و اون‌ها رو هم دریافت می‌کنه. حالا این پیوند (link) خاص یعنی
کد:
/component/mailto/?tmpl=component&template=untitled&link=...
که خزشگر ما هی درخواست داده براش، دلیلش این بوده که توی صفحات مختلف شما این پیوند موجود بوده و در نتیجه خزشگر رفته این رو هم بگیره. البته جا داره خزشگر رو یه مقدار هوشمندتر کنیم که بفهمه این پیوند مال صفحه‌ی ارسال ایمیل هست و دیگه نره سراغش (چون به درد موتور جستجو نمی‌خوره).

لطفاً هر چه زودتر لاگ روز ۱۴ ژوئن رو بفرستید که بررسی کنیم و اگر مشکلی از سمت خزشگر ما هست برطرفش کنیم. ممنون.