Резкий скачок нагрузки на хостинг

Сообщений: 64 Регистрация: Авг 2014

2 Марта 2015 14:57

Здравствуйте. Имеется сайт на wordpress. Установлен плагин WP super cache. Средняя нагрузка на хостинг в день была около 3 СР по данным панели управления.Однако в последнее время наблюдаю резкий скачок нагрузки до 17-20 СР. Включил логи.
Очень часто появляется следующая строка.

Код

217.69.134.62 - - [01/Mar/2015:00:08:22 +0300] "GET /sitemap-pt-post-2014-06.xml.gz HTTP/1.1" 200 2412 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)"

Как я понял это идет запрос на карту сайта в формате .xml.gz. Причем запрос идет с разных IP адресов из схожего диапазона. Например: 217.69.134.62, 217.69.134.65, 217.69.134.134 и т. д.
Думаю заблокировать эти IP, но есть сомнения: может это бот поисковика mail.ru.
Может кто-нибудь из форумчан посоветовать, что делать.

Beget - хороший и недорогой хостинг

Coder

Сообщений: 10438 Регистрация: Мар 2013

2 Марта 2015 15:08

Попробуйте для роботов (или для поставить задержку

Код
User-agent: Mail.Ru Crawl-delay: 2 # задает таймаут в 2 секунды

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Vight

Сообщений: 64 Регистрация: Авг 2014

2 Марта 2015 15:25

Coder, спасибо за ответ.
У меня в файле robots.txt уже имеется строка:

Код
User-agent: * Crawl-delay: 10

Может для Mail.ru не работает smile:confused:

Belka

Сообщений: 688 Регистрация: Апр 2010

2 Марта 2015 15:35

Цитата
Может для Mail.ru не работает

Похоже, что только:
User-Agent: Mail.Ru
Disallow: /

Бот Mail.Ru игнорирует директиву Crawl-delay.
Либо увеличить ресурсы...

Вооружение разных стран Мира.

Лучшие VDS по лучшим ценам.

Coder

Сообщений: 10438 Регистрация: Мар 2013

2 Марта 2015 15:39

Цитата
Vight пишет: Может для Mail.ru

Пожалуйста)

Отдельно для Mail выше по приоритету для него - из док. по mail. Поэтому - попробуйте.

Если, конечно, это у вас действительно робот с mail...

Belka

Сообщений: 688 Регистрация: Апр 2010

2 Марта 2015 15:56

Это сборщик mail.ru - fetcher.mail.ru. Создает серьезную нагрузку на сайт и, следовательно хостинг. Если нет личного смысла и толку от поисковика mail.ru, то можно просто заблокировать.

Vight

Сообщений: 64 Регистрация: Авг 2014

2 Марта 2015 16:00

Попробую тогда настроить файл роботс. Потестирую денек другой. О результатах отпишусь позже.

Цитата
Belka пишет: Либо увеличить ресурсы...

Понятно, что можно ресурсы увеличить. Просто интересно в причинах разобраться. Ведь ничего не делал с сайтом, только статьи добавлял. Сайт давно настроен и никаких изменений в настройках не было. Просто в один день нагрузка увеличилась 6-8 раз и все. Кстати в те дни когда смотрел логи подобных строчек с данных ip вообще не было. (Может 1-2 на весь файл.) А тут прям десятками повылазили.

Belka

Сообщений: 688 Регистрация: Апр 2010

2 Марта 2015 16:05

Vight, а бот mail.ru в принципе неспешный. Когда-то пришел и ко мне, устроив настоящий армагеддон на сервере. Даже сейчас, на VDS, нагрузка серьезно возрастает, когда начинается индексация.

sharkson

Сообщений: 5425 Регистрация: Янв 2014

2 Марта 2015 16:52

Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} mail.ru [NC]
RewriteRule .* - [F]
</ifModule>

НАДЕЖНЫЙ И НЕДОРОГОЙ ХОСТИНГ ТУТ
НЕДОРОГОЙ ХОСТИНГ
ПРОДАМ БЛОГ ЖЖ
СОЗДАНИЕ И НАСТРОЙКА MediaWiki и phpbb3

flash

Сообщений: 270 Регистрация: Дек 2010

#10

2 Марта 2015 17:25

может это ДДОС?

Крауд-маркетинг от 10-15 руб за вечную трафиковую ссылку на форумах. Постинг в соц.сети и др.

Качественный хостинг Моментальная поддержка. Бесплатный ssl-сертификат

Vight

Сообщений: 64 Регистрация: Авг 2014

#11

2 Марта 2015 17:26

sharkson, спасибо за еще один способ.
Обязательно попробую после небольшого теста с роботс.

Цитата
Belka пишет: а бот mail.ru в принципе неспешный

Действительно. Сайт небольшой - около 250 страниц. Но бот уже несколько дней (если не неделю) спокойно себе грузит и все...

Vight

Сообщений: 64 Регистрация: Авг 2014

#12

2 Марта 2015 18:52

flash, не знаю. В техническом плане я нуб. Поэтому буду пробовать пока варианты, которые мне под силу. Благо пока до предела нагрузки далеко.

Vight

Сообщений: 64 Регистрация: Авг 2014

#13

16 Марта 2015 20:42

sharkson, спасибо.
Ваш способ помог. Нагрузка уменьшилась до прежнего уровня.
Спасибо всем, кто помогал своими советами.

webmaster md

Сообщений: 35 Регистрация: Мар 2015

#14

20 Марта 2015 11:03

У меня на одном сервере тестовом уже три дня подряд нагрузка 100%. Пока небыло времени разбираться, но думаю что тоже какой-то бот шалит, если нагрузка не упадет, придется копаться в логах. Причем страницы нормально отдаются, как всегда, а вот зайти на него по RDP не получается, вернее получается но работать невозможно.

Создание и продвижение сайтов в Молдове webmaster.md Разработка мобильных приложений...

Coder

Сообщений: 10438 Регистрация: Мар 2013

#15

20 Марта 2015 11:10

Цитата
webmaster md пишет: придется копаться в логах

Обязательно. Некоторое время назад не дос, но уж очень агрессивно (скачивали сайт, может быть) - 2 американских ip, превышение жесткого лимита на шареде в 2,7, примерно, раза - пока не забанил, не успокоились.

Второй вариант - скрипты - задержка с выполнением в php (sleep) вызывает повышенный фон нагрузки от номинала (обычного среднего состояния), примерно в два раза (скрипт по крону в одну минуту).

Похожие темы:

22.01.2021 14:32

Резкий рост прямых заходов на сайт

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
16:55 Яндекс прекращает поддержку технологии Турбо 16:44 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 16:38 ру гембла 10:59 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 09:06 Бесплатные посещения 01:10 Adsense личный опыт 22:07 Помогите найти шаблон	04:14 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 21:36 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 20:25 TrueMeds - Революционная Фарма Партнерка! Увеличь свой профит в x2 раза вместе с нами! 19:14 Анализ курсов и недежности обменников - Kurs.Expert 18:02 Новый обменный сервис «Money-office» 16:31 Качественные услуги по телеграм (инвайт, рассылка)(Invite, mailing list) 15:46 CoinCapital	03:08 Точные прогнозы на футбол 00:55 С юмором по жизни! 10:05 Китайский ИИ-ассистент DeepSeek начали запрещать в некоторых странах 21:05 Telegram не смог провести различие между требованиями автократических режимов и законными демократическими запросами 08:12 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 07:48 США готовят закон для уничтожения пиратских сайтов во всех странах мира 02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet