Резкий скачок нагрузки на хостинг
Страницы: Пред. 1 2
Резкий скачок нагрузки на хостинг
У меня в логах тоже оказывается безобразие.Например IP 78.25.123.200 за 5 секунд больше 50 раз обращался к одной странице. 
Интересно, что ip-inspector.com показывает место его нахождения - Большой Кремлевский Дворец.
Много в логах и других IP, ведущих себя аналогично. 
Как с этим бороться? Как банить чтобы боты Яндекса и Гугла не забанить?
Может прописать в robots.txt

[TABLE]

[TR][TD]
User-agent: *
Crawl-delay: 10

[/TD][/TR]

[/TABLE]

а со следующего дня (или с какого?) смотреть логи и тех, кто частит - в бан? и прицепом бота mail.ru о котором говорилось выше.Как вы с этим боретесь?
Не будешь же по одному IP проверять и гадать, уж не Яндекса ли бот забрел? Их же немало...
Цитата
sharkson пишет:
Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} mail.ru [NC]
RewriteRule .* - [F]
</ifModule>

Стало актуально для меня. данный код мэйл проигнорировал, продолжает запрашивать по кругу сайтмап -)
Кстати вот это тоже не помогло 
Код
User-agent: Mail.Ru
Crawl-delay: 15
Disallow: /*.xml 
Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.
Цитата
Виктор пишет:
Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.

Так проблема в том, что ему плевать на роботс и htaccess. Помогло только письмо в техподдежку.
можно заблокировать сеть IP, если Crawl-delay не доходит
No pain, no gain
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
17:19 Индексация страниц 
14:47 Google покинул Россию: Сервисы под угрозой! 
14:44 YouTube усиливает борьбу с азартными играми: новые ограничения вступят в силу 19 марта 
14:41 Продажи через видео: Wildberries запускает свой видеосервис 
20:15 Adfinity - Ваш надежный партнер в монетизации трафика 
20:04 Устали от Пустых Обещаний? Market-Place.su даёт реальные деньги! 
18:50 Как сделать ссылку видимой на вордпресс тема Jarida ? 
20:08 Куплю wp админки 
19:40 SwapPix.io - быстрый и безопасный обменник криптовалют. 
16:22 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
15:32 Онлайн обменник PONYBIT.RU - это выгодные курсы и низкие комиссии 
15:02 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 
14:06 Заработок на криптовалюте, обмен через биржи за % 
11:15 Бустмаркет 
20:16 В мае 2025 года компания Skype прекращает свою работу 
19:57 С юмором по жизни! 
18:01 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 
15:07 Потеря для пиратского интернета: основатель Pirate Bay погиб! 
14:36 Wildberries бросает вызов «Почте России» и «Авито» – новая доставка уже в деле! 
14:33 Финансовая диета: самозапрет на покупки может стать реальностью 
06:04 Точные прогнозы на футбол