Если яндекс создает нагрузку на сервер (хостинг)
В robots.txt пишем след
Тем самым мы даем доступ к боту только в 1 запрос в это время.
Для остальных аналогично
Блокируя роботов в .htaccess, если есть нагрузка на сервер:
Баним вебархив, msn бота и дальше поисковых по IP
Далее по аналогичному варианту добавляем бан других ботов (ищем User-Agent и добавляем, или по IP) можно узнать из последних посетителей на сайте (на любом хосте есть подобная функция).
В robots.txt пишем след
Цитата |
---|
User-agent: Yandex
Crawl-delay: 10 # задает таймаут в 10 секунд |
Тем самым мы даем доступ к боту только в 1 запрос в это время.
Для остальных аналогично
Блокируя роботов в .htaccess, если есть нагрузка на сервер:
Цитата |
---|
SetEnvIfNoCase User-Agent "^ia_archiver" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=search_bot Deny from 87.118.86.131 Deny from 89.149.241 Deny from 89.149.242 Deny from 89.149.243 Deny from 89.149.244 </Limit> |
Баним вебархив, msn бота и дальше поисковых по IP
Далее по аналогичному варианту добавляем бан других ботов (ищем User-Agent и добавляем, или по IP) можно узнать из последних посетителей на сайте (на любом хосте есть подобная функция).
Изменено:
lol_cp - 24 Июня 2018 16:42