Google о том, как не нужно уменьшать сканирование ботом

... последние несколько месяцев мы заметили всплеск среди владельцев сайтов и некоторых CDN, которые намеренно используют  код ошибки 404  или похожие 4xx (это не касается ошибки 429) для того, чтобы уменьшить частоту сканирования нашим ботом. Должен отметить... ... частоту сканирования Гуглботом. И, увы, ошибок 403 и 404 в них нет". А вам приходилось ограничивать сканирование со стороны Google? Как вы этого добивались?

Google , сканирование , частота , Гуглбот , код ошибки , 403 , 404

Путь: Главная / Новости интернет

Что нужно делать, если сайт "лег" надолго?

Свой рецепт имеется у ведущей поисковой системы. Свой рецепт имеется у ведущей поисковой системы. Рекомендации Google владельцам сайтов, которые отключаются кратковременно (на срок не более суток), хорошо известны – настроить на этот период... ... вариантов может выглядеть так: найти хостера, который допускает наличие HTML-файлов и установку кода ответа для страниц с ошибкой 404; настроить для 404-страниц код ответа 503; прописать свой DNS. В результате таких действий, уверяет эксперт, ошибка 503 будет...

Google , статические страницы , код ответа сервера , отключение , индекс , 503 , 404

Путь: Главная / Новости интернет