Здравствуйте, просматривая метрику начал замечать, частенько стал посещать робот Site-Shot, кто знает что за он и стоит ли блокировать?
#1
27 Октября 2017 10:36
Здравствуйте, просматривая метрику начал замечать, частенько стал посещать робот Site-Shot, кто знает что за он и стоит ли блокировать?
|
#2
30 Октября 2017 09:06
этот не принадлежит ни яше ни гуглу, скорее это частный, а если ты на него не ориентируешься, то задай ему время прохода дней 5. Пример Crawl-delay: 5
|
#3
30 Октября 2017 09:32
|
#4
30 Октября 2017 09:35
Снимок с сайта - это не так плохо, просто может появились каталоги-хранители, наподобие web.archive.org
|
||||
04.04.2023 10:41 | Главная страница сайта недоступна для робота: код ответа страницы «406 (Not Acceptable)» |
14.06.2022 17:37 | Что делать с роботностью? |
24.11.2019 18:31 | sitemap и robots.txt |
04.07.2019 18:06 | Почему гугл не индексирует сайт и пишет не sitemap? |
10.04.2018 04:29 | Гугл не принимает Sitemap |