Смотрю некоторые сайты, роботс у них пустой, указан только хост, запретов нет, при этом соплей в гугле тоже нет! У меня запрещены категории, например, но гугл игнорирует роботс, в сопли их заносит, при этом указывает в дескрипшене "Описание веб-страницы недоступно из-за ограничений в файле robots.txt". Может кто-нибудь поделится секретом?
Изменено:
Андрей Соколов - 25 Марта 2015 11:19