Помогите, пожалуйста, решить такую проблему.
С 25 августа 2011 г. мой сайт www.vipreshebnik.ru перестал сканироваться роботом Googlebot. До этой даты проблем со сканированием сайта никогда не наблюдалось. Сайту полтора года.
Далее я провела диагностику проблем, для этого в «Google. Инструменты для вебмастеров» я воспользовалась функцией "Просмотреть как Googlebot". Ответ я получила такой: «Файл robots.txt отсутствует», хотя на сервере он есть.
При этом ни 25 августа (когда начались проблемы), ни в другие ближайшие даты работы по корректировке содержимого сайта на сервере мною не производились. Обновление данного файла на сервере результатов не принесло.
Другие мои сайты (например, www.topknowledge.ru, www.ukr.vipreshebnik.ru) имеют аналогичные файлы robots.txt и Google их видит без проблем. Названные сайт расположены на одном сервере, на одном аккаунте.
Затем я обратилась с данной проблемой к хостеру. Его ответ заключался в следующем:
"Я проверил, все настройки на этих сайтах (www.vipreshebnik.ru и www.topknowledge.ru) выглядят идентично. Файлы robots.txt имеют одинаковые права и одинаковое содержимое. Оба файла доступны из интернета. Файлы .htaccess этих сайтов тоже очень похожи, запрета на индексирования гуглом я не увидел. Если бы на этом сервере ip гугла был заблокирован, то гугл не смог бы индексировать все сайты. Со стороны хостинга проблем быть не может."
Очень надеюсь на Вашу помощь. Заранее спасибо