Гугл индексирует запрещенный в robots.txt раздел сайта

Сообщений: 102 Регистрация: Ноя 2011

14 Декабря 2014 16:18

Всем привет, такая проблема, вижу в индексе такие страницы Google
URL/mcat/?97853634564646URL/mcat/?96253405868778

Хотя в роботс у меня чат заблокирован, вот строчка
Disallow: /mchat

Я удалял эти url из гугл вебмастера, но постоянно появляются новые.

Артём

Сообщений: 801 Регистрация: Мар 2013

14 Декабря 2014 16:24

Это давно известно, что гугл индексирует то что запрещено.

Сергей Гридюшко

Сообщений: 108 Регистрация: Май 2011

14 Декабря 2014 16:24

попробуйDisallow: /mchat/*

Хорошим моряком в тихом море не станешь..

Coder

Сообщений: 10435 Регистрация: Мар 2013

14 Декабря 2014 16:31

гугл, как правило, не переходит по запрещенному в роботс. Но если оно было проиндексировано до закрытия в роботс, или есть где-то ссылка на, то...

_http://devaka.ru/articles/robots.txt

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Дмитрий Зайченко

Сообщений: 4 Регистрация: Июл 2012

10 Января 2015 19:16

robots для поисковиков как рекомендация, а не как строгий запрет. Поэтому бывает и такое, что ПС частично не учитывают содержание в файле robots.txt

Изменено: Дмитрий Зайченко - 10 Января 2015 19:22 (орфографическая ошибка)

Екатерина Славная

Сообщений: 895 Регистрация: Ноя 2011

11 Января 2015 15:15

М.б. именно гуглу прописать запрет. Вдруг поможет

Славик Сообщений: 1991 Регистрация: Янв 2011	#7 11 Января 2015 16:58 да гугл любит все индексировать, запреты ему не интересны Лёгкий заработок в Яндекс от 1000 руб в день.

Новые темы	Объявления	Свободное общение
18:41 Продвижение заграницей 22:36 Стоит ли добавлять сайт в Rambler топ 100? 16:34 Работает ли ссылочное продвижение 2019 – 2020? 16:22 Adsense личный опыт 16:20 АП Яндекс ИКС 16.11.2023 16:19 У Google наблюдается снижение трафика и, как следствие, уменьшение прибыли 12:10 Взрывной рост роботности в Метрике	14:56 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 13:43 Бустмаркет 11:43 4G/LTE Mobile Proxy 30+ geo 11:33 Современный скрипт обменника электронных валют 10:42 Качественный прогон Хрумером, Zennoposterом всего 10 WMZ, Большой опыт работы. Статьи, комментарии, профиля, гостевые. 09:16 Уникальный сервис SEO продвижения 08:42 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника	01:26 Точные прогнозы на футбол 12:12 Linux - это максимальная свобода 20:09 Сколько сейчас стоит наполнение ИМ? 12:43 Куплю проигрышные букмекерские аккаунты 04:33 Половина скидок на распродажах — фейк 07:53 НейроБабушка наказывает мошенников 19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко

Новые темы

Объявления

Свободное общение

18:41 Продвижение заграницей
22:36 Стоит ли добавлять сайт в Rambler топ 100?
16:34 Работает ли ссылочное продвижение 2019 – 2020?
16:22 Adsense личный опыт
16:20 АП Яндекс ИКС 16.11.2023
16:19 У Google наблюдается снижение трафика и, как следствие, уменьшение прибыли
12:10 Взрывной рост роботности в Метрике

14:56 Belurk — высокоскоростные анонимные прокси от 0,24 рублей
13:43 Бустмаркет
11:43 4G/LTE Mobile Proxy 30+ geo
11:33 Современный скрипт обменника электронных валют
10:42 Качественный прогон Хрумером, Zennoposterом всего 10 WMZ, Большой опыт работы. Статьи, комментарии, профиля, гостевые.
09:16 Уникальный сервис SEO продвижения
08:42 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника

01:26 Точные прогнозы на футбол
12:12 Linux - это максимальная свобода
20:09 Сколько сейчас стоит наполнение ИМ?
12:43 Куплю проигрышные букмекерские аккаунты
04:33 Половина скидок на распродажах — фейк
07:53 НейроБабушка наказывает мошенников
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко

31.10.2024 14:23	Резкое падение трафика в Гугл
29.06.2024 20:32	Одновременно пропал трафик с гугл и яндекса
08.04.2024 21:57	Занять высокие позиции в Гугл
26.03.2024 23:55	Странный трафик с android.app из приложения Гугл в мобильных
19.02.2024 12:38	Вероятность выйти в топ гугла. Советы