Почему гугл индексирует страницы, запрещенные в robots.txt?

Денис

Сообщений: 1120 Регистрация: Окт 2010

2 Января 2011 15:00

Мало того еще и в выдаче их показывает...

Хостинг от 84 руб. в месяц!

Олеся

Сообщений: 890 Регистрация: Мар 2010

2 Января 2011 15:57

Цитата
Денис пишет: Мало того еще и в выдаче их показывает...

И картинки, у меня аватары с форума, тянет, кнопки с сайта smile:confused:

Gogetlinks - самый белый способ продвижения статьями. Etxt - контент для сайта.

seov

Сообщений: 47 Регистрация: Дек 2010

2 Января 2011 16:49

Цитата
Олеся пишет: кнопки с сайта

А у меня и оформление сайта берёт....

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

2 Января 2011 16:51

Цитата
seov пишет: А у меня и оформление сайта берёт....

Видимо на картинки стоят прямые ссылки а файл css не запрещён?

Заработок на новых сайтах и нулевиках.

Професиональный хостинг

seov

Сообщений: 47 Регистрация: Дек 2010

2 Января 2011 17:31

да, вроде css запрещены, и папки с файлами тоже закрыты от индексации....

Semantic

Сообщений: 818 Регистрация: Дек 2010

3 Января 2011 06:00

Смотри как путь открывается со слешем на конце и без - это 2 разные страницы, проверяй правила в роботсе. Вообше поисковики туда ходят время от времени, но в выдачу не пускают.

Денис

Сообщений: 1120 Регистрация: Окт 2010

3 Января 2011 10:30

все страницы со слешем

Semantic

Сообщений: 818 Регистрация: Дек 2010

3 Января 2011 10:51

а в роботсе что? давай на конкретных примерх, экстрасенсов нет. тем более после нового года все медихлорианы под жёсткой интоксикацией

Денис

Сообщений: 1120 Регистрация: Окт 2010

3 Января 2011 11:03

Код

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /page/
Disallow: /feed/
Disallow: /20*

Все страницы категорий /category/ и страницы /page/ проиндексированы и в поиске, например:
/category/wordpress/
/category/plaginyi/ и т.д.

/page/2/
/page/3/
/page/4/ и т.д.

Причем в панели инструментов гугла в пункте Просмотреть как Googlebot пишет что доступ запрещен в файле robots.txt. Вот и вызывает вопросы, если запрещен, то фиг ли они в поиске... В яндексе никаких проблем, проиндексированы только те которые не запрещены, а гугл все забрал...

Semantic

Сообщений: 818 Регистрация: Дек 2010

#10

3 Января 2011 11:46

ну собсна

Disallow: /category/чо_закрыть1/
Disallow: /category/чо_закрыть2/
Disallow: /category/чо_закрыть3/
Disallow: /page/2/
Disallow: /page/3/
Disallow: /page/4/
...

если закрыли после того как оно проиндексировалось, курите и ждите пока выпадет .. может до полугода так болтаться.

Я вот о чём

/page/4/
/page/4

По обоим адресам страница отдаётся? Если да то проще редирект настроить на один из или закрывать оба

Гугл и яндекс по разному работают. Есть еще каноничка, думайте

Изменено: Semantic - 3 Января 2011 11:47

Semantic

Сообщений: 818 Регистрация: Дек 2010

#11

3 Января 2011 11:49

Цитата
Олеся пишет: И картинки, у меня аватары с форума, тянет, кнопки с сайта

Делайте бэкграйндом, учите CSS и кладите всё в одну папку, которую перекроете в роботсе.

Денис

Сообщений: 1120 Регистрация: Окт 2010

#12

3 Января 2011 12:02

Да, проиндексировалось, а потом только закрыл, гугл по началу хватал все что видел, даже и страниц то еще толком не было - это моя ошибка. Нужно было перед тем как выложить в сеть все настроить... Буду ждать, когда же он их выкинет.

При вводе в адресную строку
/page/4
редиректит на
/page/4/
с этим проблем нет. Спасибо!

Semantic

Сообщений: 818 Регистрация: Дек 2010

#13

3 Января 2011 12:21

Цитата
Денис пишет: с этим проблем нет. Спасибо!

Не за что )

mixanech

Сообщений: 18 Регистрация: Май 2010

#14

3 Января 2011 15:47

У Google и Yandex в панели вебмастера возможность удаления нежелательных страниц из индекса. После закрытия их от индексации стоит отправить заявку на удаление. Иначе правда, если сайт большой, можно до полугода ждать - так он их быстрее выкинет.

sharkoster

Сообщений: 139 Регистрация: Май 2010

#15

4 Января 2011 11:56

У меня тоже такая проблема, страницы с информацией о пользователях заблокированы в robots.txt и в панели пользователя написано что эти страницы запрещены в файле robots.txt. А они в индексе smile:confused:

Я тут прочитал в справочной гугла о метатеге noindex

_http://www.google.com/support/webmasters/bin/answer.py?answer=93710

Код

Стандарт метатега noindex описан на странице http://www.robotstxt.org/meta.html. Если у вас нет доступа к корневому каталогу вашего сервера, этот способ может быть полезен для вас, так как позволяет управлять постраничным доступом к вашему сайту.

Чтобы запретить всем роботам индексировать страницу сайта, добавьте в раздел <head> этой страницы следующий метатег:

<met a name="robots" content="noindex">

Чтобы запретить индексирование страницы вашего сайта только роботам Google и разрешить ее индексирование другим роботам, добавьте следующий метатег:

<met a name="googlebot" content="noindex">

При наличии на странице метатега noindex Google полностью исключает эту страницу из результатов поиска, даже если на нее ссылаются другие страницы. Другие поисковые системы могут интерпретировать эту команду по-разному. В результате ссылка на эту страницу может появляться в их результатах поиска.

Обратите внимание: чтобы увидеть тег noindex, мы должны просканировать вашу страницу, поэтому существует небольшая вероятность, что поисковый робот Googlebot не увидит метатег noindex и не отреагирует на него. Если ваша страница продолжает появляться в результатах, вероятно, мы еще не просканировали ваш сайт после добавления тега. (Кроме того, если вы заблокировали эту страницу с помощью файла robots.txt, мы также не сможем увидеть этот тег.)

Если содержание уже присутствует в нашем индексе, оно будет удалено при следующем сканировании. Чтобы ускорить удаление, используйте инструмент удаления URL в Инструментах Google для веб-мастеров.

Непонятно, что теперь если я хочу убрать раздел /user/ при помощи тега noindex нужно убрать его из robots.txt?

Похожие темы:

31.10.2024 14:23	Резкое падение трафика в Гугл
29.06.2024 20:32	Одновременно пропал трафик с гугл и яндекса
08.04.2024 21:57	Занять высокие позиции в Гугл
26.03.2024 23:55	Странный трафик с android.app из приложения Гугл в мобильных
19.02.2024 12:38	Вероятность выйти в топ гугла. Советы

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
20:13 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 15:04 Adtrafico - Правильная партнёрская сеть под бурж трафик 19:21 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 17:32 Новая жизнь, старого форума 17:41 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 17:46 Проверить сайт на уязвимость 17:44 Adsense личный опыт	23:48 GoogleWalker - устранение конкурентов в Google Ads \| Автоматизированная система склика \| АНТИБАН 23:24 Volna.money 16:51 Google Voice - OLD аккаунты "SMS и звонки" 15:30 Продам аккаунты HH.RU 04:10 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 22:00 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 16:58 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника	21:06 Точные прогнозы на футбол 12:43 Куплю проигрышные букмекерские аккаунты 04:33 Половина скидок на распродажах — фейк 07:53 НейроБабушка наказывает мошенников 19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту 14:57 Конгресс США заявил о лабораторном происхождении коронавируса