Индексирует только категории

Индексирует только категории, Яша индексирует только категории, а сами новости никак

Сообщений: 49 Регистрация: Апр 2010

30 Июня 2010 13:43

Вот возникла проблема с индексацией сайта . Дело в том что Яша индексирует только категории причем бывает что на одни и те же стоит несколько ссылок в поисковике, а вот сами новости ну никак не хочет. Писались письма Платону на что получал стандартный ответ мол "Ждите и Ваш сайт обязательно проиндексируется"
Правда был грешок по неопытности торговал ссылками на Сапе причем активно, но уже 3 месяца как полностью все убрал из-за этого наверняка мой сайт попал под фильтр.
Посоветуйте какие действия нужно предпринять, что сделать, что убрать, нужны конкретные предложения.

Изменено: dewara - 30 Июня 2010 13:43

http://bukvasha.ru/

Dizzy

Сообщений: 2729 Регистрация: Мар 2010

30 Июня 2010 15:06

Домен случайно не в бане?

Яндекс 19
Google 355 / 9 %
Рамблер 14,000

Изменено: Dizzy - 30 Июня 2010 15:08

dewara

Сообщений: 49 Регистрация: Апр 2010

30 Июня 2010 15:29

Нет не в бане. Я пробовал удалять из я.вебмастер и добавлять на другую учетную запись все нормально. Если бы был в бане то добавить его не удалось бы. Или я неправ????

Dizzy

Сообщений: 2729 Регистрация: Мар 2010

30 Июня 2010 15:41

Цитата
User-agent: Yandex Disallow: /user Disallow: /2010 Disallow: /page Crawl-delay: 2 Host: dewara.ru User-agent: * Disallow: /user Disallow: /page Disallow: /2010 Host: dewara.ru Sitemap: http://dewara.ru/sitemap.xml

Заменить на

Цитата
User-agent: * Disallow: /user Disallow: /page Disallow: /2010 Host: dewara.ru Sitemap: http://dewara.ru/sitemap.xml

vagant-ua

Сообщений: 1223 Регистрация: Июн 2010

30 Июня 2010 16:59

Цитата
Dizzy пишет: User-agent: * Disallow: /user Disallow: /page Disallow: /2010 Host: dewara.ru Sitemap: http://dewara.ru/sitemap.xml

Вопрос. А разве тег Host понимают другие поисковики, кроме Яндекса?
Мне казалось, что он нужен только для него... сам недавно на грабли наступил.

Добавил тег Host в хвост и...
User-Agent: *
Disallow: /cart.php
Disallow: /sort.php
Disallow: /search.php
Disallow: /pages.php
Host: www.адрес_сайта

Через некоторое время заметил, что Гугл начал "доставать" из фильтра страницы такого вида и добавлять их в свою выдачу
www.мой_сайт/cart.php?act=add&product=

Обсуждалось здесь на форуме - ветка "с www или без".

Мне даже сказали, что "Это по всем правилам конгломерат и так делать по идее нельзя."
Или я ошибаюсь?

Выпиливаю лобзиком один сайт. Смотреть можно, руками трогать нельзя - он еще хрупкий и ранимый... :)

vagant-ua

Сообщений: 1223 Регистрация: Июн 2010

30 Июня 2010 17:23

И ещё вопрос (хочется разобрать этот случай для себя).

А что пишет Яндекс Вебмастер
Страниц в поиске сколько?
Загружено роботом сколько?
Исключено роботом сколько?

Dizzy

Сообщений: 2729 Регистрация: Мар 2010

30 Июня 2010 18:22

Цитата
Вопрос. А разве тег Host понимают другие поисковики, кроме Яндекса?

Кто принимает - тот скушает. Кто не принимает - проигнорирует.

Цитата

Добавил тег Host в хвост и...
User-Agent: *
Disallow: /cart.php
Disallow: /sort.php
Disallow: /search.php
Disallow: /pages.php
Host: www.адрес_сайта

Через некоторое время заметил, что Гугл начал "доставать" из фильтра страницы такого вида и добавлять их в свою выдачу
www.мой_сайт/cart.php?act=add&product=

Переформулируй вопрос.

Цитата
Мне даже сказали, что "Это по всем правилам конгломерат и так делать по идее нельзя."

Я даже знаю кто. smile:)

Цитата
А что пишет Яндекс Вебмастер Страниц в поиске сколько? Загружено роботом сколько? Исключено роботом сколько?

Я откуда знаю что он там тебе пишет?

dewara

Сообщений: 49 Регистрация: Апр 2010

30 Июня 2010 18:27

Что касается вопроса vagant-ua
страниц в поиске 19 - (кстати перед этим два месяца было всего лишь 10 и никакого сдвига, а сейчас просто одни и те же категории несколько раз в выдаче если наберете в яше site:dewara.ru то сами уведите )
Загружено роботом 172
Исключено роботом 133
Яндекс у меня совсем редкий гость на сайте, хотя я ежедневно в ручном режиме добавляю свой сайт в каталоги, доски объявлений и тому подобные.
С robots.txt я тоже игрался по разному попробую еще и такой вариант как предложен выше, но не уверен что проблема в этом

vagant-ua

Сообщений: 1223 Регистрация: Июн 2010

30 Июня 2010 18:36

Цитата
dewara пишет: Загружено роботом 172 Исключено роботом 133

Вот интересно, смотрел Ваш sitemap - там дофуя страниц и все вроде вменяемые, а вот Яндекс большую часть исключает, оставляет всего 39 (172 - 133).

У меня например вот так
Загружено роботом - 160
Исключено роботом - 55
Смотрю исключенные роботом и вижу - Документ запрещен в файле robots.txt
Все страницы запрещены правильно - имеют вид
/cart.php?act=add&product и т.д. и т.п.

В Вашем же случае исключено 133 страницы. Какие, почему?
Посмотрите в Яндекс Вебмастере.

vagant-ua

Сообщений: 1223 Регистрация: Июн 2010

#10

30 Июня 2010 18:42

Цитата

Dizzy пишет:

Цитата

Добавил тег Host в хвост и...

User-Agent: *
Disallow: /cart.php
Disallow: /sort.php
Disallow: /search.php
Disallow: /pages.php
Host: www.адрес_сайта

Через некоторое время заметил, что Гугл начал "доставать" из фильтра страницы такого вида и добавлять их в свою выдачу

www.мой_сайт/cart.php?act=add&product=

Переформулируй вопрос.

Это был не вопрос. Просто указал, что такого вида запись в файле robots.txt привел к таким результатам, а именно, Гугл начал игнорировать исключения (Disallow). Только мой личный пример, и не более...

Dizzy

Сообщений: 2729 Регистрация: Мар 2010

#11

30 Июня 2010 18:45

vagant-ua, сори не заметил твой ник думал пишет автор

vagant-ua

Сообщений: 1223 Регистрация: Июн 2010

#12

30 Июня 2010 19:22

Вдогонку.

В Яндекс Вебмастере есть раздел "Анализ robots.txt".

Он там явно пишет, что относится к нему. Приведу мой пример
Из всего списка, а именно

Цитата
User-Agent: * Disallow: /cart.php Disallow: /sort.php Disallow: /search.php Disallow: /pages.php User-Agent: Yandex Disallow: /cart.php Disallow: /sort.php Disallow: /search.php Disallow: /pages.php Host: www.сайт

Яндекс отнес к себе только строки 7-12
User-Agent: Yandex
Disallow: /cart.php
...
Host: www.сайт

Предполагаю, что в Вашем случае он просто не видит секцию

Цитата
User-agent: * Disallow: /user Disallow: /page Disallow: /2010 Host: dewara.ru Sitemap: http://dewara.ru/sitemap.xml

И не может зачитать sitemap.xml

Ведь его секция выглядит так

Цитата
User-agent: Yandex Disallow: /user Disallow: /2010 Disallow: /page Crawl-delay: 2 Host: dewara.ru

Хотя причина может быть и не в этом...

dewara

Сообщений: 49 Регистрация: Апр 2010

#13

30 Июня 2010 19:35

Уважаемый vagant-ua в я.вебмастер исключены страницы только те что прописаны в робот.тхт.
Только что поменял робот.тхт на тот что советовал Dizzy посмотрим что получится

vagant-ua

Сообщений: 1223 Регистрация: Июн 2010

#14

30 Июня 2010 19:47

Цитата
dewara пишет: Уважаемый vagant-ua в я.вебмастер исключены страницы только те что прописаны в робот.тхт.

Понял, "умываю руки". Напомню только еще раз про функцию "Анализ robots.txt". После того как Яндекс зачитает новый вариант файла robots - гляньте плз. Ради спортивного интереса, как он поймет такого вида запись.

Далее остается уповать на "помощь зала"...

vagant-ua Сообщений: 1223 Регистрация: Июн 2010	#15 30 Июня 2010 20:04 Продолжая анализировать Я.Вебмастер. Также там есть раздел "Файлы Sitemap" Я лично свой "руками" прикрутил именно там (а не в файле robots). Тоже информативная штука. Там есть раздел "Ошибки и замечания". У меня лично баги вида "Некорректный URL (не соответствует местоположению файла Sitemap)". Почти весь Sitemap (100 позиций). Гляньте там.

Похожие темы:

27.08.2022 16:15	В поиске яндекса только главная страница и никак не хочет индексировать новый сайт
02.03.2019 07:28	Нет трафика с Яндекса (только с картинок немного)
25.05.2018 07:27	Сайт не индексируется Яндексом
19.03.2018 17:22	Переезд сайта на новый домен. Сайт не индексируется. Нужен совет!
06.10.2017 04:40	Установлен запрет индексирования но сайт индексируется

Читают тему (гостей: 3, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
20:13 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 15:04 Adtrafico - Правильная партнёрская сеть под бурж трафик 19:21 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 17:32 Новая жизнь, старого форума 17:41 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 17:46 Проверить сайт на уязвимость 17:44 Adsense личный опыт	23:48 GoogleWalker - устранение конкурентов в Google Ads \| Автоматизированная система склика \| АНТИБАН 23:24 Volna.money 16:51 Google Voice - OLD аккаунты "SMS и звонки" 15:30 Продам аккаунты HH.RU 04:10 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 22:00 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 16:58 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника	21:06 Точные прогнозы на футбол 12:43 Куплю проигрышные букмекерские аккаунты 04:33 Половина скидок на распродажах — фейк 07:53 НейроБабушка наказывает мошенников 19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту 14:57 Конгресс США заявил о лабораторном происхождении коронавируса