Яндекс закрыл страницы от индексации
Страницы: 1
Яндекс закрыл страницы от индексации
Здравствуйте уважаемые форумчане. Столкнулся с такой проблемой, что Яндекс исключил из поиска страницы категорий под трактовкой HTTP-статус: Ресурс не найден (404) но в этот пункт попали все страницы категорий, то есть категории на сайте вообще не индексируются. Движок сайта DLE,
robots.txt у меня такой:


Код
User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /engine/go.php
Disallow: /engine/download.php
Host: sait.ru
Sitemap: sait.ru/sitemap.xml

Цитата

Код
Оптимизацию делал по Алаичу, поэтому в engine.php у меня так
Код
$do == 'addnews' OR /* Страница добавления новости с сайта */
    //$do == 'alltags' OR /* Страница просмотра списка тегов */
    $do == 'feedback' OR /* Страница формы обратной связи */
    $do == 'favorites' OR /* Страницы закладок пользователей */
    $do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
    //$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
    $do == 'lostpassword' OR /* Страница восстановления пароля */
    $do == 'pm' OR /* Страницы личных сообщений пользователей */
    $do == 'register' OR /* Страница регистрации нового пользователя */
    $do == 'rules' OR /* Страница правил сайта */
    $do == 'stats' OR /* Страница статистики сайта */
    $do == 'search' OR /* Страница поиска и результатов поиска */
    //$do == 'static' OR /* Все статические страницы */
    //$do == 'tags' OR /* Просмотр новостей по тегу */
    $do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
    $subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
    $subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
    //$subaction == 'showfull' OR /* Просмотр полной новости */
    $subaction == 'userinfo' OR /* Просмотр профиля пользователя */
    //$dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
    //($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
    //($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
    //($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
    //(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
    //($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
    //($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
    $catalog != 'engine' /* Просмотр каталога по буквенному идентификатору */
    ) $metatags .= <<<HTML
также в Яндекс есть графа "не поддерживаемый формат"
а там у меня почему то попал /sitemap.xml потому что якобы неверный формат документа

раньше таких проблем не было, в чем может быть беда? ну кроме моей криворукости))
Изменено: Владислав Лебедев - 30 Марта 2015 10:05
Цитата
Владислав Лебедев пишет:
Оптимизацию делал по Алаичу
Херня это! Сделайте нормальный роботс как рекомендует яша и не парьтесь и будет вам счастье!
Абузоустойчевые сервера; адалт, кино ЗДЕСЬ | Белая ВидеоРеклама для любых сайтов!
Цитата
Юрий Павлов пишет:
Херня это! Сделайте нормальный роботс как рекомендует яша и не парьтесь и будет вам счастье!
Поддерживаю
Не знаю кто такой Алаич, но посоветовал бы больше никогда не делать как он
Спасибо, понял, исправил, посмотрим что будет)
Цитата
Владислав Лебедев пишет:
Спасибо, понял, исправил, посмотрим что будет)
Проверьте новый роботс что у Яши с Гошей нет претензий к нему.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
23:30 Фильмы 2025 года 
15:30 bequn.ru 
10:47 Бесплатные посещения 
20:17 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
15:01 Adtrafico - Правильная партнёрская сеть под бурж трафик 
18:41 Продвижение заграницей 
22:36 Стоит ли добавлять сайт в Rambler топ 100? 
23:45 Обменный пункт cashalot.one. Выгодный обмен. 
21:06 USMobileSMSBot - 
20:32 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
19:17 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 
16:10 Whatsapp рассылки и реселлерская программа 
16:03 PROXYTRAIL.com - Быстрые анонимные прокси по самым низким ценам 
15:37 рассылки viber и whatsapp 
19:39 Куплю проигрышные букмекерские аккаунты 
05:42 Точные прогнозы на футбол 
21:04 Есть ли альтернатива Адсенсу и РСЯ? 
22:39 Кому выплата РСЯ пришла и какого числа? 
12:12 Linux - это максимальная свобода 
20:09 Сколько сейчас стоит наполнение ИМ? 
04:33 Половина скидок на распродажах — фейк