Баг с robots.txt. Я в шоке...
Страницы: 1
Баг с robots.txt. Я в шоке...
Сегодня с утра открываю метрику, смотрю посещаемость одного из сайтов. Проект молоденький, всего пару месяцев. Всего около 50-60 посетителей в сутки. Сегодня посещаемость равна нулю.
Открываю webmaster.yandex.ru и перехожу в раздел "Исключёные страницы / По типу" и что вижу:

Рисунок


При этом, с robots.txt всё в порядке:



Код
User-agent: Yandex
Disallow: /page
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*.swf
Disallow: /*.js
Disallow: /*.css
Disallow: /*.php
Host: site

User-agent: *
Disallow: /page/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*.swf
Disallow: /*.js
Disallow: /*.css
Disallow: /*.php

Sitemap: <a href=\"http://site/sitemap.xml\" target=\"_blank\">http://site/sitemap.xml</a>
- Что делать в этой ситуации? - Могло ли это быть как-то связано с тем, что сайт переносится на другой хостинг? - Могло ли как-то сказаться то, что на всех поддоменах сайта (всего их 3) в robots.txt запрещена индексация (Disallow: /)
Продать сайт за дорого или купить прибыльный проект можно здесь
Во первых:
Цитата
abc000 пишет:
Sitemap: <a href=\"http://site/sitemap.xml\" target=\"_blank\">http://site/sitemap.xml</a>
На сколько я знаю это не правильно.

Нужно так:

Sitemap: http://site/sitemap.xml


Во вторых:

Весь роботс я бы прописал так.


User-agent: *
Disallow: /page/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments

Host: site

Sitemap: http://site/sitemap.xml
Magnus, такой код к ссылке это баг на форуме, у меня так и прописано http://site/sitemap.xml. User-Agent: * - согласно недавно обновлёным правилам не признаётся Яндексом (тут подробней)
Отправил письмо Яндексоидам, думаю начнут говорить мол "Когда робот посещал сайт, в Robots.txt была запрещающая деректива", но этого быть не может...
Цитата
abc000 пишет:
Magnus, такой код к ссылке это баг на форуме, у меня так и прописано http://site/sitemap.xml. User-Agent: * - согласно недавно обновлёным правилам не признаётся Яндексом (тут подробней)
Вы невнимательно читали.

Директива User-Agent: * игнорируется  в случаях,  когда описана директива для конкретного бота Yandex, в противном случае директива выполняется.
Изменено: Злой Админ - 1 Сентября 2012 06:56
Вот сегодня тоже такой глюк заметил, заходу в ЯВМ а там показывает страницы запрещенные в роботс.тхт, в частности профили пользователей... Странно...
Евгений, да уж. Косячат сами Яндексоиды, а мне сейчас голову ломать что случилось...
извиняюсь что вклиниваюсь  в тему к автору то есть такой robots.txt неверен?

User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
Почему не верен? Все нормально, просто яндекс не будет видеть

Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
а все остально будет т.е.

Цитата
Иван Мирощенко пишет:
User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
Цитата
glush1991 пишет:
Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
Почему не верен? Все нормально, просто яндекс не будет видеть
Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
а все остально будет т.е.
Цитата
Иван Мирощенко пишет:
User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
А если так?
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site .ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap:site .ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
А я что сказал? Кратко говоря ВСЕ ЗАШЕБИСЬ:D
В последнее время Яша частенько выкидывает такие чудеса. Был и у меня такой случай, но потом все прошло само, я ничего не делал)
Цитата
Алексей пишет:
В последнее время Яша частенько выкидывает такие чудеса. Был и у меня такой случай, но потом все прошло само, я ничего не делал)
Понятно, спасибо посмотрю что будет дальше. Если какой-то баг временный то наверное через 1-2 апа залезет обратно в индекс smile:confused:
Аналогично было весной. Писал Платону, после двух апдейтов, предупреждение исчезло, страницы появились.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:22 Работает ли ссылочное продвижение 2019 – 2020? 
14:13 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
10:09 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:07 Взрывной рост роботности в Метрике 
18:33 Trafee.com – эффективная монетизация вашего дейтинг трафика 
15:41 Adtrafico - Правильная партнёрская сеть под бурж трафик 
22:12 Stixi.ru. и stixi.com 
20:22 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
20:21 Sectormoney.com - быстрый и удобный обменник 
17:27 Уникальный сервис SEO продвижения 
05:08 [WORDPRESS] [Gemini|GPT]️ ClipAI - Копирайтинг больше не нужен! Подключит ИИ к интернету и напишет статьи с автоматической публикацией на сайт. 
14:51 Мощные прокси для вашего бизнеса! 
12:17 Продам дешёвые домены (1$/штука) 
10:58 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
19:45 Точные прогнозы на футбол 
20:09 Сколько сейчас стоит наполнение ИМ? 
12:43 Куплю проигрышные букмекерские аккаунты 
04:33 Половина скидок на распродажах — фейк 
07:53 НейроБабушка наказывает мошенников 
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту