robots.txt ругается

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 15:55

Здравствуйте.Есть совсем новый сайт. Платформа Wordpress. Для создания sitemap использую плагин Google XML Sitemap.
В robots.txt нету ничего запрещающего.

Код
User-agent: * Host: vkusnosnami.com Sitemap: vkusnosnami.com/sitemap.xml

И вот, в разделе "Файлы Sitemap" в инструментах веб мастера гугл такая картина
Рисунок

Причем если кликать по самому файлу (/sitemap, где цифра 1 стоит с красным кругом), то кидает на адрес www.vkusnosnami.com/sitemap.xml где нету этого файла.. Но если www убрать то он есть.
Подскажите пожалуйста, что это за 572 ошибок, как их убрать, что я неправильно делаю?

Изменено: NTs - 9 Января 2015 15:56

Влад Мищенко

Сообщений: 7178 Регистрация: Дек 2011

9 Января 2015 16:59

пропишите путь к файлу сайтмап в роботсе через http

50 т.р. в месяц на киносайте РЕГИСТРАЦИЯ - обучаю рефералов, в ЛС

Лучшая партнерка - 25 т.р. в месяц РЕГИСТРАЦИЯ

Качественные дешевые статьи КУПИТЬ

NTs

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 17:04

Цитата
Влад Мищенко пишет: пропишите путь к файлу сайтмап в роботсе через http

Спасибо за ответ. Так и прописано, с просто визуальный редактор здесь не добавил его.Думал настроить редирект, написал в htaccess

Код
RewriteEngine On RewriteCond %{HTTP_HOST} ^www\.vkusnosnami\.com$ [NC] RewriteCond %{REQUEST_URI} !^/robots.* RewriteRule ^(.*)$ vkusnosnami.com/$1 [R=301,L]

Никак не помогло, опять же по адресу www.vkusnosnami.com/sitemap.xml к карте не достучишься...

sharkson

Сообщений: 5425 Регистрация: Янв 2014

9 Января 2015 17:05

http и www склеены? если нет - склейте. и укажите главным зеркалом один из вариантов. а второй - неглавным.

НАДЕЖНЫЙ И НЕДОРОГОЙ ХОСТИНГ ТУТ
НЕДОРОГОЙ ХОСТИНГ
ПРОДАМ БЛОГ ЖЖ
СОЗДАНИЕ И НАСТРОЙКА MediaWiki и phpbb3

NTs

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 17:08

Цитата
sharkson пишет: http и www склеены? если нет - склейте. и укажите главным зеркалом один из вариантов. а второй - неглавным.

В инструментах вебмастера гугла добавил в качестве главного БЕЗ www. И пытался склеить (код можете увидеть сообщением выше), может что то не так в коде? После склеивания же по любому должна показываться sitemap из non-www версии даже если в запросе есть www? Или я не так понимаю алгоритм склеивания?

sharkson

Сообщений: 5425 Регистрация: Янв 2014

9 Января 2015 17:11

вы в хтаксесс добавили не склейку, а редирект. зеркала указываются в вебмастере.

в роботсе только 3 строки:

Цитата
User-agent: * Host: vkusnosnami.com Sitemap: http://vkusnosnami.com/sitemap.xml

чую, будет много-много проблем.

NTs

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 17:12

И вопрос один, для www и non-www отдельные файлы robots.txt? Мне так показалось, потому что когда открываю сайт с www. в гугл вебмастерс, там показывает что некоторые ссылки из sitemap заблокированы robots.txt, а без www - все хорошо, никто ничего не блокирует.

NTs

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 17:30

sharkson, Запутался я совсем)
Добавил robots.txt нормальный, он выглядит так

Код

User-agent: *
Disallow: /wp-
Disallow: *?s=
Disallow: *?attachment_id=
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: */page/
Allow: */uploads 
Allow: */author
Sitemap: vkusnosnami.com/sitemap.xml
Host: vkusnosnami.com

Цитата
вы в хтаксесс добавили не склейку

Подскажите, пожалуйста, а то что я сделал с хтаксесс нужно или нет? Мне просто нужно, что бы гугл индексовал страницу без www, так как продвигать его буду без www.

sharkson

Сообщений: 5425 Регистрация: Янв 2014

9 Января 2015 18:06

Цитата
NTs пишет: Мне просто нужно, что бы гугл индексовал страницу без www, так как продвигать его буду без www.

Укажите название сайта http://site.ru главным зеркалом в вебмастере. C www т.е. www.site.ru - неглавным - там же.
В хтаксесс сделайте редирект с www.site.ru на http://site.ru.
Почитайте про настройку зеркал и роботса в разделе помощь Яндекса. Для гугла правила роботса и пр. - такие же.
_http://help.yandex.ru/webmaster/indexing-options/robots-txt-analyzer.xml
_http://help.yandex.ru/webmaster/indexing-options/main-mirror.xml

Всё. Потом только ждать. Яшка с зеркалами разбирается за 1-2 недели обычно. Гошка - не знаю, не отслеживал.

Цитата
И вопрос один, для www и non-www отдельные файлы robots.txt?

Нет. Один роботс для всего.

Изменено: sharkson - 9 Января 2015 18:10

NTs

Сообщений: 19 Регистрация: Янв 2015

#10

9 Января 2015 18:32

sharkson, Спасибо, все сделал. Ошибок теперь 0. В гугл вебмастерс с обоих сайтов (с www и без) поставил на основную без www

В Яндексе тоже поставил без www.
Единственное что смущает, это то, что по адресу www.vkusnosnami.com/sitemap.xml не показывает sitemap даже после редиректа в htaccess

Код
RewriteEngine On RewriteCond %{HTTP_HOST} ^www\.vkusnosnami\.com$ [NC] RewriteCond %{REQUEST_URI} !^/robots.* RewriteRule ^(.*)$ vkusnosnami.com/$1 [R=301,L]

Если это не страшно, или так и должно быть - вопросов больше нет smile:)

sharkson

Сообщений: 5425 Регистрация: Янв 2014

#11

9 Января 2015 18:41

Цитата
NTs пишет: www.vkusnosnami.com/sitemap.xml

Выже с http:// собираетесь продвигать и ссылки на него вам нужны? В роботсе указан путь к сайтмэпу с http://? Файл открывается? Гугл и Яшка не ругаются на проблемы с сайтмэпом или роботсом?
Если везде - да, забейте вы на www.

Прочитайте тут как правильно указывать директиву сайтмэп _http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Пример:

Цитата
User-agent: Yandex Allow: / Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml Sitemap: http://mysite.ru/site_structure/my_sitemaps2.xml

Цитата
Единственное что смущает, это то, что по адресу www.vkusnosnami.com/sitemap.xml не показывает sitemap даже после редиректа в htaccess

Вы редирект настроили? Так он и редиректит на http. Зачем вы танцуете вокруг www?

Изменено: sharkson - 9 Января 2015 18:45

NTs Сообщений: 19 Регистрация: Янв 2015	#12 9 Января 2015 18:49 sharkson, Танцую, потому что думаю это не правильно, так как опыта нет) Спасибо.

Похожие темы:

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt
04.07.2018 23:26	Вопрос по robots
03.01.2018 17:05	Прошу помочь настроить Robots.txt

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
11:52 Бесплатные посещения 20:17 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 15:01 Adtrafico - Правильная партнёрская сеть под бурж трафик 18:41 Продвижение заграницей 22:36 Стоит ли добавлять сайт в Rambler топ 100? 16:34 Работает ли ссылочное продвижение 2019 – 2020? 16:22 Adsense личный опыт	12:59 Чек номеров на наличие Telegram/ Filter (checking) numbers Telegram 01:09 19:27 Volna.money 17:57 Devtek – Партнерская сеть, где API трафик превращается в стабильный доход 04:29 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 02:34 Swap-line.com – это сервис быстрого обмена криптовалют на различные цифровые активы, а также на наличные средства во многих городах Украины! 20:52 TrueMeds - Революционная Фарма Партнерка! Увеличь свой профит в x2 раза вместе с нами!	04:38 Точные прогнозы на футбол 21:04 Есть ли альтернатива Адсенсу и РСЯ? 22:39 Кому выплата РСЯ пришла и какого числа? 12:12 Linux - это максимальная свобода 20:09 Сколько сейчас стоит наполнение ИМ? 12:43 Куплю проигрышные букмекерские аккаунты 04:33 Половина скидок на распродажах — фейк