Robots.txt для Wordpress

Сообщений: 1120 Регистрация: Окт 2010

20 Октября 2010 11:16

Вот такая проблема, недавно завел блог на вордпрессе, и не знаю правильно ли составил роботс, посмотрите пожалуйста:

Код

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /tag/
Disallow: /page/
Disallow: /category/
Disallow: /search/
Disallow: /author/
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.webliberty.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /tag/
Disallow: /page/
Disallow: /category/
Disallow: /search/
Disallow: /author/
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: <a href=\"http://www.webliberty.ru/sitemap.xml\" target=\"_blank\">http://www.webliberty.ru/sitemap.xml</a>

Извиняюсь если не в ту тему написал...

Хостинг от 84 руб. в месяц!

Андрей

Сообщений: 29 Регистрация: Апр 2010

21 Октября 2010 15:44

Чего мучаться изобретая велосипед?
Посмотри у пары - тройки приличных и популярных на твой взгляд сайтов, которые работают на WP...
и сделай так же (со своими нюансами,типа хоста и карты сайта)

webliberty

Сообщений: 1120 Регистрация: Окт 2010

23 Октября 2010 21:17

nr23.ru, не судите по себе. Вы прекрасно видите что все сожержимое роботса в коде и не будет индексироваться.
Андрей, спасибо, именно так и сделал.

2webliberty

Сообщений: 6 Регистрация: Окт 2010

24 Октября 2010 01:36

2webliberty: как это в noindex? я же посмотрел и html-код данной страницы, и robots сайта www.cy-pr.com - ваше сообщение попадает в индекс целиком, включая блок "Код".

Почему бы мне не предположить то, что я написал?

P.S. Из-за тебя мне ещё и регистрироваться второй раз пришлось smile:)

webliberty

Сообщений: 1120 Регистрация: Окт 2010

24 Октября 2010 07:55

сообщение содержит только текст, а не активные ссылки

2webliberty

Сообщений: 6 Регистрация: Окт 2010

24 Октября 2010 21:51

Ну?! А я разве писал про активные ссылки? Я писал про упоминание
Это когда имя домена находится в тексте индексированной страницы. В анализе сайта (сервис cy-pr.com) это параметр Внешние ссылки - Яндекс (упоминания).

webliberty

Сообщений: 1120 Регистрация: Окт 2010

24 Октября 2010 22:57

такие записи не передают вес

Euro

Сообщений: 72 Регистрация: Авг 2010

25 Октября 2010 11:41

Цитата

webliberty пишет:
Вот такая проблема, недавно завел блог на вордпрессе, и не знаю правильно ли составил роботс, посмотрите пожалуйста:

Код

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /tag/

Disallow: /page/

Disallow: /category/

Disallow: /search/

Disallow: /author/

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Host: www.webliberty.ru

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /tag/

Disallow: /page/

Disallow: /category/

Disallow: /search/

Disallow: /author/

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Sitemap: <a href=\\"http://www.webliberty.ru/sitemap.xml\\" target=\\"_blank\\">http://www.webliberty.ru/sitemap.xml</a>

Извиняюсь если не в ту тему написал...

Вообщем слушай, так как ты сделал - так нельзя.

Мой роботс выглядит так:

User-agent: Yandex
Disallow: */trackback
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Host: webliberty.ru

User-agent: *
Disallow: */trackback

Ну вот и всё. smile;)

Eurows.org - мой блог
Помогаю новичкам бесплатно создавать и оптимизировать сайты. Подробнее на странице Eurows.org/freelance

Euro

Сообщений: 72 Регистрация: Авг 2010

25 Октября 2010 11:42

Цитата
webliberty пишет: nr23.ru, не судите по себе. Вы прекрасно видите что все сожержимое роботса в коде и не будет индексироваться. Андрей, спасибо, именно так и сделал.

слушай, если тебе нужно закрыть от индексации все ссылки (внешние) поставь плагин WP_No External Links. помогает тиц и пр сохранить.

webliberty

Сообщений: 1120 Регистрация: Окт 2010

#10

25 Октября 2010 11:56

Я теперь вот так сделал:

Код

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.webliberty.ru
Sitemap: <a href=\"http://www.webliberty.ru/sitemap.xml\" target=\"_blank\">http://www.webliberty.ru/sitemap.xml</a>

Похожие темы:

01.10.2018 16:57	Слетели позиции после изменения robots.txt
17.01.2018 14:13	Передается ли вес через robots.txt у Яндекса
21.07.2017 15:57	Не видит файл robots.txt в Яндекс-Blogger.
15.10.2016 13:41	robots
01.05.2016 10:01	Стоит ли в robots.txt закрывать страницы /page/ ?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
20:13 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 15:04 Adtrafico - Правильная партнёрская сеть под бурж трафик 19:21 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 17:32 Новая жизнь, старого форума 17:41 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 17:46 Проверить сайт на уязвимость 17:44 Adsense личный опыт	17:20 Sectormoney.com - быстрый и удобный обменник 16:35 Sapfirex.com - Современный сервис обмена криптовалют 14:56 Swapper.ws - Обмен криптовалют. Быстро, выгодно, круглосуточно. 23:48 GoogleWalker - устранение конкурентов в Google Ads \| Автоматизированная система склика \| АНТИБАН 23:24 Volna.money 16:51 Google Voice - OLD аккаунты "SMS и звонки" 15:30 Продам аккаунты HH.RU	21:06 Точные прогнозы на футбол 12:43 Куплю проигрышные букмекерские аккаунты 04:33 Половина скидок на распродажах — фейк 07:53 НейроБабушка наказывает мошенников 19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту 14:57 Конгресс США заявил о лабораторном происхождении коронавируса