robots.txt для Wordpress?

Сообщений: 345 Регистрация: Сен 2010

9 Ноября 2013 14:19

[B]
Уважаемые гуру, что скажете, все ли тут правильно?[/B]

Код:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: мойсайт.ru

Sitemap: http://мойсайт.ru/sitemap.xml
Sitemap: http://мойсайт.ru/sitemap.xml.gz

Bait.li - Укоротил. Заработал!

The Undertaker

Сообщений: 1526 Регистрация: Мар 2011

9 Ноября 2013 14:23

Может я и не Гуру, но тэги бы тоже закрыл.

Уникальный контент выбирайте »тут« за недорого

Индульгенция

Сообщений: 1513 Регистрация: Окт 2013

9 Ноября 2013 15:03

У меня на wp вот какой стоит:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Host: www.site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /trackback
Disallow: /feed
Disallow: /comments

Sitemap: http://site.ru/sitemap.xml

Вроде бы все нормально. (Если что то не правильное, то подскажите)).

Блатные слова.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

9 Ноября 2013 23:34

Цитата
The Undertaker пишет: Может я и не Гуру, но тэги бы тоже закрыл.

Индексирование тегов и категорий неплохо регулирует плагин All in one Seo, мне кажется он удобнее. Но роботс в первом посте не очень.

Цитата
Индульгенция пишет: У меня на wp вот какой стоит:

Этот на порядок качественнее.

Но фишка в том, что не бывает одинаковых сайтов, поэтому доверять шаблонным роботсам - достаточно глупо. Нужно всегда подпиливать под функционал конкретного проекта.

Индульгенция

Сообщений: 1513 Регистрация: Окт 2013

10 Ноября 2013 09:11

pelikesha, спасибо за пояснение)

Koza Moza

Сообщений: 564 Регистрация: Фев 2013

10 Ноября 2013 22:45

Цитата
The Undertaker пишет: Может я и не Гуру, но тэги бы тоже закрыл.

Для чего теги закрывать? я когда-то сео-консультацию брала, мне сеошник наоборот сказал открыть и прописывать к каждой статье.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

11 Ноября 2013 00:00

Цитата
Koza Moza пишет: Для чего теги закрывать? я когда-то сео-консультацию брала, мне сеошник наоборот сказал открыть и прописывать к каждой статье.

По разному бывает. Иногда теги (т.е. метки в контексте данного движка) являются хорошей связующей страничкой, объединяющие похожие записи по смыслу и содержанию. Иногда они от балды проставляются в неограниченных количествах. В зависимости от этого и надо плясать - разрешать их индексацию или нет. Обычно я руководствуюсь следующим принципами:

1. Если каждый тег встречается в более чем трех материалах - индексируем страничку тега.
2. Если к каждому тегу добавлено уникальное описание (да-да, есть и такая возможность) - индексируем страничку тега.
3. Если ни один из пунктов 1-2 не выполнен - закрываем от индексации.

Индульгенция, не за что. Обращайтесь

Кстати, вот что с большой вероятностью необходимо закрывать от индексации всегда - это архивы (по дням, месяцам, годам, а так же авторов). Но опять же, плагин All in one Seo решает эту проблему лучше чем роботс.

Изменено: pelikesha - 11 Ноября 2013 00:00

08.10.2023 11:09	Как узнать какая тема wordpress на сайте
10.07.2023 21:49	Нужно перенести дизайн с фигмы на Wordpress
02.01.2023 18:17	Linux-бэкдор взламывает сайты под управлением WordPress
17.12.2022 09:14	Бесплатная тема для медиков - wordpress (на русском)
07.12.2022 15:59	Рубрики в wordpress

Новые темы	Объявления	Свободное общение
00:48 Как правильно покупать ссылки для поддомена? 23:34 2025 ВК запустит новую программу монетизации для авторов сообществ 15:28 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 18:51 Роскомнадзор отказал в регистрации трети блогеров-десятитысячников 12:53 где много готовых фавиконок 22:59 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 12:32 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google	04:35 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 21:43 TrueMeds - Революционная Фарма Партнерка! Увеличь свой профит в x2 раза вместе с нами! 21:24 Sectormoney.com - быстрый и удобный обменник 20:33 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 18:54 USMobileSMSBot - 17:18 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 15:28 Прием платежей для HIGH RISK \| Прием платежей без сайта	08:12 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 07:48 США готовят закон для уничтожения пиратских сайтов во всех странах мира 02:50 Точные прогнозы на футбол 02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet 21:19 С юмором по жизни! 18:15 Telegram уничтожил официальный канал легендарного российского торрент-трекера 18:19 Уникальный сервис SEO продвижения