Закрытие /page/ в роботс
Страницы: 1
Закрытие /page/ в роботс, правильно ли я делаю??
Итак, у меня есть сайт. На нем множество категорий. Когда я публикую новость - она отображается на главной и в категории, в которую я добавил. У меня на главной уже 5 страниц и все эти новости есть и в категориях отдельно. Так вот вопрос: стоит ли прописать правило в роботс Disallow: /page/ , чтобы пс не индексировали страницы на главной сайта, а сосредоточились на категориях. Конечно в поиск войдет главная, но начиная со 2-ой страницы отображаться не будет. В поиск не попадут site.ru/page/ но попадет site.ru/cat/page/ Или оставить без изменений??
Сообщение одобрено
Можно конечно и прописать, но лучше оставить так.
Ещё прежде чем работать с robots.txt почитайте вот этот сайт Все о файле «robots.txt» по-русски — как составить robots.txt
Услуги по работе с DLE и Ucoz

подробнее тут:
http://www.cy-pr.com/forum/f63/t46996/ - Услуги по работе с DLE
http://www.cy-pr.com/forum/f77/t46676/ - Услуги по работе с Ucoz

Всё что имеет начало, имеет и конец...
Я на всех своих сайтах прописываю в robots.txt строку Disallow: /page/ и вам советую. Эти страницы будут мусором в выдаче и не будут приносить посетителей на сайт.
А чем отличается  Disallow: /page/ и  Disallow: /*page/???
Цитата
0Bk03 пишет:
А чем отличается Disallow: /page/ и Disallow: /*page/???
Первый вариант - Все равно, что /page/* - после все, что угодно

второй вариант - что угодно, а в конце page и опять что угодно
Ясно,спасибо.У меня просто когда было прописано  Disallow: /page/ закрывались не все page от индексации,а вот когда прописал Disallow: /*page/ Всё стало хорошо:)
Цитата
0Bk03 пишет:
Ясно,спасибо.
smile:)
Такой вопросик интересует, подскажите. Читая предыдущие посты немного не понял как закрыть page внутри категорий.
Сейчас у меня в роботс стоит:
Disallow: /page/

Как сделать, чтобы закрылись страницы внутри категорий? Так?
Disallow: /category/page/*

После этого у меня сами категории не закроются для индексации?
Пропиши таким образом - Disallow: */page/*
Изменено: Илья Сальков - 17 Апреля 2014 22:09
Цитата
Илья Сальков пишет:
Пропиши таким образом - Disallow: */page/*
Спасибо, забил. При след. апе посмотрим на результат.
Таким образом, ты закроешь страницы пагинации вида /page/1, /page/2 , /page/3 и тд
И закроешь вида /category/page, /category/page/1 и тд

Сами страницы категорий не закроются.
Правильно так Disallow: /*page ИМХОУ меня страницы закрываются только так,любым другим способом закрываются не все страницы
Цитата
kazyavka пишет:
Правильно так Disallow: /*page ИМХОУ меня страницы закрываются только так,любым другим способом закрываются не все страницы
Так же спасибо за подсказку, я опробую предыдущий метод и если не получится то проверим вам, и если не забуду, то отпишусь здесь.
Кстати много где слышал, что page нельзя закрывать от индексации, чтобы роботу было проще проходить по страницам сайта и индексировать их. Могу заверить, ничего подобного! С уник контентом, сайт влетаем в индекс на ура и без page, тем более что на них пользователь ничего полезного не найдет переходя на них из поиска. Так что смело закрывайте. Обращение было больше к новичкам)
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
00:48 Как правильно покупать ссылки для поддомена? 
23:34 2025 ВК запустит новую программу монетизации для авторов сообществ 
15:28 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 
18:51 Роскомнадзор отказал в регистрации трети блогеров-десятитысячников 
12:53 где много готовых фавиконок 
22:59 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
12:32 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 
04:35 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
21:43 TrueMeds - Революционная Фарма Партнерка! Увеличь свой профит в x2 раза вместе с нами! 
21:24 Sectormoney.com - быстрый и удобный обменник 
20:33 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:54 USMobileSMSBot - 
17:18 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
15:28 Прием платежей для HIGH RISK | Прием платежей без сайта 
08:12 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
07:48 США готовят закон для уничтожения пиратских сайтов во всех странах мира 
02:50 Точные прогнозы на футбол 
02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet 
21:19 С юмором по жизни! 
18:15 Telegram уничтожил официальный канал легендарного российского торрент-трекера 
18:19 Уникальный сервис SEO продвижения