Закрыть ссылки со слешем на конце в robots.txt
Страницы: 1
Закрыть ссылки со слешем на конце в robots.txt
Здравствуйте, уважаемые вебмастера.

Заметила, что проиндексировались дубли страниц. Выглядят они так: /forum/topic/название темы которое меняется и /forum/topic/название темы которое меняется/ - точно такой же урл, но только со слешем на конце.

Задача такая: закрыть в роботсе дубль со слешем, но оставить первый вариант урла. Как это сделать? Перед слешем ссылка вида чпу, не динамическая, без всяких переменных.

Помогите, пожалуйста!
Консультации по СЕО: помогу сделать СДЛ, помогу избавиться от фильтра. Стучитесь в личку!

Шикарный VPN
вам надо надо 301 редирект настроить со страниц со слешем на страницы без слеша.

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} (.*)
RewriteCond %{REQUEST_URI} /$ [NC]
RewriteRule ^(.*)(/)$ $1 [L,R=301]
либо такой
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} ^(.+)/$
RewriteRule ^(.+)/$  /$1 [R=301,L]
+1 за редирект, код вам уже дали
Цитата
fxcopy пишет:
вам надо надо 301 редирект настроить со страниц со слешем на страницы без слеша.

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} (.*)
RewriteCond %{REQUEST_URI} /$ [NC]
RewriteRule ^(.*)(/)$ $1 [L,R=301]
Спасибо! А для самого сайта это не будет опасно? А то если что-то неправильно со слешем закрыть или переадресовать, то можно и весь сайт потерять....smile:(
Для сайта никакой опасности нет, страницы со слешем через редирект передадут свой вес на страницы без него, единственное что может быть, если было больше веса у страницы со слешем - то на какое то время ключи по ней выпадут из поиска - как правило все восстанавливается через 1-2 апа. Так что делайте смело, это лучшее решение
Это не опасно- это благо для сайта - при условии что редирект правильно работает. Проверяйте после установки редиректа его правильную работу: введите адрес со слешем, его должно перебросить на такой же адрес без слеша. проверьте так главную, категории, конечные страницы и т.п.
если вас интересует по поводу отношения ПС к 301, то они очень хорошо к нему относятся, и рекомендуют его использовать, т.к. это для них понятный и прозрачный механизм переадресации страницы.
страница должна быть доступна только по одному адресу, все варианты: с www, со слешем,  index.html и т.п.  - должны редиректом направляться на какой то единственный вариант- адрес, иначе будут дубли и возможные проблемы.
Изменено: fxcopy - 19 Декабря 2014 09:24
Всем спасибо за помощь. Разобралась сама с роботс - удалось закрыть ненужный слеш только в данном типе урлов.
seoledi, с роботсом есть одна проблема, страницы не индексируются, но все равно учитываются и в итоге попадают в "сопли", то есть дубли в памяти поисковиков остаются. Роботс - вероятно, самый неудачный способ избавления от дублей.
Есть еще один вариант - если не хочется возиться с редиректом, можно настроить на этих страницах мета-тег rel=canonical, где прописать правильный адрес. Способ тоже хорошо работает, разве что остаются рабочими оба варианта ссылки, поэтому редирект считается более универсальным. Но и canonical вполне подходит.
Sasha Minsky,  спасибо. Но у меня любые дубли закрываются в роботс. Проблем не было пока...
Каноникал есть, он через плагин работает, все публикуемые страницы помечаются этим тэгом.
seoledi, если каноникал есть, то скорее всего индексация дублей была временной, и ее со временем все равно выкинуло бы... Но все хорошо, что хорошо кончается, если роботс помог, то отлично smile:)
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:45 Бесплатные посещения 
20:17 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
15:01 Adtrafico - Правильная партнёрская сеть под бурж трафик 
18:41 Продвижение заграницей 
22:36 Стоит ли добавлять сайт в Rambler топ 100? 
16:34 Работает ли ссылочное продвижение 2019 – 2020? 
16:22 Adsense личный опыт 
19:14 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
16:42 Sectormoney.com - быстрый и удобный обменник 
14:34 CoinCapital  
12:59 Чек номеров на наличие Telegram/ Filter (checking) numbers Telegram 
01:09 лиды, Forex, криптовалюта, гэмблинг, чарджбэк, лидогенерация 
19:27 Volna.money 
17:57 Devtek – Партнерская сеть, где API трафик превращается в стабильный доход 
04:38 Точные прогнозы на футбол 
21:04 Есть ли альтернатива Адсенсу и РСЯ? 
22:39 Кому выплата РСЯ пришла и какого числа? 
12:12 Linux - это максимальная свобода 
20:09 Сколько сейчас стоит наполнение ИМ? 
12:43 Куплю проигрышные букмекерские аккаунты 
04:33 Половина скидок на распродажах — фейк