Помогите составить правильный robot txt

Сообщений: 7 Регистрация: Май 2016

30 Мая 2016 14:11

Есть на сайте много дублей. Все они состоят с структуры

test1.ru/?smth

test1.ru/?smth=blabla
test1.ru/index.php
test1.ru/index.php?smth=blabla

Подскажите пожалуйста, как правильно закрыть от индексации все эти страницы

span4bob

Сообщений: 6461 Регистрация: Апр 2013

30 Мая 2016 14:53

а как правильно выглядит главная статья?

Дай новую жизнь своим БЭКЛИНКАМ!!!
▼
► ◄
▲

Продвижение сателлитами ☻

Василь Панко

Сообщений: 7 Регистрация: Май 2016

30 Мая 2016 15:08

Цитата
span4bob пишет: а как правильно выглядит главная статья?

[FONT=Tahoma, Arial, Helvetica, sans-serif]
Статья отображается вот так[/FONT]
test1.ru/statya/
[FONT=Tahoma, Arial, Helvetica, sans-serif]Вот это[/FONT]

test1.ru/?smth=blabla - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php?smth=blabla - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/statya[FONT=Tahoma, Arial, Helvetica, sans-serif]/?smth=blabla - [/FONT]дублирует статью

Василь Панко

Сообщений: 7 Регистрация: Май 2016

30 Мая 2016 15:09

Статья отображается вот так
test1.ru/statya/

Вот это
test1.ru/?smth=blabla - дублирует главную страницу
test1.ru/index.php - дублирует главную страницу
test1.ru/index.php?smth=blabla - дублирует главную страницу

test1.ru/statya/?smth=blabla - дублирует статью

Василь Панко

Сообщений: 7 Регистрация: Май 2016

31 Мая 2016 01:02

Мертвый форум

Василь Панко

Сообщений: 7 Регистрация: Май 2016

31 Мая 2016 01:03

Тему можете закрыть

Абырвалг

Сообщений: 1305 Регистрация: Июл 2012

31 Мая 2016 02:19

Цитата
Василь Панко пишет: Мертвый форум

Может так: Disallow: /*?* Disallow: /*.php

Дивергент

Сообщений: 21799 Регистрация: Май 2011

31 Мая 2016 02:38

Цитата
Абырвалг пишет: Может так: Disallow: /?

тут аккуратнее, человек не назвал CMS, а у некоторых подобным можно отшить от сканирования очень много реальных страниц.

Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.

Новые темы	Объявления	Свободное общение
22:36 Стоит ли добавлять сайт в Rambler топ 100? 16:34 Работает ли ссылочное продвижение 2019 – 2020? 16:22 Adsense личный опыт 16:20 АП Яндекс ИКС 16.11.2023 16:19 У Google наблюдается снижение трафика и, как следствие, уменьшение прибыли 12:10 Взрывной рост роботности в Метрике 14:12 Роскомнадзор отказал в регистрации трети блогеров-десятитысячников	16:42 Swapper.ws - Обмен криптовалют. Быстро, выгодно, круглосуточно. 12:22 Обмен криптовалют 09:44 BestChange – обменивать электронную валюту можно быстро и выгодно 04:31 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 03:53 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 02:14 GoogleWalker - устранение конкурентов в Google Ads \| Автоматизированная система склика \| АНТИБАН 22:20 Volna.money	01:26 Точные прогнозы на футбол 12:12 Linux - это максимальная свобода 20:09 Сколько сейчас стоит наполнение ИМ? 12:43 Куплю проигрышные букмекерские аккаунты 04:33 Половина скидок на распродажах — фейк 07:53 НейроБабушка наказывает мошенников 19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко

Новые темы

Объявления

Свободное общение

22:36 Стоит ли добавлять сайт в Rambler топ 100?
16:34 Работает ли ссылочное продвижение 2019 – 2020?
16:22 Adsense личный опыт
16:20 АП Яндекс ИКС 16.11.2023
16:19 У Google наблюдается снижение трафика и, как следствие, уменьшение прибыли
12:10 Взрывной рост роботности в Метрике
14:12 Роскомнадзор отказал в регистрации трети блогеров-десятитысячников

16:42 Swapper.ws - Обмен криптовалют. Быстро, выгодно, круглосуточно.
12:22 Обмен криптовалют
09:44 BestChange – обменивать электронную валюту можно быстро и выгодно
04:31 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
03:53 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
02:14 GoogleWalker - устранение конкурентов в Google Ads | Автоматизированная система склика | АНТИБАН
22:20 Volna.money

01:26 Точные прогнозы на футбол
12:12 Linux - это максимальная свобода
20:09 Сколько сейчас стоит наполнение ИМ?
12:43 Куплю проигрышные букмекерские аккаунты
04:33 Половина скидок на распродажах — фейк
07:53 НейроБабушка наказывает мошенников
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко

14.04.2024 15:49	Помогите, пожалуйста, с htaccess
22.06.2022 16:57	Помогите разобраться с виджетом ЕМИАС
05.08.2020 18:11	Помогите с продвижением
06.05.2020 13:43	Помогите узнать источник видео
21.06.2019 20:37	Добавление товаров на Simpla помогите советом! HELP