Вопрос по роботс
Страницы: 1
Вопрос по роботс, Че-то я не понимаю
Прошу прощения за очередной прикольный вопрос. Но вот учусь я на таких 

На одном сайте нашла вот такую балду в роботс ...

User-agent: * Disallow: *& Disallow: *? Disallow: /news/pages/$ Disallow: /products/1442/ User-agent: Yandex Disallow: *& Disallow: *? Disallow: /news/pages/$ Disallow: /products/1442/  

У меня такой вопрос: или я чего-то не понимаю в роботс и картах сайта (ну я к ним пока на вы и с глубоким уважением. А таких знаков как "*?" и "*&" я не нашла ) или сеошник чего-то напутал? 
И все идет вот такой полосой 

буду благодарна за консультацию. 
1. Корректно роботс должен быть примерно таким (не именно таким, в структурно таким!!)

User-agent: Yandex
Crawl-delay: 4
Disallow: /?s
Disallow: /?m=
Disallow: /?paged=
Disallow: /page/
Host: site.ru

Sitemap: _http://site.ru/sitemap.xml.gz
Sitemap: _http://site.ru/sitemap.xml

Это урезанный в 4 раза роботс, чисто для примера. Суть в структуре и в том, что нигде не должно быть лишних пробелов после команд, страниц и т.д.
В одну строку роботс я еще не видал. Даже не знаю что тут сказать, по правде =)

2. Вопросики в командах - это для закрытия дублей страниц, которые вечно вылазят изза систем управления.
3. Звездочка означает, что вместо нее может быть как бы "все что угодно". Это чтобы не писать кучу страничек и адресов - забивают звездочку, как в программировании.
Черточки на картах ясное дело убрать надо.
Изменено: Дмитрий Мацкевич - 6 Сентября 2013 19:20
Возьму один коммерческий сайт на продвижение с бюджетом 700$ и выше под Русско язычную аудиторию.
Ссылочные атрибуты ( такие, как "?", "&" ) могут присутствовать в Robots.txt
Использование таких атрибутов зависит от вида страниц сайта.
Файл Robots.txt составляется исходя из особенностей Вашего сайта, и для каждого сайта составляется индивидуально.
User-agent: * => Для всех роботов
Disallow: *& => Не индексировать страницы где встречается символ "&"
Disallow: *? => Не индексировать страницы где встречается символ "?"
Disallow: /news/pages/$ => Это я не понял, но думаю что это разрешение к индексированию раздела новостей со всеми его внутренними страницами.
Disallow: /products/1442/ => Не индексировать содержимое дирректории по конечному пути /products/1442/ 

User-agent: Yandex => Только для роботов Яндекса то же самое.
Disallow: *& 
Disallow: *? 
Disallow: /news/pages/$ 
Disallow: /products/1442/

Есть такие символы "?", "&", генерируются они скриптами или плагинами при создании страниц пользователями (поиск, печать), служебными разделами (архивы, метки) и т.п.
Спасибо большое за лик без
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
06:05 Стоит ли добавлять сайт в Rambler топ 100? 
20:17 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
15:01 Adtrafico - Правильная партнёрская сеть под бурж трафик 
18:41 Продвижение заграницей 
16:34 Работает ли ссылочное продвижение 2019 – 2020? 
16:22 Adsense личный опыт 
16:20 АП Яндекс ИКС 16.11.2023 
04:29 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
02:34 Swap-line.com – это сервис быстрого обмена криптовалют на различные цифровые активы, а также на наличные средства во многих городах Украины! 
20:52 TrueMeds - Революционная Фарма Партнерка! Увеличь свой профит в x2 раза вместе с нами! 
20:01 Продам аккаунты 1 ТБ Облако@Mail.ru 
16:45 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
14:10 Обменный пункт cashalot.one. Выгодный обмен. 
13:52 Мытнинский - безопасный обмен криптовалют с 2018 года 
23:18 Точные прогнозы на футбол 
22:39 Кому выплата РСЯ пришла и какого числа? 
12:12 Linux - это максимальная свобода 
20:09 Сколько сейчас стоит наполнение ИМ? 
12:43 Куплю проигрышные букмекерские аккаунты 
04:33 Половина скидок на распродажах — фейк 
07:53 НейроБабушка наказывает мошенников