Чё не так с robots.txt ?
Страницы: 1
Чё не так с robots.txt ?
User-agent: Yandex
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: #####.ru
Sitemap: #####.ru/sitemap.xml

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: #####.ru/sitemap.xml

Чё не так с robots.txt  ? помогите разобраться:confused:
Нужно так.

Если на движке DLE настроен ЧПУ ссылок:

User-agent: Yandex 
Disallow: /*print
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do
Disallow: /?do
Host: #####.ru 

User-agent: *
Disallow: /*print 
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do=
Disallow: /?do=


Sitemap: #####.ru/sitemap.xml 

Если ЧПУ нет:

User-agent: Yandex 
Disallow: /*print 
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do=register 
Disallow: /?do=lastcomments 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=register 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?subaction=newposts 
Host: #####.ru 


User-agent: Yandex 
Disallow: /*print 
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do=register 
Disallow: /?do=lastcomments 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=register 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?subaction=newposts 


Sitemap: #####.ru/sitemap.xml 

Единственное что важно, так это чтобы не было лишних пробелов и символов в файле robots.txt
блин вроде всё так же=(((((((
а так всё в моём robots.txt выходит правильно???????????????smile:(
Изменено: Виктор Сергеевич - 30 Марта 2012 21:28
Цитата
Виктор Сергеевич пишет:
.ru
Да, все правильно, кроме одного:У вас для всех роботов (*) также указывается директива Host, хотя она должна указываться только для робота Yandex.
а если открыть
Disallow: /*print smile:wall:
вот что пишет Yandex
Информация: страницы намеренно запрещены к индексированию или не должны индексироваться. Документ запрещен в файле robots.txt  185 штук.............

/krasota-i-zdorovye/print:page,1,109-sovety-kormyaschim-materyam.html ошибки почти все выглядят так........


ничего не пойму:wall: помогите?
А вы покажите либо сайт, либо страницы, которые обычные и которые для печати, тогда я вам подскажу, как нужно настроить robots.txt
На слепую не получается.
Цитата
Виктор Сергеевич пишет:
а если открыть
Disallow: /*print smile:wall:
вот что пишет Yandex
Информация: страницы намеренно запрещены к индексированию или не должны индексироваться. Документ запрещен в файле robots.txt 185 штук.............

/krasota-i-zdorovye/print:page,1,109-sovety-kormyaschim-materyam.html ошибки почти все выглядят так........


ничего не пойму:wall: помогите?
Все правильно у Вас. Вы запретили к индексации дубли, а именно версию для печати. А вообще уберите в шаблоне кнопку "печать", я думаю мало кто пользуется этой функцией. Этим Ваш сайт не будет дразнить поисковики дублями smile:)
Чё не так с robots.txt  ? страницы не индексируются как раньше, и 70% выпало вообще,правда недавно сменил шаблон настроики  ссылок (/%postname%.html)  7dim.ru/ ( http://7dim.ru/ )

User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

Host:7dim.ru
Sitemap: 7dim.ru/.sitemap.xml.gz
Sitemap: 7dim.ru//sitemap.xml
Изменено: Дмитрий Бохан - 6 Апреля 2012 00:01
Цитата
Лена пишет:
Все правильно у Вас. Вы запретили к индексации дубли, а именно версию для печати. А вообще уберите в шаблоне кнопку "печать", я думаю мало кто пользуется этой функцией. Этим Ваш сайт не будет дразнить поисковики дублями
а если robots.txt  удалить Disallow: /*print  ничего страшного наверно не будет?)и страницы с ошибкой не будут мазолить глаза в Яндекс вебмастере)или нельзя ?)
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:13 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
10:09 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:07 Взрывной рост роботности в Метрике 
18:33 Trafee.com – эффективная монетизация вашего дейтинг трафика 
15:41 Adtrafico - Правильная партнёрская сеть под бурж трафик 
22:12 Stixi.ru. и stixi.com 
20:30 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
14:51 Мощные прокси для вашего бизнеса! 
12:17 Продам дешёвые домены (1$/штука) 
10:58 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
10:17 Размещу ссылки/статьи на ваш сайт | Рост ИКС | XRumer 23.0.4 StrongAI 
22:12 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:06 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
05:50 LunaProxy дешевый глобальный резидентный прокси $0,77/ГБ Ротирующийся прокси|Собственный IP|Безлимитный план 
23:55 Точные прогнозы на футбол 
20:09 Сколько сейчас стоит наполнение ИМ? 
12:43 Куплю проигрышные букмекерские аккаунты 
04:33 Половина скидок на распродажах — фейк 
07:53 НейроБабушка наказывает мошенников 
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту