Нужны ли в индексе теги?
Страницы: 1
Нужны ли в индексе теги?
Здравствуйте, нуждаюсь в Вашем совете.Дней 20 назад создал сайт. Забыл в robots.txt написать Disallow: /tags/ и теперь в сети теги попали в индекс и на них идут переходы. Что посоветуете делать? Написать в robots.txt Disallow: /tags/ или оставить всё как есть?
Цитата
pfas пишет:
Здравствуйте, нуждаюсь в Вашем совете.Дней 20 назад создал сайт. Забыл в robots.txt написать Disallow: /tags/ и теперь в сети теги попали в индекс и на них идут переходы. Что посоветуете делать? Написать в robots.txt Disallow: /tags/ или оставить всё как есть?
Да, после проверки роботом, они исключаться из поиска
User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Sitemap: *****.ru/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Host: *****.ru
Sitemap: *****.ru/sitemap.xml
User-agent: MediaPartners-Google
Allow: /
User-agent: YandexDirect
Allow: /

Вот так выглядит сейчас мой robots.txt. p.s. сайт на dle
Правильно ли он настроен?
А почему вы задаёте Яндексу отдельные данные? Можно всем роботам дать один и тот же параметр
Пишу статьи почти для всех тематик. Также имеются скидки. Тема для принятия заказов: здесь
апну)нужны ответы.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:22 Работает ли ссылочное продвижение 2019 – 2020? 
14:13 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
10:09 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:07 Взрывной рост роботности в Метрике 
18:33 Trafee.com – эффективная монетизация вашего дейтинг трафика 
15:41 Adtrafico - Правильная партнёрская сеть под бурж трафик 
22:12 Stixi.ru. и stixi.com 
20:22 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
20:21 Sectormoney.com - быстрый и удобный обменник 
17:27 Уникальный сервис SEO продвижения 
05:08 [WORDPRESS] [Gemini|GPT]️ ClipAI - Копирайтинг больше не нужен! Подключит ИИ к интернету и напишет статьи с автоматической публикацией на сайт. 
14:51 Мощные прокси для вашего бизнеса! 
12:17 Продам дешёвые домены (1$/штука) 
10:58 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
19:45 Точные прогнозы на футбол 
20:09 Сколько сейчас стоит наполнение ИМ? 
12:43 Куплю проигрышные букмекерские аккаунты 
04:33 Половина скидок на распродажах — фейк 
07:53 НейроБабушка наказывает мошенников 
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту