Robots.txt
Страницы: 1 2 След.
Robots.txt, Нужно ли это в Robots.txt
У меня в Robots.txt стоит вот такая фишка.
Disallow: /page/
Disallow: /tags/

Интересует мнения, Нужно это в Robots.txt или это негативно влияет на сайт
всё таки теги и страницы закрыты от индексации
Муравейник вообще изумительная штука: казалось бы, куча мусора, но какая посещаемость!
Наоборот положительно влияет. Так уменьшается количество дублей в индексе.
я на своем сайте (вордпресс) наоборот открыл категории. Но тут случай единичный, просто входящие ссылки идут как раз на категории.
я нармальный, не маньяк, чесна.
пытаюсь поднять сайт о гороскопах csrtife.ru
Спасибо, вот мой робот.

Цитата
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*rss
Disallow: /page/
Disallow: /tags/
Disallow: /*print
Disallow: /ruls.html
Disallow: /favorites/
Disallow: /*do=search
Disallow: /*http://seodude.ru/blog/2011/01/24/dude-smart-leech-0-4-beta/
Sitemap: http://sezontv.ru/sitemap.xml

User-agent: Yandex
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*rss
Disallow: /page/
Disallow: /tags/
Disallow: /*print
Disallow: /ruls.html
Disallow: /favorites/
Disallow: /*do=search
Disallow: /*http://seodude.ru/blog/2011/01/24/dude-smart-leech-0-4-beta/
Sitemap: http://sezontv.ru/sitemap.xml
Host: sezontv.ru


Я сделал робот , отдельно для яши. Проверил в яндекс веб мастер, всё работает.
Как вы ВСЕ относитесь к такому,
Есть мнения?
вопрос к каталогу engine. там точно нужно только 1 страницу закрыть?
смысл закрывать pages? они ж по сути уникальные будут.

только пояснения хочу получить, а так согласен с роботсом
Цитата
cstrife пишет:
вопрос к каталогу engine. там точно нужно только 1 страницу закрыть?
смысл закрывать pages? они ж по сути уникальные будут.
только пояснения хочу получить, а так согласен с роботсом


Насчёт pages, я и начал эту тему, а engine, я даже не знаю, я просто закрыл go, так как через него проходит редирект и многое запрещённое , думаю удалить
думаю если закрывать engines, то весь..
один хрен редирект идет дальше.

но это имхо. я так понимаю это DLE, а с ним я не работал еще
Да, это ДЛЕ. engines можно закрыть, полностью. Я не спец,
по этому и завёл эту темку. Надеюсь на отзовы специалистов и знатоков.
Можно вопрос?
В правом нижнем углу Вашего сайта имеется фраза "Что то будит"
Не совсем понятен смысл оной. Кто и кого будет будить.
Может Вы хотели написать "Что-то будет" ?
Cпасибо.
там будит баннер?
Цитата
mozambik пишет:
Можно вопрос?
В правом нижнем углу Вашего сайта имеется фраза "Что то будит"
Не совсем понятен смысл оной. Кто и кого будет будить.
Может Вы хотели написать "Что-то будет" ?
Cпасибо.

Да точно, спасиба, это просто ошибка . Просто хотел сделать блок для рекламы. Исправлю, ещё раз спасиба
aligon7, обычно папку engine закрывают целиком.
Amount News - полезный модуль для DLE

Фантики турбо - ностальгия по детству

53 рубля в день - на сайте с ТИЦ:10
Спасибо, закрыл, на пробу.
А почему, мой не правильный? Можно пояснить
Изменено: aligon7 - 17 Января 2012 21:00
Не стал создавать новую тему.
Задача такова. Имеется сайт.ру/ss/pp/1/2/

Нужно разрешить индексировать все стр начинающиеся с ss
Allow: /ss*
или так
Allow: /ss/
Правильно ли это?
PS не dle
Изменено: ninzj_lost - 30 Октября 2012 20:40
Правильный robots.txt для DLE сам не пробывал, но хотелось бы получить мнение специалистов.
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:06 Яндекс прекращает поддержку технологии Турбо 
16:44 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 
16:38 ру гембла 
10:59 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
09:06 Бесплатные посещения 
01:10 Adsense личный опыт 
22:07 Помогите найти шаблон 
11:10 Бустмаркет 
04:16 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
01:01 Swap-line.com – это сервис быстрого обмена криптовалют на различные цифровые активы, а также на наличные средства во многих городах Украины! 
00:55 Вывод сайтов в топ 
23:34 Продажа аккаунтов Bing Ads с балансом! 
19:32 Инвайтинг(приглашения) в вашу группу/чат телеграм. 
18:29 Прием платежей для HIGH RISK | Прием платежей без сайта 
06:14 Точные прогнозы на футбол 
16:16 SENDERSEX.COM - Тизерная партнёрка онлайн игры Эротические Фанты Онлайн 
00:55 С юмором по жизни! 
10:05 Китайский ИИ-ассистент DeepSeek начали запрещать в некоторых странах 
21:05 Telegram не смог провести различие между требованиями автократических режимов и законными демократическими запросами 
08:12 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
07:48 США готовят закон для уничтожения пиратских сайтов во всех странах мира