Помагите создать правильный robots.txt для dle

Помагите создать правильный robots.txt для dle, а то подсунули какую то шляпу

Сообщений: 1526 Регистрация: Мар 2011

15 Января 2012 16:46

Всем привет!
В общем проблема у меня в роботе в том самом что в заголовке
Дали вот такой :

Цитата

User-agent:User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /templates/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /2011/
Disallow: /*print
Disallow: /page/
Disallow: /news/page/
Disallow: /news/regionalnews/page/
Disallow: /news/newstopic/page/
Disallow: /news/goodnews/page/
Disallow: /news/newstopic/crazyworld/page/
Disallow: /projects/page/
Disallow: /afisha/page/
Disallow: /raznoe/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /?do=*
Disallow: /?attachment_id=*
Disallow: /index.php?do=feedback
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=*
Disallow: /index.php?do=lastnews
Disallow: /index.php?action=mobiledisable
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?subaction=newposts
Disallow: /index.php?action=*
Disallow: /index.php
Disallow: /index.php*
Disallow: /statistics.html
Disallow: /engine/images.php?area=
Disallow: /index.php?action=mobile
Disallow: /lastnews/
Disallow: /lastnews/page/
Host:
Sitemap:

И как я понимаю он не индексирует половину сайта или вообще 90% просто я смотрю дизалов стоит почти на все темы
Подскажите правильный ли это файл и если нет напишите пожалуйста как нужно сделать
Заранее благодарю

Изменено: Василий Иванов - 15 Января 2012 16:47

Уникальный контент выбирайте »тут« за недорого

Влад

Сообщений: 174 Регистрация: Янв 2012

15 Января 2012 16:51

кто подсунул??при установке дле идет стандартый,его и юзай

User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Василий Иванов

Сообщений: 1526 Регистрация: Мар 2011

15 Января 2012 16:54

Большое спасибо щас попробую поставить
Кто может чё ещё посоветует?

naribalky

Сообщений: 3196 Регистрация: Апр 2011

16 Января 2012 13:04

Тему перенес в соответствующий раздел.

Владимир

Сообщений: 57 Регистрация: Июл 2011

29 Января 2012 16:45

у меня вот такой:

User-agent: *
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /banners/
Disallow: /user/
Disallow: /2011/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Host: Ваш сайт.ru
Sitemap: http://Ваш сайт.ru/sitemap.xml

Изменено: Владимир - 29 Января 2012 16:47

ЗДЕСЬ платят за Просмотры видео, Регистрации, Продажи и т.д.

Траф берем здесь.

Вадим

Сообщений: 602 Регистрация: Дек 2011

29 Января 2012 17:06

У меня вот такой:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Тоже сомневаюсь в его правильности... smile:confused:

Продвижение ваших сайтов!

Sargis Sargsyan

Сообщений: 11 Регистрация: Ноя 2011

30 Января 2012 14:07

Вот такой у меня...

User-agent: *
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

User-agent: Yandex
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: poortal.ru

User-agent: Googlebot
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

Цитата

Вадим пишет:
У меня вот такой:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Тоже сомневаюсь в его правильности... smile:confused:

у тебя вообще не для dle

Похожие темы:

07.04.2019 13:48	Как создать новостную ленту на DLE по примеру
09.11.2014 14:05	Как создать одноименную категорию?
12.10.2014 18:12	Хочу создать торрент сайт на дле)
17.04.2014 09:22	Не могу создать разделы на 10.2
15.10.2013 13:30	Как создать правило?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
14:06 Яндекс прекращает поддержку технологии Турбо 16:44 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 16:38 ру гембла 10:59 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 09:06 Бесплатные посещения 01:10 Adsense личный опыт 22:07 Помогите найти шаблон	19:11 Ищем поставщиков номеров для Телеграм активаций (только API) 16:16 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 14:52 JustProxy.Biz - Резидентные прокси без ограничения по трафику 11:20 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 04:14 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 21:36 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 20:25 TrueMeds - Революционная Фарма Партнерка! Увеличь свой профит в x2 раза вместе с нами!	07:12 Точные прогнозы на футбол 00:55 С юмором по жизни! 10:05 Китайский ИИ-ассистент DeepSeek начали запрещать в некоторых странах 21:05 Telegram не смог провести различие между требованиями автократических режимов и законными демократическими запросами 08:12 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 07:48 США готовят закон для уничтожения пиратских сайтов во всех странах мира 02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet