Robots

Правильный robots.txt для DLE.

User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /favorites/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /?do=lastcomments

Disallow: /statistics.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Sitemap: http://www.ваш сайт.ru/sitemap.xml

User-agent: Yandex

Disallow: /*print

Disallow: /user/

Disallow: /favorites/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /?do=lastcomments

Disallow: /statistics.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Sitemap: http://www.ваш сайт.ru/sitemap.xml

Host: www.ваш сайт.ru

Используя Disallow: можете закрыть любую страницу или папку от индексации.

Или

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

А теги тоже закрыть надо?
А то у меня странный роботс какой то...

User-agent: *
Disallow: /*print
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /tags/
Disallow: /page/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts
Disallow: /catalog/
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /addnews.html
Disallow: /?do=tags
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=rules
Disallow: /index.php?do=feedback
Disallow: /index.php?do=register
Disallow: /index.php?do=lostpassword
Disallow: /index.php?action=mobile
Disallow: /index.php?action=mobiledisable

Может я много лишнего сделал?

Новые темы	Объявления	Свободное общение
16:55 Яндекс прекращает поддержку технологии Турбо 16:44 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 16:38 ру гембла 10:59 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 09:06 Бесплатные посещения 01:10 Adsense личный опыт 22:07 Помогите найти шаблон	04:14 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 21:36 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 20:25 TrueMeds - Революционная Фарма Партнерка! Увеличь свой профит в x2 раза вместе с нами! 19:14 Анализ курсов и недежности обменников - Kurs.Expert 18:02 Новый обменный сервис «Money-office» 16:31 Качественные услуги по телеграм (инвайт, рассылка)(Invite, mailing list) 15:46 CoinCapital	03:08 Точные прогнозы на футбол 00:55 С юмором по жизни! 10:05 Китайский ИИ-ассистент DeepSeek начали запрещать в некоторых странах 21:05 Telegram не смог провести различие между требованиями автократических режимов и законными демократическими запросами 08:12 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 07:48 США готовят закон для уничтожения пиратских сайтов во всех странах мира 02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet

Новые темы

Объявления

Свободное общение

16:55 Яндекс прекращает поддержку технологии Турбо
16:44 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google
16:38 ру гембла
10:59 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт!
09:06 Бесплатные посещения
01:10 Adsense личный опыт
22:07 Помогите найти шаблон

04:14 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
21:36 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика
20:25 TrueMeds - Революционная Фарма Партнерка! Увеличь свой профит в x2 раза вместе с нами!
19:14 Анализ курсов и недежности обменников - Kurs.Expert
18:02 Новый обменный сервис «Money-office»
16:31 Качественные услуги по телеграм (инвайт, рассылка)(Invite, mailing list)
15:46 CoinCapital

03:08 Точные прогнозы на футбол
00:55 С юмором по жизни!
10:05 Китайский ИИ-ассистент DeepSeek начали запрещать в некоторых странах
21:05 Telegram не смог провести различие между требованиями автократических режимов и законными демократическими запросами
08:12 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди
07:48 США готовят закон для уничтожения пиратских сайтов во всех странах мира
02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet

28.12.2024 00:49	Маркированный список выходит за пределы статьи
28.12.2024 00:44	Модуль DLE
11.12.2024 17:41	Цифровые часы - модуль DigitalWatch
16.10.2024 14:50	Плагин Telegram posting
10.03.2024 22:41	Как сделать 301 редирект на https

Иван Тушин Сообщений: 25 Регистрация: Июл 2011	#3 4 Ноября 2011 19:50 А теги тоже закрыть надо? А то у меня странный роботс какой то... User-agent: * Disallow: /*print Disallow: /2009/ Disallow: /2010/ Disallow: /2011/ Disallow: /2012/ Disallow: /tags/ Disallow: /page/ Disallow: /user/ Disallow: /engine/ Disallow: /favorites/ Disallow: /lastnews/ Disallow: /newposts Disallow: /catalog/ Disallow: /statistics.html Disallow: /rules.html Disallow: /addnews.html Disallow: /?do=tags Disallow: /index.php?do=stats Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?do=addnews Disallow: /index.php?do=rules Disallow: /index.php?do=feedback Disallow: /index.php?do=register Disallow: /index.php?do=lostpassword Disallow: /index.php?action=mobile Disallow: /index.php?action=mobiledisable Может я много лишнего сделал?