robots.txt и .htaccess
Страницы: 1
robots.txt и .htaccess, Оцените и помогите исправить для CMS DLE
Здравствуйте! Использую движок DLE.
Провожу оптимизацию сайта. Robots.txt еще куда ни шло... Там в большинстве - понятно.

А вот в .htaccess не особо разбираюсь! smile:o Помогите пожалуйста.

Вот .htaccess:
Цитата
DirectoryIndex index.php
RewriteEngine On
Options +Indexes
Options +FollowSymLinks

# Редиректы
RewriteRule ^page/(.*)$ index.php?cstart=$1 [L]

# Ддя HTML Карты сайта
RewriteRule ^sitemap(/?)+$ /?do=sitemap [L]

# Редирект для категорий (чтобы в конце URL был /)
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !-f
RewriteCond %{REQUEST_URI} !/$
RewriteCond %{REQUEST_URI} !.html$
RewriteCond %{REQUEST_URI} !.xml$
RewriteRule (.+) $1/ [R=301,L]

# Редирект c без www на с www
RewriteCond %{HTTP_HOST} ^site\.ru$ [NC]
RewriteRule ^(.*)$ http://www.site.ru/$1 (http://"http://www.site.ru/$1") [R=301,L]

# Карта сайта пользователей
RewriteRule ^yasitemap_users(/?)+$ index.php?do=yasitemap_users
RewriteRule ^yasitemap_users/page(.*)/ index.php?cstart=$1&do=yasitemap_users

# Сам пост
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*).html(/?)+$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4 [L]

RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$4&news_page=$2&cstart=$3 [L]
RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$2 [L]
RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$2&newsid=$3 [L]
RewriteRule ^([^.]+)/([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2 [L]

RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$1&cstart=$2 [L]
RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&news_page=$1 [L]
RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$1&newsid=$2 [L]
RewriteRule ^([0-9]+)-(.*).html(/?)+$ index.php?newsid=$1 [L]

# За день
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L]
# За весь месяц
RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L]
# Вывод за весь год
RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L]
RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L]
# вывод отдельному тегу
RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L]
RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L]
# вывод для отдельного юзера
RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L]
RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L]
# вывод всех последних новостей
RewriteRule ^lastnews/(/?)+$ index.php?do=lastnews [L]
RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L]
# вывод в виде каталога
RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L]
# вывод непрочитанных статей
RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L]
RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L]
# Статистические страницы
RewriteRule ^static/(.*).html(/?)+$ index.php?do=static&page=$1 [L]
# вывод избранных статей
RewriteRule ^favorites(/?)+$ index.php?do=favorites [L]
RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L]

RewriteRule ^rules.html$ index.php?do=rules [L]
RewriteRule ^statistics.html$ index.php?do=stats [L]
RewriteRule ^addnews.html$ index.php?do=addnews [L]
RewriteRule ^rss.xml$ engine/rss.php [L]
RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L]

RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L]
RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L]
RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1 [L]
RewriteRule ^print:([^/]+).html$ engine/print.php?do=static&page=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^/]+).html$ index.php?do=static&page=$1 [L]


Вот вооооообще не могу понять, что например это и откуда оно взялось - в родном .htaccess который идёт в движке DLE такого нет:

# Карта сайта пользователей
RewriteRule ^yasitemap_users(/?)+$ index.php?do=yasitemap_users
RewriteRule ^yasitemap_users/page(.*)/ index.php?cstart=$1&do=yasitemap_users

Кто-то может объяснить?


По воводу Robots.txt - верно ли составлен???

вот сам робот:
Цитата
User-agent: *
Disallow: /*print
Disallow: /*rss.xml
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /tags/
Disallow: /page/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /autobackup.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /addnews.html

Sitemap: http://www.site.ru/sitemap.xml (http://"http://www.site.ru/sitemap.xml")

User-agent: Yandex
Disallow: /*print
Disallow: /*rss.xml
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /tags/
Disallow: /page/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /autobackup.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /addnews.html

Sitemap: http://www.site.ru/sitemap.xml (http://"http://www.site.ru/sitemap.xml")
Host: www.site.ru


Заранее спасибо! smile:)
globall-soft.ru
Зачем в Robots.txt
Disallow: /*rss.xml - закрыл РСС
Disallow: /uploads/ - закрыл картинки
Disallow: /newposts/ - что это?
в htacces
Цитата
# Редиректы
RewriteRule ^page/(.*)$ index.php?cstart=$1 [L]

# Ддя HTML Карты сайта
RewriteRule ^sitemap(/?)+$ /?do=sitemap [L]

# Редирект для категорий (чтобы в конце URL был /)
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !-f
RewriteCond %{REQUEST_URI} !/$
RewriteCond %{REQUEST_URI} !.html$
RewriteCond %{REQUEST_URI} !.xml$
RewriteRule (.+) $1/ [R=301,L]

# Редирект c без www на с www
RewriteCond %{HTTP_HOST} ^site\.ru$ [NC]
RewriteRule ^(.*)$ http://www.site.ru/$1 [ "http://www.site.ru/$1" ] [R=301,L]

# Карта сайта пользователей
RewriteRule ^yasitemap_users(/?)+$ index.php?do=yasitemap_users
RewriteRule ^yasitemap_users/page(.*)/ index.php?cstart=$1&do=yasitemap_users


Все это доп. установленные модули

в роботс.тхт все вроде правильно, но лучше открыть rss ленту!)
Цитата
Disallow: /*rss.xml
Спасибо ребят! smile:)

Ну а на счёт
# Карта сайта пользователей
RewriteRule ^yasitemap_users(/?)+$ index.php?do=yasitemap_users
RewriteRule ^yasitemap_users/page(.*)/ index.php?cstart=$1&do=yasitemap_users

У кого-то есть такое же? smile:confused:
Александр Пупков,
походу, это дополнительный модуль кто то ставил... или что то самописное.
Цитата
Александр Пупков пишет:
Спасибо ребят!
Ну а на счёт
# Карта сайта пользователей
RewriteRule ^yasitemap_users(/?)+$ index.php?do=yasitemap_users
RewriteRule ^yasitemap_users/page(.*)/ index.php?cstart=$1&do=yasitemap_users
У кого-то есть такое же?


у меня такое есть ставил этот доп. модуль:
Это доп. модуль "Карта сайта 2.1"
Изменено: Влад Скляр - 5 Сентября 2011 16:32
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:55 Яндекс прекращает поддержку технологии Турбо 
16:44 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 
16:38 ру гембла 
10:59 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
09:06 Бесплатные посещения 
01:10 Adsense личный опыт 
22:07 Помогите найти шаблон 
18:02 Новый обменный сервис «Money-office» 
16:31 Качественные услуги по телеграм (инвайт, рассылка)(Invite, mailing list) 
15:46 CoinCapital  
15:45 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 
14:01 ~Мобильные Proxy 4g/LTE с ротацией, настоящий безлимит, без ограничений скорости, RU~ 
05:33 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
04:03 ProxyWins.com - 15% по промо-коду "venividivici" 
20:44 Точные прогнозы на футбол 
10:05 Китайский ИИ-ассистент DeepSeek начали запрещать в некоторых странах 
21:05 Telegram не смог провести различие между требованиями автократических режимов и законными демократическими запросами 
08:12 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
07:48 США готовят закон для уничтожения пиратских сайтов во всех странах мира 
02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet 
21:19 С юмором по жизни!