Вопрос по robots.txt
Страницы: 1
Вопрос по robots.txt
Уважаемые, подскажите правильное содержание данного файла. Вот сейчас увидел строчку

Disallow: /images/

Это означает что поисковики не индексируют картинки на моем сайте, или я ошибаюсь?
И еще вопрос, так же там строка

Disallow: /components/

,но в индексе Яши несколько тысяч неверных документов вида

/component/jcomments/

/component/jcomments/feed/

/component/jcomments/feed/com_content/

/component/search/?Itemid=

Откуда он их берет, если папки component вообще нет? Как удалить кучу этих ссылок из поисковика? прописать Disallow: /component/  для несуществующей папки?


Вообще разъясните, а то совсем запутался((
Изменено: breaker26 - 10 Августа 2013 01:40
Держи, бро:
Код
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /component/search/
Disallow: /component/content/
#Здесь по аналогии добавь названия других используемых компонентов, например jcomments
#или используй (хотя я так делать не рекомендую) Disallow: /component/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*rss.html
Disallow: /*atom.html
#Фиды вообще отключать нужно, а то сайт сольют
Host: site.ru
#Замени на свой сайт

Sitemap: http://site.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1
#Замени на свой сайт и подставь адрес sitemap. У меня это компонент xmap


Про images момент спорный. В Joomla индексация изображений по умолчанию запрещена, однако если ее разрешить полезного трафика много не будет. В большинстве с картинок приходят те, кто хочет что-то спи... А component это не папка, это url доступа к помпонентам, оно редиректится на нужные файлы, нужно закрывать от индексации. И мои коменты удалить не забудь.
Цитата
WSairus пишет:
Держи, бро:

СПС ОГРОМНЕЙШЕЕ! сейчас вот еще такой момент узрел((( , т.е. index.php тоже блокировать надо?

Рисунок
А у Вас ЧПУ в Joomla включен? Если да (адреса вида site.ru/category/123-article) то можно добавить
Код
Disallow: /index.php?

Если ЧПУ выключен и адреса вида site.ru/index.php?хз=непомнюдальше то этого делать нельзя.

Лично я с такой проблемой не сталкивался.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:13 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
15:04 Adtrafico - Правильная партнёрская сеть под бурж трафик 
19:21 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
17:32 Новая жизнь, старого форума 
17:41 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
17:46 Проверить сайт на уязвимость 
17:44 Adsense личный опыт 
11:44 Majento SiteAnalyzer - бесплатная программа для аудита и анализа сайта 
10:01 Bitpapa.com - криптовалютный P2P-маркетплейс для безопасных сделок 
08:45 Продам 2 сайта 
04:19 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
03:22 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram! 
23:21 Размещу ссылки/статьи на ваш сайт | Рост ИКС | XRumer 23.0.4 StrongAI 
21:04 Помогу закрыть кредиты и долги законно! 
00:54 Точные прогнозы на футбол 
12:43 Куплю проигрышные букмекерские аккаунты 
04:33 Половина скидок на распродажах — фейк 
07:53 НейроБабушка наказывает мошенников 
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту 
14:57 Конгресс США заявил о лабораторном происхождении коронавируса