robots.txt
Страницы: 1
robots.txt, http://orubalochke.ru/
Скажите пожалуйска, как мне лучше всего прописать robotsюече для своего нового сайта на Джумле? orubalochke.ru ?
На даный момент он выглядит так:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Не хочю чтобы яндекс и гугл чтото блочили или не индексаровали его. Заранее всем благодарен...
Ну стандартный robots для Joomla 
я бы добавил строки от дублей

Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
и вот эту гадость
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
а, забыл еще Host
Host: ваш сайт ( с или без www)
Цитата
Руслан пишет:
Ну стандартный robots для Joomla
я бы добавил строки от дублей

Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
и вот эту гадость
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Прям так скопировать и добавить в текст ниже?
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
ну если так, то копируйте
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*print=1
Disallow: /*home.html
Disallow: /*rss.html
Disallow: /*atom.html
Host: (здесь ваш сайт)
Цитата
Bob mobobob пишет:
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Здесь повнимательнее, много повторов.
Цитата
ЯРуслан пишет:
Цитата
Bob mobobob пишет:
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Здесь повнимательнее, много повторов.
Я в этом не очень пока понимаю. Мой сайт orubalochke.ru . Если не сложно пропишите мне пожалуйста как должно быть. Заранее очень благодарен...
User-agent: *
Disallow: /content/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /search/*
Disallow: /*html?task=view
Disallow: /component/
Disallow: /index.php
Disallow: /search.html
Disallow: /?Itemid
Disallow: /index.php?*
Disallow: /index2.php
Disallow: /*.pdf$
Disallow: /*print=1
Disallow: /*?sl*
Disallow: /*home.html
Disallow: /*rss.html
Disallow: /*atom.html
Crawl-delay: 5
Host: orubalochke.ru
Я бы посоветовал так. Расписывать, что к чему не буду, очень долго.
Изменено: Руслан - 15 Декабря 2012 19:49
Цитата
Disallow: /*rss.html
Disallow: /*atom.html 
Я бы посоветовала ставить без html
Disallow: /*=rss
Disallow: /*=atom

Ссылки выглядят как или site.ru/index.php?format=feed&type=rss

Если на сайте используется ЧПУ, то можно ограничится.

Disallow: /*?

Это правило так же поможет частично спрятать дубли страниц.
Я не могу понять я правильно закрываю Этот знал # или как быть мне показывает в дублях #comments и #addcomment вот конце адресной строки.

Disallow: /*#*  Disallow: /*#  
Цитата
zurab mentesachvili пишет:
Я не могу понять я правильно закрываю Этот знал # или как быть мне показывает в дублях #comments и #addcomment вот конце адресной строки.

Disallow: /*#* Disallow: /*#
Интересный вопрос. Решение предложить затрудняюсь, но вам стоит учитывать, что ни один из вариантов работать как вы хотите не будет. Символом # начинается комментарий. Сам символ и все, что написано за ним на строке бот проигнорирует. Соответственно он прочитает обе строки как:

Disallow: /*
А это закрывает все страницы сайта от индексации.
Вот так выглядит мой робот.

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: cheat-go.ru/sitemap.xml
Sitemap: cheat-go.ru/sitemap-forum.xml
Sitemap: cheat-go.ru/sitemap-shop.xml

[IMG]
Руслан Гулиев,  К чему Ваш пост?!
Тема - CMS » Joomla
А Ваш robots.txt от Ucoz...
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: Ваш сайт.ru
Sitemap: http://Ваш сайт.ru/карта сайта
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
04:24 Стоит ли добавлять сайт в Rambler топ 100? 
20:13 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
15:04 Adtrafico - Правильная партнёрская сеть под бурж трафик 
19:21 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
17:32 Новая жизнь, старого форума 
17:41 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
17:46 Проверить сайт на уязвимость 
04:19 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
03:22 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram! 
23:21 Размещу ссылки/статьи на ваш сайт | Рост ИКС | XRumer 23.0.4 StrongAI 
21:04 Помогу закрыть кредиты и долги законно! 
20:27 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
17:20 Sectormoney.com - быстрый и удобный обменник 
16:35 Sapfirex.com - Современный сервис обмена криптовалют 
00:54 Точные прогнозы на футбол 
12:43 Куплю проигрышные букмекерские аккаунты 
04:33 Половина скидок на распродажах — фейк 
07:53 НейроБабушка наказывает мошенников 
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту 
14:57 Конгресс США заявил о лабораторном происхождении коронавируса