Прошу помощи с robots.txt

Сообщений: 2 Регистрация: Янв 2014

3 Февраля 2014 20:13

Здравствуйте,помогите, пожалуйста составить правильный файл robots.txt для сайта жены : www.kids-help.ru
сайт давно был в запустении, сейчас начал им заниматься. Гугл начал индексировать сразу, а яндекс не хочет. Возможно проблема в robots.txt
сейчас он в таком виде (так понимаю по умолчанию):

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Он полностью корректен, или его можно доработать (в яндексе в индексе всего 3 страницы)? Робот страницы добавляет, но в индекс не попадают...

Изменено: aglinsky - 3 Февраля 2014 20:13

The Undertaker

Сообщений: 1526 Регистрация: Мар 2011

3 Февраля 2014 20:58

Вы не указали версию движка. Вот пример для 1.5

Код

 User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /component/

Disallow: /ssylki/

Disallow: /poll-results/

Disallow: /contact

Disallow: /view-your

Disallow: /view-detail-of-order

Disallow: /vmchk/

Disallow: /*vmchk

Disallow: /otpravit-soobschenie/

Disallow: /view-your-cart-content

Disallow: /javascript

Disallow: /*feed/

Disallow: /*poisk

Disallow: /index.php

Disallow:/index2.php

Disallow: /*index.php

Disallow: /*?

Disallow: /*.xls$

Disallow: /*.doc$

Disallow: /*.pdf$

Disallow: /*.rtf$

Disallow: /*.zip$

Disallow: /*.rar$

Disallow: /*.css$

Disallow: /*.js$

Disallow: /*.htm$

Disallow: /*.html$

Allow: /

Host: ваш сайт.ru

Sitemap: http://ваш сайт.ru/Sitemap.xml

Ну и смотря какие урлы стоят по отношениям к строчкам
Disallow: /index.php
Disallow:/index2.php
Disallow: /*index.php
И
Disallow: /*.htm$
Disallow: /*.html$

Изменено: The Undertaker - 3 Февраля 2014 21:01

Уникальный контент выбирайте »тут« за недорого

Штырлиц

Сообщений: 858 Регистрация: Апр 2011

3 Февраля 2014 21:39

на первый взгляд, без знания движка, нужно убрать
Disallow: /images/
Disallow: /media/

ⓥ Три колечка цепляются друг за друга: ненависть от гнева, гнев от гордости
☠ Парсер контента для Wordpress
Записник WP http://wpcodeblog.wordpress.com/

WSairus

Сообщений: 1432 Регистрация: Июн 2010

3 Февраля 2014 22:11

Штырлиц, ну на счет images в большинстве случаев согласен. А вот media зачем отклывать - там же стандартные картинки от Joomla+модулей.

Партнёрки для заработка!

aglinsky Сообщений: 2 Регистрация: Янв 2014	#5 3 Февраля 2014 22:17 Да, версия Joomla 1.5.26

Новые темы	Объявления	Свободное общение
20:13 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 15:04 Adtrafico - Правильная партнёрская сеть под бурж трафик 19:21 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 17:32 Новая жизнь, старого форума 17:41 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 17:46 Проверить сайт на уязвимость 17:44 Adsense личный опыт	23:21 Размещу ссылки/статьи на ваш сайт \| Рост ИКС \| XRumer 23.0.4 StrongAI 21:04 Помогу закрыть кредиты и долги законно! 20:27 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 17:20 Sectormoney.com - быстрый и удобный обменник 16:35 Sapfirex.com - Современный сервис обмена криптовалют 14:56 Swapper.ws - Обмен криптовалют. Быстро, выгодно, круглосуточно. 23:48 GoogleWalker - устранение конкурентов в Google Ads \| Автоматизированная система склика \| АНТИБАН	00:54 Точные прогнозы на футбол 12:43 Куплю проигрышные букмекерские аккаунты 04:33 Половина скидок на распродажах — фейк 07:53 НейроБабушка наказывает мошенников 19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту 14:57 Конгресс США заявил о лабораторном происхождении коронавируса

Новые темы

Объявления

Свободное общение

20:13 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
15:04 Adtrafico - Правильная партнёрская сеть под бурж трафик
19:21 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
17:32 Новая жизнь, старого форума
17:41 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт!
17:46 Проверить сайт на уязвимость
17:44 Adsense личный опыт

23:21 Размещу ссылки/статьи на ваш сайт | Рост ИКС | XRumer 23.0.4 StrongAI
21:04 Помогу закрыть кредиты и долги законно!
20:27 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
17:20 Sectormoney.com - быстрый и удобный обменник
16:35 Sapfirex.com - Современный сервис обмена криптовалют
14:56 Swapper.ws - Обмен криптовалют. Быстро, выгодно, круглосуточно.
23:48 GoogleWalker - устранение конкурентов в Google Ads | Автоматизированная система склика | АНТИБАН

00:54 Точные прогнозы на футбол
12:43 Куплю проигрышные букмекерские аккаунты
04:33 Половина скидок на распродажах — фейк
07:53 НейроБабушка наказывает мошенников
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту
14:57 Конгресс США заявил о лабораторном происхождении коронавируса

06.12.2014 10:05	Опять прошу помощи...
30.08.2014 00:41	Как заменить шапку в шаблоне beez red на картинку??? Очень срочно, прошу помочь)
09.02.2014 21:29	Прошу помочь советом!
25.09.2013 18:18	Прощу помощи! Плагин фотогалереи Phoca Gallery. Возникла проблема.