файл robots.txt отсутствует

power13

Сообщений: 3 Регистрация: Мар 2010

31 Января 2010 22:17

Подскажите что должно быть в этом файле, чтоб роботы номально индексировали сайт.

Dendix

Сообщений: 10 Регистрация: Мар 2010

1 Февраля 2010 05:15

Спроси у googla он больше скажет. (всегда поражаюсь над такими вопросами)

power13

Сообщений: 3 Регистрация: Мар 2010

1 Февраля 2010 10:58

Цитата
Спроси у googla он больше скажет. (всегда поражаюсь над такими вопросами)

у гугла спрашивал!
хочу услышать ответ знающего человека!

Dendix

Сообщений: 10 Регистрация: Мар 2010

4 Февраля 2010 01:08

robotstxt.org.ru

Saha Сообщений: 28 Регистрация: Мар 2010	#5 5 Февраля 2010 16:29 robot.txt-нужен для того чтобы запретить ту или иную страницу к индексации! но лучше запретить индексацию-тем страницам которые не интересые пользователям!чтоб робот пс не тратил силы на лазания по ним!а чтоб лучше индексировал хороший материал вашего сайта! Лучше создавать фаил сайтмап!И заказать у специалистов этот-robot.txt!!!!

Новые темы	Объявления	Свободное общение
04:05 Что такое Яндекс Икс / Как накрутить Яндекс ИКС 00:53 Доработка сайта 00:49 Маркированный список выходит за пределы статьи 00:44 Модуль DLE 18:09 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 16:11 Давайте начнем обмен отзывами Google maps 22:14 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.	06:10 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 00:54 Переверстать готовый шаблон DLE 23:30 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 19:07 Linken Sphere – браузер-антидетект нового поколения 15:02 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 12:42 Sapfirex.com - Современный сервис обмена криптовалют	22:20 Точные прогнозы на футбол 20:09 Сколько сейчас стоит наполнение ИМ? 12:43 Куплю проигрышные букмекерские аккаунты 04:33 Половина скидок на распродажах — фейк 07:53 НейроБабушка наказывает мошенников 19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту

Новые темы

Объявления

Свободное общение

04:05 Что такое Яндекс Икс / Как накрутить Яндекс ИКС
00:53 Доработка сайта
00:49 Маркированный список выходит за пределы статьи
00:44 Модуль DLE
18:09 LGaming - экосистема и партнерская программа в gambling и betting вертикалях
16:11 Давайте начнем обмен отзывами Google maps
22:14 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.

06:10 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника
04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
00:54 Переверстать готовый шаблон DLE
23:30 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика
19:07 Linken Sphere – браузер-антидетект нового поколения
15:02 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр.
12:42 Sapfirex.com - Современный сервис обмена криптовалют

22:20 Точные прогнозы на футбол
20:09 Сколько сейчас стоит наполнение ИМ?
12:43 Куплю проигрышные букмекерские аккаунты
04:33 Половина скидок на распродажах — фейк
07:53 НейроБабушка наказывает мошенников
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2020 14:09	Ссылка с pdf файла на сайте.. Стоит ли?
07.04.2020 01:55	SEO, WP медиафайлы- картинки, вредят?
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt