Yandex не обращает внимания на robots.txt

Сообщений: 413 Регистрация: Янв 2011

25 Июня 2011 14:19

У меня в robots.txt Стоит

User-agent: Yandex

Host: treyd.org

Но Он мне Домен без www Сделал Зеркалом сайта с www , что это за игнор ?

Бан Голд Казино Форум

Arte

Сообщений: 1458 Регистрация: Янв 2011

25 Июня 2011 14:25

Код

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html

User-agent: Yandex 

Host: treyd.org

Crawl-delay: 3

Ваш роботс, а нужно

Код

User-agent: Yandex 
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Host: treyd.org

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Sitemap: <a href=\"http://www.treyd.org/sitemap.xml\" target=\"_blank\">http://www.treyd.org/sitemap.xml</a>

И ждать месяц-полтора.

Изменено: Arte - 25 Июня 2011 14:27

Лучший хостинг - недорогие услуги хостинга, VPS/VDS.

Размещу ваши тематические статьи "Услуги" бесплатно. ТИЦ 20 PR2

mix2706 Сообщений: 413 Регистрация: Янв 2011	#3 25 Июня 2011 15:00 Arte, Спасибо большое

Похожие темы:

11.02.2024 11:03	Yandex N.V. продает бизнес "Яндекса"
29.09.2023 20:34	YandexGPT не убьёт классический поиск по интернету?
27.06.2023 19:21	Новая возможность: нейросеть Яндекса YandexGPT научилась кратко пересказывать текст
19.06.2023 16:30	"Яндекс" откроет нейросеть YandexGPT для тестирования
22.02.2019 22:18	Обновление "Внешних ссылок" в webmaster.yandex

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
13:03 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 23:59 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 13:04 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 20:13 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 15:04 Adtrafico - Правильная партнёрская сеть под бурж трафик 19:21 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 17:32 Новая жизнь, старого форума	15:03 Продам аккаунты 1 ТБ Облако@Mail.ru 14:59 PlayPay.biz - Лутбоксы с товарами, играми 12:40 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 12:00 BestChange – обменивать электронную валюту можно быстро и выгодно 10:51 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 04:34 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 22:37 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств	22:56 Точные прогнозы на футбол 20:09 Сколько сейчас стоит наполнение ИМ? 12:43 Куплю проигрышные букмекерские аккаунты 04:33 Половина скидок на распродажах — фейк 07:53 НейроБабушка наказывает мошенников 19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту

Вверх