Файл робот robots.txt
Страницы: 1
Файл робот robots.txt
robots.txt Не знаю как теперь в нем прописать? ссылки поменяла с  http://   на https://

User-Agent: *
Allow: /
Host: //мойсайт.ru
Sitemap: //мойсайт.ru/sitemap.xml


Так правильно?
Изменено: Natalia LynxPlace - 10 Августа 2017 18:57
User-Agent: *
Allow: /
Host: https://мойсайт.ru
Sitemap: https://мойсайт.ru/sitemap.xml
Там где Host протокол https:// писать не надо

User-Agent: * 
Allow: / 
Host: мойсайт.ru 
Sitemap: https://мойсайт.ru/sitemap.xml

Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо

User-Agent: *
Allow: /
Host: мойсайт.ru
Sitemap: https://мойсайт.ru/sitemap.xml


Пример корректно составленного robots.txt, при обработке которого директива Host учитывается:
User-Agent: *
Disallow: /
Host: https://www.myhost.ru

Директива Host должна содержать: Протокол HTTPS, если зеркало доступно только по защищенному каналу. Если вы используете протокол HTTP, то его указывать необязательно.

Смотрите источник: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru
Изменено: Александр Жилецкий - 10 Августа 2017 20:10
Цитата
Александр Жилецкий пишет:
Disallow: /
При такой инструкции весь сайт запрещен у индексации
Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо
Надо! При ssl надо Host: https://сайт.ру
Цитата
Александр Жилецкий пишет:
Disallow: /
Не слушайте его. Не пишите такую инструкцию. Это запрет доступа к сайту всем поисковым роботам.
Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.
Цитата
Александр Жилецкий пишет:
Директива Host должна содержать: Протокол HTTPS
Цитата
Eye пишет:
Надо! При ssl надо Host: https://сайт.ру

Признаю свою ошибку, надо, надо Host: https://сайт.ру
Цитата
Natalia LynxPlace пишет:
Так правильно?
При таких инструкциях как в примере, я б вообще указал пустое содержимое и не ломал голову, сайт будет чувствовать себя превосходно
Цитата
Eye пишет:
Не слушайте его. Не пишите такую инструкцию.
Ага что то совсем не то:)
Спасибо, всем за Ваше ценное время. Вы все мне очень помогли.
Цитата
Eye пишет:
Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо
Надо! При ssl надо Host: https://сайт.ру
Цитата
Александр Жилецкий пишет:
Disallow: /
Не слушайте его. Не пишите такую инструкцию. Это запрет доступа к сайту всем поисковым роботам.
Код был взят из справки Яндекса. Согласен, что Dissalow - запрещает индексацию, а Allow - разрешает. Решать как их применять, это на усмотрение владельца сайта. Вопрос был о том, как писать правильно директиву Host. Я и ответил!
Изменено: Александр Жилецкий - 11 Августа 2017 09:01
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:13 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
10:09 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:07 Взрывной рост роботности в Метрике 
18:33 Trafee.com – эффективная монетизация вашего дейтинг трафика 
15:41 Adtrafico - Правильная партнёрская сеть под бурж трафик 
22:12 Stixi.ru. и stixi.com 
20:30 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
00:25 Уникальный сервис SEO продвижения 
14:51 Мощные прокси для вашего бизнеса! 
12:17 Продам дешёвые домены (1$/штука) 
10:58 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
10:17 Размещу ссылки/статьи на ваш сайт | Рост ИКС | XRumer 23.0.4 StrongAI 
22:12 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:06 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
22:00 Точные прогнозы на футбол 
20:09 Сколько сейчас стоит наполнение ИМ? 
12:43 Куплю проигрышные букмекерские аккаунты 
04:33 Половина скидок на распродажах — фейк 
07:53 НейроБабушка наказывает мошенников 
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту