Robots.txt для html сайта
Страницы: 1
Robots.txt для html сайта
Добрый день. Я вроде уже знаю как правильно настроить роботс для сайта вордпресс(какие страницы желательно закрыть и т.д.).Но для сайта без движка, написанный на html, не знаю как лучше настроить. 
Подскажите пожалуйста кто знает, или пример покажите. 
Спасибо.
Один из лучших хостингов.
Одна из лучших партнерок.
Продаю плагины гаданий и гороскопа!
У меня такой для чистого html, полёт нормальный:

User-agent: *
Host: site.ru
Sitemap: http :// site.ru /sitemap.xml

Если хотите что-то закрыть от индексации, то прописываете запрет.
Изменено: masterrabot - 20 Февраля 2017 12:04

А что изменяется то ? Так же само закрываем для индекса скрипты, открываем картинки и тексты..
Сварщик - сайтосборщик, выравняю кривое, отпилю лишнее, снимаю венец безбрачия с яндексом.
а sitemap как создать для этого?
Цитата
Armen Adamyan пишет:
а sitemap как создать для этого?


Руками в блокноте сохранив затем файл с расширением .xml
или к примеру здесь на Супре https://www.cy-pr.com/tools/sitemap/
masterrabot, потом он сам будет обновляться(если есть написанный движок на php) или нужно добавлять в ручную?
Цитата
Armen Adamyan пишет:
masterrabot, потом он сам будет обновляться(если есть написанный движок на php) или нужно добавлять в ручную?


В ручную, это же для сайта на чистом html
На самописном движке php не знаю как сделать автообновляемую сайтмап.
Есть скрипты - и для на файлах, и на базе.
Конечно, все разные и разные, но найти можно - запуск по крону иливручную, по желанию пользователя.

Подробнее в инете.
masterrabot, Coder, понятно, спасибо!
)Пожалуйста
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
12:32 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 
23:27 Adfinity - Ваш надежный партнер в монетизации трафика 
22:34 Роскомнадзор отказал в регистрации трети блогеров-десятитысячников 
16:55 Инструменты для массового постинга в WordPress 
01:26 Как правильно покупать ссылки для поддомена? 
20:05 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
15:02 Adtrafico - Правильная партнёрская сеть под бурж трафик 
22:11 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 
18:46 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
16:43 ChatGPT уже в Телеграм! Пользуйтесь бесплатно, без использования VPN 
16:41 Инвайтинг(приглашения) в вашу группу/чат телеграм. 
16:15 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 
15:41 TETChange-Обменник криптовалют 
15:33 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 
02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet 
00:06 Точные прогнозы на футбол 
22:39 США готовят закон для уничтожения пиратских сайтов во всех странах мира 
21:19 С юмором по жизни! 
18:15 Telegram уничтожил официальный канал легендарного российского торрент-трекера 
18:19 Уникальный сервис SEO продвижения 
14:45 (затёр сайт)