Запрет индексации для следующих ботов:
Основной домен сайта:
Таймаут между переходами робота по страницам:
Запрет индексации разделов, страниц: | Пример: /contacts/ /category1/ /category2/ /page.html |
Для чего предназначен инструмент "Генератор robots.txt"
Сервис cy-pr.com представляет вам инструмент "Генератор robots.txt", с помощью которого можно в режиме онлайн за несколько секунд создать файл robots.txt, а также установить запрет на индексацию страниц сайта определенными поисковыми системами.
Что такое robots.txt
Robots.txt – это файл, который расположен в корне сайта и в котором содержатся указания для поисковых ботов. Заходя на любой ресурс, роботы начинают с ним знакомство с файла robots.txt – своеобразной "инструкции по применению". Издатель указывает в данном файле, как роботу необходимо взаимодействовать с ресурсом. Например, здесь может содержаться запрет индексации некоторых страниц или рекомендация о соблюдении временного интервала между сохранением документов с веб-сервера.
Возможности инструмента
Веб-мастер может установить запрет на индексацию роботами поисковых систем Яндекс, Google, Mail.ru, Рамблер, Bing или Yahoo!, а также задать тайм-аут между переходами поискового робота по страницам ресурса и запретить индексацию избранных страниц сайта. Кроме этого, в специальной строке можно указать поисковым роботам путь к карте сайта (sitemap.xml).
После того, как вы заполните все поля инструмента и нажмете кнопку "Создать", система автоматически сгенерирует файл для поисковых ботов, который вы должны будете разместить в корневой зоне вашего сайта.
Обратите внимание, что файл robots.txt нельзя применять для скрытия страницы из результатов поиска, потому что на нее могут ссылаться иные ресурсы, и поисковые роботы так или иначе ее проиндексируют. Напоминаем, что для блокировки страницы в результатах поисковой выдачи используется специальный тег "noindex" или устанавливается пароль.
Стоит также отметить, что с помощью инструмента "Генератор robots.txt" вы создадите файл исключительно рекомендательного характера. Само собой, боты "прислушиваются" к указаниям, оставленным для них веб-мастерами в файле robots.txt, но иногда игнорируют их. Почему так происходит? Потому, что каждый поисковый робот имеет свои настройки, согласно которым он интерпретирует информацию, полученную из файла robots.txt.
Оптимизатор css кода Оптимизирует код страниц, что экономит время загрузки. |
Unix time конвертер Простой epoch/Unix timestamp конвертер для вэбмастеров. |
Шифрование в MD5 и SHA-1 Кодирование (шифрование) любого текста или строки по алгоритму md5. |
Подсчёт длины текста Подсчёт длины текста с пробелами и без, количества слов. |
Шифровальщик (Encoder) для HTML Этот инструмент позволит сделать недоступным ваш код для прочтения. |
Карта сайта Создание онлайн карты сайта. Генератор xml карты сайта (sitemap.xml) |