Генератор robots.txt
    
    

Запрет индексации для следующих ботов:

 Для всех
 Яндекс
 Google
 Mail.ru
 Рабмлер
 Бинг
 Yahoo

Основной домен сайта:

Таймаут между переходами робота по страницам:

Запрет индексации разделов, страниц:
   Пример:
   /contacts/
   /category1/
   /category2/
   /page.html

Пусть к карте сайте, sitemap.xml:



Готовый robots.txt:

Сохраните данные в файл "robots.txt" и скопируйте в конревую папку сайта.


Для чего предназначен инструмент "Генератор robots.txt"

Сервис cy-pr.com представляет вам инструмент "Генератор robots.txt", с помощью которого можно в режиме онлайн за несколько секунд создать файл robots.txt, а также установить запрет на индексацию страниц сайта определенными поисковыми системами.

Что такое robots.txt

Robots.txt – это файл, который расположен в корне сайта и в котором содержатся указания для поисковых ботов. Заходя на любой ресурс, роботы начинают с ним знакомство с файла robots.txt – своеобразной "инструкции по применению". Издатель указывает в данном файле, как роботу необходимо взаимодействовать с ресурсом. Например, здесь может содержаться запрет индексации некоторых страниц или рекомендация о соблюдении временного интервала между сохранением документов с веб-сервера.

Возможности инструмента

Веб-мастер может установить запрет на индексацию роботами поисковых систем Яндекс, Google, Mail.ru, Рамблер, Bing или Yahoo!, а также задать тайм-аут между переходами поискового робота по страницам ресурса и запретить индексацию избранных страниц сайта. Кроме этого, в специальной строке можно указать поисковым роботам путь к карте сайта (sitemap.xml).

После того, как вы заполните все поля инструмента и нажмете кнопку "Создать", система автоматически сгенерирует файл для поисковых ботов, который вы должны будете разместить в корневой зоне вашего сайта.

Обратите внимание, что файл robots.txt нельзя применять для скрытия страницы из результатов поиска, потому что на нее могут ссылаться иные ресурсы, и поисковые роботы так или иначе ее проиндексируют. Напоминаем, что для блокировки страницы в результатах поисковой выдачи используется специальный тег "noindex" или устанавливается пароль.

Стоит также отметить, что с помощью инструмента "Генератор robots.txt" вы создадите файл исключительно рекомендательного характера. Само собой, боты "прислушиваются" к указаниям, оставленным для них веб-мастерами в файле robots.txt, но иногда игнорируют их. Почему так происходит? Потому, что каждый поисковый робот имеет свои настройки, согласно которым он интерпретирует информацию, полученную из файла robots.txt.

Другие инструменты:
Оптимизатор css кода
Оптимизирует код страниц, что экономит время загрузки.
Unix time конвертер
Простой epoch/Unix timestamp конвертер для вэбмастеров.
Шифрование в MD5 и SHA-1
Кодирование (шифрование) любого текста или строки по алгоритму md5.
Подсчёт длины текста
Подсчёт длины текста с пробелами и без, количества слов.
Шифровальщик (Encoder) для HTML
Этот инструмент позволит сделать недоступным ваш код для прочтения.
Карта сайта
Создание онлайн карты сайта. Генератор xml карты сайта (sitemap.xml)
Новые темыОбъявленияСвободное общение
22:20 Нейросеть Google пожелала человеку смерти, но при этом два раза произнесла «пожалуйста» 
22:19 АП Яндекс ИКС 16.11.2023 
21:17 Ходяга(АнтиМинусинск) - программа для проклика ссылок, генерации поискового и соц.трафика, улучшения ПФ 
17:08 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
11:05 Работает ли ссылочное продвижение 2019 – 2020? 
19:50 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
14:58 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
09:03 Продажа Pia Proxy - Продажа качественных проксей | CDKey | Не слетают | Гарантия 14 дней | 
04:37 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
00:15 TrueMeds - Революционная Фарма Партнерка! Увеличь свой профит в x2 раза вместе с нами! 
22:16 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
21:38 Продам базу блогеров-обзорщиков в инстаграм (реклама товаров по бартеру) 
16:37 barry24.com - онлайн обменник без AML и верификации, полностью анонимные обмены 
14:45 BestChange – обменивать электронную валюту можно быстро и выгодно 
03:20 Точные прогнозы на футбол 
22:51 Стряхнуть обыденность - об Агасфере 
20:55 С юмором по жизни! 
17:19 Комментарии Instagram 
09:42 Бизнес по-американски 
21:29 Роскомнадзор в декабре отключит Рунет от "Зарубежного интернета" 
21:28 НейроБабушка наказывает мошенников