Robots.txt – файл, который является важнейшим элементом любого современного сайта, так как считается, по своей сути, своеобразной инструкции, которую учитывают поисковые роботы при анализе любого интернет-проекта.
Практически всегда файл Robots.txt применяется для запрета посещения поисковыми роботами определенных раздела сайта или всего ресурса в целом, а также исключения их из процедуры индексирования.

Для чего это делается? Все дело в том, что посещения сайта поисковыми программами замедляет его работу и может усложнить процесс нахождения на ресурсе простым посетителям. Чтобы избежать этого момента был разработан алгоритм, который позволяет выбирать разделы, необходимые для индексирования, одновременно запрещая доступ к другим. Впервые данный инструмент был применен в 1994-ом году, когда было заключено соглашение между различными организациями, работающими в данной сфере деятельности человечества.
Важнейшей особенностью файла Robots.txt является возможность временно полностью запретить индексирование ресурса. Например, владелец сайта хочет изначально наполнить его определенной информацией, провести какие-то тесты, и только после этого предоставить свой проект всем желающим людям, проводящим время на просторах глобальной паутины.