Здравствуйте, форумчане. Кому нетрудно, скажите нужно ли в моем роботсе еще и вот это:
Disallow: /cgi-bin

Не думайте, что мне лень залезть в поиск, в поиске я все уже облазила...конкретного ответа не узнала.
Поняла, что эта директива запрещает индексировать все, кроме страниц. А применительно к моему роботсу - надо ли это?
У меня вроде все в порядке, но закрадываются сомнения...