Я когда сайт создал, тут же пробежался по сервисам поисковых систем и рассказал им о своем сайте. А сам робот на сайт не придет. Он о нем может узнать (если самому не заявить) только по ссылкам с других ресурсов. А на новый сайт никто не ссылается. Так можно год ждать.
Посмотрите на
http://www.greenlight5.com/prodviz2.htm. Эта страница по теме регистрации (добавления) сайта в поисковики.
Гуглу о сайте заявил помню, и главная страница появилась в его индексе через 3 дня. А Яндекс медленнее работает, там через 3 недели в индекс выдают.
В тексте robots.txt ничего криминального не увидел. Но я сам не великий спец в этом. Знаю только, что команда Disallow запрещает индексировать указанный после нее раздел. Но если этот файл робот.txt прилагался к CMS, значит в нем все правильно должно быть.