robots.txt
Страницы: 1
robots.txt, Не индексирует сайт
Всем привет.Яша не берет сайт в индекс.Пишет такой бред:4.10.2014 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует. 
Пожалуйста, воспользуйтесь формой проверки ( webmaster.yandex.ua/site/robots.xml?host=21375212 ). Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру.
[SIZE=2]Вот robots.txt[/SIZE]
[SIZE=2]User-agent: *
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /admin.php
Disallow: /?do=addnews
Disallow: /?do=feedback
Disallow: /?do=lostpassword
Disallow: /?do=pm
Disallow: /?do=register
Disallow: /?do=stats
Disallow: /index.php?do=orderdesc*
Disallow: /?do=search
Disallow: /?subaction=newposts 
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: */page/*
Disallow: /page*
Disallow: /?*
Host: sayt.net

Sitemap: sayt.net/uploads/sitemap.xml
[/SIZE][SIZE=2]Да и robot.txt содрал с топового сайта и сделал под себя.Скажите что здесь не так?
[/SIZE]
конечно ты закрыл все что можно было smile:)

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

этого хватит

карту сайта  надо вытащить из uploads  в корень сайта  и адрес должен быть такой  Sitemap: sayt.net/sitemap.xml
Цитата
Евгений Евгений пишет:
конечно ты закрыл все что можно было smile:)

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

этого хватит

карту сайта надо вытащить из uploads в корень сайта и адрес должен быть такой Sitemap: sayt.net/sitemap.xml
Так эти разделы не нужно индексировать.Будет дубль кейвордов и дескрипшенов.И я же говорю что роботс содрал с топового сайта у которого посещалка 1ккк
Цитата
esdfsd dsf пишет:
роботс содрал с топового сайта
Зачем? что так сложно свой написать? сканируете свой сайт что увидели лишнее дописали в роботс. Netpeak Spider софт гуглите
Вот как нужно делать сайты Bezlimi.com
Цитата
DmitryBezlimit пишет:
Цитата
esdfsd dsf пишет:
роботс содрал с топового сайта
Зачем? что так сложно свой написать? сканируете свой сайт что увидели лишнее дописали в роботс. Netpeak Spider софт гуглите
Сайт тойже тематики и разделы теже.Все разделы проверил.
Цитата
DmitryBezlimit пишет:
Netpeak Spider
Прога зачетная,спасибо.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
10:47 Бесплатные посещения 
20:17 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
15:01 Adtrafico - Правильная партнёрская сеть под бурж трафик 
18:41 Продвижение заграницей 
22:36 Стоит ли добавлять сайт в Rambler топ 100? 
16:34 Работает ли ссылочное продвижение 2019 – 2020? 
16:22 Adsense личный опыт 
10:34 Ссылочное продвижение ваших сайтов статьями, профилями и комментариями, качественно и по доступным ценам!!! 
05:30 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
19:14 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
16:42 Sectormoney.com - быстрый и удобный обменник 
14:34 CoinCapital  
12:59 Чек номеров на наличие Telegram/ Filter (checking) numbers Telegram 
01:09 лиды, Forex, криптовалюта, гэмблинг, чарджбэк, лидогенерация 
05:42 Точные прогнозы на футбол 
21:04 Есть ли альтернатива Адсенсу и РСЯ? 
22:39 Кому выплата РСЯ пришла и какого числа? 
12:12 Linux - это максимальная свобода 
20:09 Сколько сейчас стоит наполнение ИМ? 
12:43 Куплю проигрышные букмекерские аккаунты 
04:33 Половина скидок на распродажах — фейк