Буду краток: месяц назад добавил новый robots.txt, (закрывал от индексации дубляжы страниц и админку)В итоге в яше порядок, дубляж страниц вылетел осталось 170, а гугл все продолжает индексировать 700 страниц!!!!! роботс смотреть не желает, хоть и выносит 150 предупреждений что запрещена индексация некоторых страниц,
ниже выложил свой роботс, помотрите может косяк какой-то? (для яши роботс аналогичный)
vkusno-poesti.ru/robots.txt ( vkusno-poesti.ru/robots.txt )
User-agent: *
Disallow: /cgi-bin
Disallow: /js/
Disallow: /1
Disallow: /css
Disallow: /i
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /webstat/
Disallow: /wp-trackback/
Disallow: /wp-feed/
Disallow: /wp-comments/
Disallow: /category/
Disallow: /page/
Disallow: */page/*
Disallow: /tag/
Disallow: /feed/
Disallow: */feed/
Disallow: /comments/
Disallow: */comments/
Disallow: */comment-page-*
Disallow: /trackback/
Disallow: */trackback/
Disallow: */files/*
Disallow: /*/?replytocom=*
Disallow: /category/
Disallow: /archive/
Disallow:/2011/
Disallow:/2012/
Disallow:/2013/
Disallow:/2014/
Disallow: /stuff/
Disallow: /secure/
Disallow: /forum/
Disallow: /*?
Disallow: /*?*
Disallow: *.php
Disallow: /gb/
Disallow: /news/
Disallow: /photo/
Disallow: /publ/
Disallow: /forum/
Disallow: /index/
Disallow: /dictionary/
Disallow: /vse-retsepty/
ниже выложил свой роботс, помотрите может косяк какой-то? (для яши роботс аналогичный)
vkusno-poesti.ru/robots.txt ( vkusno-poesti.ru/robots.txt )
User-agent: *
Disallow: /cgi-bin
Disallow: /js/
Disallow: /1
Disallow: /css
Disallow: /i
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /webstat/
Disallow: /wp-trackback/
Disallow: /wp-feed/
Disallow: /wp-comments/
Disallow: /category/
Disallow: /page/
Disallow: */page/*
Disallow: /tag/
Disallow: /feed/
Disallow: */feed/
Disallow: /comments/
Disallow: */comments/
Disallow: */comment-page-*
Disallow: /trackback/
Disallow: */trackback/
Disallow: */files/*
Disallow: /*/?replytocom=*
Disallow: /category/
Disallow: /archive/
Disallow:/2011/
Disallow:/2012/
Disallow:/2013/
Disallow:/2014/
Disallow: /stuff/
Disallow: /secure/
Disallow: /forum/
Disallow: /*?
Disallow: /*?*
Disallow: *.php
Disallow: /gb/
Disallow: /news/
Disallow: /photo/
Disallow: /publ/
Disallow: /forum/
Disallow: /index/
Disallow: /dictionary/
Disallow: /vse-retsepty/