Всем привет!
Есть сайт https://topigr.com
Гугл удаляет страницы из поиска. Пишет что " Доступ к отправленному URL заблокирован в файле robots.txt "
Удаляет самые хорошие страницы которые в яндексе дают не плохой трафик.
С яндексом таких проблем нет. Подскажите в чем проблема?
User-agent: *
Disallow: /user/
Disallow: /tags/
Disallow: /backup/
Disallow: /language/
Disallow: /admin.php
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /blocks/
Disallow: */page/*
Disallow: /page*
Disallow: /xfsearch/
Disallow: */xfsearch*
Disallow: /xfsearch*
Disallow: *xfsearch*
Disallow: /?*
Host: https://topigr.com
Sitemap: https://topigr.com/sitemap.xml
Есть сайт https://topigr.com
Гугл удаляет страницы из поиска. Пишет что " Доступ к отправленному URL заблокирован в файле robots.txt "
Удаляет самые хорошие страницы которые в яндексе дают не плохой трафик.
С яндексом таких проблем нет. Подскажите в чем проблема?
User-agent: *
Disallow: /user/
Disallow: /tags/
Disallow: /backup/
Disallow: /language/
Disallow: /admin.php
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /blocks/
Disallow: */page/*
Disallow: /page*
Disallow: /xfsearch/
Disallow: */xfsearch*
Disallow: /xfsearch*
Disallow: *xfsearch*
Disallow: /?*
Host: https://topigr.com
Sitemap: https://topigr.com/sitemap.xml