Войти

Войти | Регистрация
Поиск по сайту
Проблемы с Googlebot
Поиск  Правила 
Seo форум » Поисковая оптимизация » Google
Страницы: 1
Проблемы с Googlebot, Googlebot выдает ошибки 403
#1
17 Февраля 2017 18:41
Возникла проблема возможно из за робот тхт. Помогите может быть в нем что то не так?


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: https://мой сайт
Sitemap: https://мой сайт/sitemap.xml.gz
Sitemap: https://мой сайт/sitemap.xml


Были ли проблемы у кого с Googlebot 

На сайте https://мой сайт/ стало больше URL, к которым нет свободного доступа. Они переадресуют на страницу ввода учетных данных или возвращают код 403 (доступ запрещен). Из-за этого посетители не могут просмотреть нужный контент, а Ваши страницы не отображаются в результатах Google Поиска.

А может быть из за плагина какого нибудь?smile:confused:
✔(НЕЙРОСЕТЬ) Качественные живые посетители на ваш сайт, блог, канал — Бесплатно!!!

♛ЛУЧШИЙ ПРОВЕРЕННЫЙ и САМЫЙ НЕДОРОГОЙ ХОСТИНГ: АКЦИИ!
#2
17 Февраля 2017 19:13
Не пойму в чем дело и страницы в минус пошли из за этого:confused:
#3
17 Февраля 2017 19:19
Сайт на вордпресс
#4
17 Февраля 2017 19:40
Если есть в плагинах css js и картинки - лучше открыть эти папки.Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Мир-Австралии http://australia-world.ru
http://world-biznes.ru/
#5
17 Февраля 2017 19:46
Цитата
Dmitry Gal пишет:
лучше открыть эти папки
1) Открыть в смысле каким способом? 2)И не повлечет ли за собой каких либо негативных последствий?
#6
17 Февраля 2017 20:31
Можно примерно так добавить. Все должно работать. 

Код
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-*.svg
Allow: /wp-*.woff
Allow: /wp-*.ttf

пс. а зачем одинаковые правила для разных ботов?
#7
17 Февраля 2017 20:37
Цитата
lookas99 пишет:
одинаковые правила для разных ботов?
А какие должны быть? И как ваш файл добавить в мой т.е. как он будет выглядеть?
#8
17 Февраля 2017 20:39
Просто не к чему повторять ТЕ ЖЕ самые правила для яндекса. Он хоть и туповат, но не на столько smile:D
Попробуйте такой robots.txt

Код
User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Disallow: /trackback 
Disallow: */trackback 
Disallow: */*/trackback 
Disallow: */*/feed/*/ 
Disallow: */feed 
Disallow: /*?* 
Disallow: /tag 
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-*.svg
Allow: /wp-*.woff
Allow: /wp-*.ttf 

Host: https://мой сайт 
Sitemap: https://мой сайт/sitemap.xml.gz 
Sitemap: https://мой сайт/sitemap.xml  
#9
17 Февраля 2017 20:40
Народ посоветуйте свои робот.тхт у кого какие и чем они лучше по вашему мнению
#10
17 Февраля 2017 22:58
А что меняли до того как гугл выдал предупреждение?

Не факт что из-за robots.txt

Файл .htaccess можете показать?

Так же посмотрите на проблемные страницы "Просмотреть как Googlebot" в панели вебмастера.
*Хостинг и домены. Скидка по промокоду - 34A0-15CA-735C-335A


#11
18 Февраля 2017 08:34
Цитата
MrLexKo пишет:
Файл .htaccess можете показать?
Файл очень большой так как там есть изменения которые вносит плагин securiti. Вот именно что менял и когда не помню! С вордпресс пока не особо дружу. Вот сам файл:

# BEGIN iThemes Security - Не меняйте и не удаляйте эту строку
# iThemes Security Config Details: 2
# Включить черный список HackRepair.com - Безопасность > Настройки > Бан пользователей > Черный список по умолчанию
# Start HackRepair.com Blacklist
RewriteEngine on
# Start Abuse Agent Blocking
RewriteCond %{HTTP_USER_AGENT} "^Mozilla.*Indy" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Mozilla.*NEWT" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^$" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Maxthon$" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^SeaMonkey$" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Acunetix" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^binlar" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^BlackWidow" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Bolt 0" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^BOT for JCE" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Bot mailto\:craftbot@yahoo\.com" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^casper" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^checkprivacy" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^ChinaClaw" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^clshttp" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^cmsworldmap" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Custo" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Default Browser 0" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^diavol" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^DIIbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^DISCo" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^dotbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Download Demon" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^eCatch" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^EirGrabber" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^EmailCollector" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^EmailSiphon" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^EmailWolf" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Express WebPictures" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^extract" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^ExtractorPro" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^EyeNetIE" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^feedfinder" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^FHscan" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^FlashGet" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^flicky" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^g00g1e" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^GetRight" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^GetWeb\!" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Go\!Zilla" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Go\-Ahead\-Got\-It" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^grab" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^GrabNet" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Grafula" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^harvest" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^HMView" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Image Stripper" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Image Sucker" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^InterGET" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Internet Ninja" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^InternetSeer\.com" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^jakarta" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Java" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^JetCar" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^JOC Web Spider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^kanagawa" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^kmccrew" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^larbin" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^LeechFTP" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^libwww" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Mass Downloader" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^microsoft\.url" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^MIDown tool" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^miner" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Mister PiX" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^MSFrontPage" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Navroad" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^NearSite" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Net Vampire" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^NetAnts" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^NetSpider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^NetZIP" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^nutch" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Octopus" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Offline Explorer" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Offline Navigator" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^PageGrabber" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Papa Foto" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^pavuk" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^pcBrowser" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^PeoplePal" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^planetwork" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^psbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^purebot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^pycurl" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^RealDownload" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^ReGet" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Rippers 0" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^sitecheck\.internetseer\.com" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^SiteSnagger" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^skygrid" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^SmartDownload" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^sucker" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^SuperBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^SuperHTTP" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Surfbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^tAkeOut" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Teleport Pro" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Toata dragostea mea pentru diavola" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^turnit" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^vikspider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^VoidEYE" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Web Image Collector" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebAuto" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebBandit" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebCopier" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebFetch" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebGo IS" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebLeacher" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebReaper" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebSauger" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Website eXtractor" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Website Quester" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebStripper" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebWhacker" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebZIP" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Widow" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WPScan" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WWW\-Mechanize" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WWWOFFLE" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Xaldon WebSpider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Zeus" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^zmeu" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "360Spider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "AhrefsBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "CazoodleBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "discobot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "EasouSpider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "ecxi" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "GT\:\:WWW" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "heritrix" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "HTTP\:\:Lite" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "HTTrack" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "ia_archiver" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "id\-search" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "IDBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Indy Library" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "IRLbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "ISC Systems iRc Search 2\.1" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "LinksCrawler" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "LinksManager\.com_bot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "linkwalker" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "lwp\-trivial" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "MFC_Tear_Sample" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Microsoft URL Control" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Missigua Locator" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "MJ12bot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "panscient\.com" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "PECL\:\:HTTP" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "PHPCrawl" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "PleaseCrawl" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "SBIder" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "SearchmetricsBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "SeznamBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Snoopy" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Steeler" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "URI\:\:Fetch" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "urllib" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Web Sucker" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "webalta" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "WebCollage" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Wells Search II" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "WEP Search" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "XoviBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "YisouSpider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "zermelo" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "ZyBorg" [NC,OR]
# End Abuse Agent Blocking
# Start Abuse HTTP Referrer Blocking
RewriteCond %{HTTP_REFERER} "^https?://(?:[^/]+\.)?semalt\.com" [NC,OR]
RewriteCond %{HTTP_REFERER} "^https?://(?:[^/]+\.)?kambasoft\.com" [NC,OR]
RewriteCond %{HTTP_REFERER} "^https?://(?:[^/]+\.)?savetubevideo\.com" [NC]
# End Abuse HTTP Referrer Blocking
RewriteRule ^.* - [F,L]
# End HackRepair.com Blacklist, http://pastebin.com/u/hackrepair

# Заблокированые хосты - Безопасность > Настройки > Заблокированные пользователи
SetEnvIF REMOTE_ADDR "^81\.177\.165\.220$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^81\.177\.165\.220$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^81\.177\.165\.220$" DenyAccess

SetEnvIF REMOTE_ADDR "^66\.249\.76\.136$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^66\.249\.76\.136$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^66\.249\.76\.136$" DenyAccess

SetEnvIF REMOTE_ADDR "^93\.158\.152\.72$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^93\.158\.152\.72$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^93\.158\.152\.72$" DenyAccess

SetEnvIF REMOTE_ADDR "^5\.255\.253\.49$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^5\.255\.253\.49$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^5\.255\.253\.49$" DenyAccess

SetEnvIF REMOTE_ADDR "^93\.158\.152\.5$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^93\.158\.152\.5$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^93\.158\.152\.5$" DenyAccess

SetEnvIF REMOTE_ADDR "^66\.249\.69\.209$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^66\.249\.69\.209$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^66\.249\.69\.209$" DenyAccess

SetEnvIF REMOTE_ADDR "^5\.255\.253\.69$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^5\.255\.253\.69$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^5\.255\.253\.69$" DenyAccess

SetEnvIF REMOTE_ADDR "^141\.8\.132\.27$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^141\.8\.132\.27$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^141\.8\.132\.27$" DenyAccess

SetEnvIF REMOTE_ADDR "^91\.121\.162\.202$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^91\.121\.162\.202$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^91\.121\.162\.202$" DenyAccess

SetEnvIF REMOTE_ADDR "^66\.249\.76\.38$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^66\.249\.76\.38$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^66\.249\.76\.38$" DenyAccess

SetEnvIF REMOTE_ADDR "^66\.249\.75\.178$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^66\.249\.75\.178$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^66\.249\.75\.178$" DenyAccess

SetEnvIF REMOTE_ADDR "^141\.8\.184\.7$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^141\.8\.184\.7$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^141\.8\.184\.7$" DenyAccess

SetEnvIF REMOTE_ADDR "^141\.8\.132\.40$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^141\.8\.132\.40$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^141\.8\.132\.40$" DenyAccess

SetEnvIF REMOTE_ADDR "^141\.8\.184\.28$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^141\.8\.184\.28$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^141\.8\.184\.28$" DenyAccess

SetEnvIF REMOTE_ADDR "^93\.158\.152\.32$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^93\.158\.152\.32$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^93\.158\.152\.32$" DenyAccess

SetEnvIF REMOTE_ADDR "^141\.8\.132\.62$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^141\.8\.132\.62$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^141\.8\.132\.62$" DenyAccess

SetEnvIF REMOTE_ADDR "^66\.249\.75\.37$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^66\.249\.75\.37$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^66\.249\.75\.37$" DenyAccess

SetEnvIF REMOTE_ADDR "^66\.249\.64\.83$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^66\.249\.64\.83$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^66\.249\.64\.83$" DenyAccess

<IfModule mod_authz_core.c>
<RequireAll>
Require all granted
Require not env DenyAccess
Require not ip 81.177.165.220
Require not ip 66.249.76.136
Require not ip 93.158.152.72
Require not ip 5.255.253.49
Require not ip 93.158.152.5
Require not ip 66.249.69.209
Require not ip 5.255.253.69
Require not ip 141.8.132.27
Require not ip 91.121.162.202
Require not ip 66.249.76.38
Require not ip 66.249.75.178
Require not ip 141.8.184.7
Require not ip 141.8.132.40
Require not ip 141.8.184.28
Require not ip 93.158.152.32
Require not ip 141.8.132.62
Require not ip 66.249.75.37
Require not ip 66.249.64.83
</RequireAll>
</IfModule>
<IfModule !mod_authz_core.c>
Order allow,deny
Allow from all
Deny from env=DenyAccess
Deny from 81.177.165.220
Deny from 66.249.76.136
Deny from 93.158.152.72
Deny from 5.255.253.49
Deny from 93.158.152.5
Deny from 66.249.69.209
Deny from 5.255.253.69
Deny from 141.8.132.27
Deny from 91.121.162.202
Deny from 66.249.76.38
Deny from 66.249.75.178
Deny from 141.8.184.7
Deny from 141.8.132.40
Deny from 141.8.184.28
Deny from 93.158.152.32
Deny from 141.8.132.62
Deny from 66.249.75.37
Deny from 66.249.64.83
</IfModule>

# Заблокированые приложения - Безопасность > Настройки > Заблокированые пользователи
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^91\.200\.12\.91 [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^37\.122\.101\.89 [NC]
RewriteRule ^.* - [F]
</IfModule>

# Отключить XML-RPC - Безопасность > Настройки > Подстройка WordPress > XML-RPC
<files xmlrpc.php>
<IfModule mod_authz_core.c>
Require all denied
</IfModule>
<IfModule !mod_authz_core.c>
Order allow,deny
Deny from all
</IfModule>
</files>

<IfModule mod_rewrite.c>
RewriteEngine On

# Reduce Comment Spam - Security > Settings > WordPress Tweaks > Comment Spam
RewriteCond %{REQUEST_METHOD} POST
RewriteCond %{REQUEST_URI} /wp-comments-post\.php$
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_REFERER} !^https?://(([^/]+\.)?мой сайт\.com|jetpack\.wordpress\.com/jetpack-comment)(/|$) [NC]
RewriteRule ^.* - [F]
</IfModule>

# Защита системных файлов - Безопасность > Настройки > Системные подстройки > Системные файлы
<files .htaccess>
<IfModule mod_authz_core.c>
Require all denied
</IfModule>
<IfModule !mod_authz_core.c>
Order allow,deny
Deny from all
</IfModule>
</files>
<files readme.html>
<IfModule mod_authz_core.c>
Require all denied
</IfModule>
<IfModule !mod_authz_core.c>
Order allow,deny
Deny from all
</IfModule>
</files>
<files readme.txt>
<IfModule mod_authz_core.c>
Require all denied
</IfModule>
<IfModule !mod_authz_core.c>
Order allow,deny
Deny from all
</IfModule>
</files>
<files wp-config.php>
<IfModule mod_authz_core.c>
Require all denied
</IfModule>
<IfModule !mod_authz_core.c>
Order allow,deny
Deny from all
</IfModule>
</files>

<IfModule mod_rewrite.c>
RewriteEngine On

# Защита системных файлов - Безопасность > Настройки > Системные подстройки > Системные файлы
RewriteRule ^wp-admin/install\.php$ - [F]
RewriteRule ^wp-admin/includes/ - [F]
RewriteRule !^wp-includes/ - [S=3]
RewriteRule ^wp-includes/[^/]+\.php$ - [F]
RewriteRule ^wp-includes/js/tinymce/langs/.+\.php - [F]
RewriteRule ^wp-includes/theme-compat/ - [F]
</IfModule>
# END iThemes Security - Не меняйте и не удаляйте эту строку

RewriteEngine On
RewriteCond %{HTTP_HOST} ^(www\.)?мой старый сайт\.ru$ [NC]
RewriteRule ^(.*)$ https://мой новый сайт/$1 [R=301,L]

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

# BEGIN EWWWIO

# END EWWWIO
#12
18 Февраля 2017 08:36
Цитата
MrLexKo пишет:
Так же посмотрите на проблемные страницы "Просмотреть как Googlebot" в панели вебмастера.
Да при проверке периодически выдает ошибки:confused:
#13
18 Февраля 2017 10:41
Цитата
WGN пишет:
Да при проверке периодически выдает ошибки
Сам сайт при этом нормально отображается в гугл вебмастере?



В вашем .htaceess много запретов, возможно и гугл что то не пускает...


Попробуйте оставить в нем стандартный для WP код:
Код
# BEGIN WordPress

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress


И отключите плагины, которые вносят в него изменения.
Затем снова проверьте страницу/цы через Googlebot на предмет ошибок.

И если можно скиньте сайт в личку.
#14
18 Февраля 2017 11:36
Спасибо всем отозвавшемся вроде все решилось smile:confused: деактивировал плагин i theme securiti отдельную благодарность за помощь по сайту выражаю MrLexKo
 
Страницы: 1
Похожие темы:
  22.02.2021 15:45  Проблемы от высокого CLS и как их исправить
  12.10.2018 19:28  У вас тоже перестал работать GoogleBot в панеле вебмастера?
  19.06.2017 12:33  Проблемы с редиректом после переноса постов блога на новые УРЛы
  04.08.2015 10:26  Googlebot не индексирует сайт и не выдает сайт в поисковой выдаче в других странах
  03.08.2015 09:39  Googlebot не может получить доступ к файлам CSS иJS
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:36 Стоит ли добавлять сайт в Rambler топ 100? 
16:34 Работает ли ссылочное продвижение 2019 – 2020? 
16:22 Adsense личный опыт 
16:20 АП Яндекс ИКС 16.11.2023 
16:19 У Google наблюдается снижение трафика и, как следствие, уменьшение прибыли 
12:10 Взрывной рост роботности в Метрике 
14:12 Роскомнадзор отказал в регистрации трети блогеров-десятитысячников 
12:22 Обмен криптовалют 
09:44 BestChange – обменивать электронную валюту можно быстро и выгодно 
04:31 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
03:53 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
02:14 GoogleWalker - устранение конкурентов в Google Ads | Автоматизированная система склика | АНТИБАН 
22:20 Volna.money 
20:46 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
01:26 Точные прогнозы на футбол 
12:12 Linux - это максимальная свобода 
20:09 Сколько сейчас стоит наполнение ИМ? 
12:43 Куплю проигрышные букмекерские аккаунты 
04:33 Половина скидок на распродажах — фейк 
07:53 НейроБабушка наказывает мошенников 
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
Апдейты
  • Яндекс ИКС Яндекс выдача 23.11.2023 (419 дней назад)
  • Яндекс выдача Яндекс выдачаМониторинг апдейтов 05.09.2024 (132 дня назад)

     Доска объявлений
     Купить / Продать
     Работа / Услуги
Интересные темы
—  Ютуб - продвижение и заработок
—  Баннерообменная бизнес сеть. Заработок без вложений.
—  Бизнес на фоне санкций
—  Новая акция 2024: Заработай* до 5 432 руб. за пару минут** просто, бесплатно и без смс. Сможет даже новичок
—  Заработок на УБТ в 2024. Приватка


Показать все

Интернет новости

Как понравиться Google?26.03
Как понравиться Google?

25.03 Telegram заблокировали в Испании

25.03 Власти РФ требуют от Telegram бороться с "не такими" новостями

23.03 Microsoft покупает рекламу в выдаче Google для раскрутки Bing

22.03 Google Gemini открыта для тестирования

21.03 Yahoo! продолжает "угрожать" своим новым поиском


Инструменты
Все инструменты

© Сервис анализа сайтов CY-PR.com 2008-2050