robots.txt для вордпресс - гугл, оживил затертую до смерти тему

Сообщений: 439 Регистрация: Ноя 2011

27 Марта 2015 10:42

Всем привет!В вебмастере гугла появился инструмент "Заблокированные ресурсы", где он стал более подробно изучать robots.txt
Теперь, в функции посмотреть как googlebot показывается 2 окна, как ивдит бот и как пользователь.

Итак с 1 февраля начался рост Заблокированных ресурсов и уже дошел до 300...

С 2012 года не трогал свой robots.txt, в котором было значение:

Код
Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes - запрет файлов темы.

Но теперь гугл недоволен, и вот его новая прихоть:

Цитата

Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.

Если файл robots.txt сайта не позволяет просканировать все эти ресурсы, возникают ошибки. Из-за этого рейтинг сайта в Google Поиске становится низким.

Процетировал часть справки: вот полная версия https://support.google.com/webmasters/answer/6153277

Еще в далеком 2012 году, как щас помню настраивал свой robots.txt по запросу "Правильный роботс.тхт для вордпресс", сегодня повторил запрос. Но везде стоит запрет на индекс темы, на которую ругается гугл и не слово об этом. (даже в выдаче по результатам за последние 2 недели)

Убрал запрет. Посмотрю, что будет. Что скажите дорогие друзья?

Порой мелочи, важнее общей картины.
https://dardar.ru - дари добро!

span4bob

Сообщений: 6461 Регистрация: Апр 2013

27 Марта 2015 10:47

Цитата
Binker пишет: Посмотрю, что будет. Что скажите дорогие друзья?

я думаю если бы гугл внес бы какието существенные изменения он бы оповестил всех своих пользователей об этом.
Это же не яндекс который все делает в тихаря

Дай новую жизнь своим БЭКЛИНКАМ!!!
▼
► ◄
▲

Продвижение сателлитами ☻

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

29 Марта 2015 13:46

У меня такой же запрет стоит - Disallow: /wp-content/themes - запрет файлов темы.)
Страницы с заблокированными ресурсами - 445. И если бы вы об этом не написали, я бы даже и не заметил)))

Цитата
Binker пишет: Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.

У меня не приходило подобных писем, пока что)

Цитата
Binker пишет: Если файл robots.txt сайта не позволяет просканировать все эти ресурсы, возникают ошибки. Из-за этого рейтинг сайта в Google Поиске становится низким.

Хотя гугл сам говорит, что позиции могут быть ниже) Не пойму, зачем в индексе нужен этот мусор?

► Тизерная сеть для Женских сайтов: цена клика 3-5 рублей!

► Новая биржа контента: цена = качество!

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

8 Апреля 2015 15:06

Цитата
Binker пишет: Убрал запрет. Посмотрю, что будет. Что скажите дорогие друзья?

Есть какие-то изменения? И если не секрет, какой у вас роботс был и какой теперь? У меня просто тоже WP и запреты стоят на эти файлы до сих пор...

matiaje

Сообщений: 327 Регистрация: Июл 2014

8 Апреля 2015 15:35

несколько дней назад на одном из сайтов поставил Disallow: /wp-content/themes . и сайт просел по нескольким позициям. думал совпадение, но после вашего поста усомнился. может быть Вы правы.

matiaje

Сообщений: 327 Регистрация: Июл 2014

8 Апреля 2015 15:51

В общем при блокировки контента блокируются скрипты и графические файлы, что применимо к 21ому апреля не очень хорошо https://developers.google.com/webmasters/mobile-sites/mobile-seo/?hl=ru-RU&utm_source=MFT&utm_medium=incoming-link&utm_campaign=MFT

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

8 Апреля 2015 19:55

Цитата
matiaje пишет: несколько дней назад на одном из сайтов поставил Disallow: /wp-content/themes

А какой у вас сейчас роботс? Можете показать?

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

8 Апреля 2015 20:07

User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

Что из этого желательно открыть?

D-E-Z

Сообщений: 1202 Регистрация: Дек 2012

8 Апреля 2015 20:16

я у себя ещё архив закрыл, там куски текста есть которые хавает пс сайт/author/admin/

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

#10

8 Апреля 2015 20:26

Цитата
D-E-Z пишет: я у себя ещё архив закрыл, там куски текста есть которые хавает пс сайт/author/admin/

А можете скинуть пример вашего роботс? А то я не могу сообразить, что надо закрыть а что нет...

matiaje

Сообщений: 327 Регистрация: Июл 2014

#11

8 Апреля 2015 20:47

Цитата

GdeProfit пишет:

Цитата
matiaje пишет: несколько дней назад на одном из сайтов поставил Disallow: /wp-content/themes

А какой у вас сейчас роботс? Можете показать?

пока вот такой

Код

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

 
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: YandexImages
Allow: /wp-content/uploads/

Помониторю немного. если будут проседать позиции, то вот это:

Код
Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes

буду исключать

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

#12

8 Апреля 2015 20:53

Цитата

matiaje пишет:
Помониторю немного. если будут проседать позиции, то вот это:

Код
Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes

буду исключать

А гугл вебмастере ошибки выдает у вас, если эти папки закрыты в роботс как сейчас? У меня просто так же закрыто и 500 ошибок.

Серж

Сообщений: 3087 Регистрация: Окт 2011

#13

8 Апреля 2015 21:42

Код
Потерто

Изменено: Серж - 9 Апреля 2015 14:11

Ютуб канал Сделай сам
Дзен канал Сделай сам

olevpa

Сообщений: 559 Регистрация: Июн 2010

#14

9 Апреля 2015 18:24

500 дней

Паразитическая плесень когда-нибудь обязательно предъявит обвинение, что её не пускают в цветущий сад.

D-E-Z

Сообщений: 1202 Регистрация: Дек 2012

#15

9 Апреля 2015 18:48

Цитата
GdeProfit пишет: А можете скинуть пример вашего роботс? А то я не могу сообразить, что надо закрыть а что нет...

User-agent: *
Disallow: /go/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: *documents*
Disallow: /xmlrpc.php
Disallow: *author*
вот такой. Через вебмастер проверил, что нужно индексирует)

Похожие темы:

10.06.2024 15:33	Не удалось получить доступ к Robots.txt
26.03.2024 13:49	robots.txt запрет пагинации
23.05.2022 14:47	Яндекс проиндексировал, Google пишет "обнаружен тег noindex в метатеге robots".
24.11.2020 16:34	Страницы выпадают из индекса Google, из-за закрытия в robots.txt, хотя они там открыты
02.06.2019 16:31	Проиндексировано, несмотря на блокировку в файле robots.txt

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
18:41 Продвижение заграницей 22:36 Стоит ли добавлять сайт в Rambler топ 100? 16:34 Работает ли ссылочное продвижение 2019 – 2020? 16:22 Adsense личный опыт 16:20 АП Яндекс ИКС 16.11.2023 16:19 У Google наблюдается снижение трафика и, как следствие, уменьшение прибыли 12:10 Взрывной рост роботности в Метрике	21:27 Starcrown Partners – Партнерская программа для гемблинг/беттинг трафика 18:57 Прием платежей для HIGH RISK \| Прием платежей без сайта 18:57 Услуги рассылки Вконтакте 18:57 Услуги рассылки Viber\|Whatsapp\|IMO. 18:57 Рассылка в TELEGRAM \|Большой опыт работы \| Любые тематики \| Лучшая конверсия 18:24 Приватные мобильные прокси Украины безлимиты 4g UA Водафон Киевстар Лайф 17:25 TETChange-Обменник криптовалют	01:26 Точные прогнозы на футбол 12:12 Linux - это максимальная свобода 20:09 Сколько сейчас стоит наполнение ИМ? 12:43 Куплю проигрышные букмекерские аккаунты 04:33 Половина скидок на распродажах — фейк 07:53 НейроБабушка наказывает мошенников 19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко