Запрет страниц в файле robots.txt

Сообщений: 145 Регистрация: Авг 2012

28 Июля 2018 17:53

Привет всем! Не знаю что натворила, но у меня в файле роботс стоит запрет на индексирование. Увидела это сообщение в яндекс вебмастере. Страницы все вылетели из поиска яндекса. Вот роботс.тхт
User-agent: *
Disallow: /page
Disallow: /tag
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: */uploads
Disallow: /#
Sitemap: http://адрес сайта
Sitemap: http:/адрес сайта
Host: адрес сайта

Изменено: Ann Osta - 28 Июля 2018 19:03

Aleksandr Botnikov

Сообщений: 73 Регистрация: Май 2012

28 Июля 2018 20:48

Disallow: /# Этим вы запретили индексацию всего сайта. Знак # в robots.txt это комментарий - соответственно Disallow: / = запрет от корня. "Sitemap: http:/адрес" это также неправильно. Оставлять, только, первый "Sitemap: http://адрес сайта ". Все остальное норм.

Ann Osta

Сообщений: 145 Регистрация: Авг 2012

28 Июля 2018 20:52

Цитата

Aleksandr Botnikov пишет:
Disallow: /# Этим вы запретили индексацию всего сайта. Знак # в robots.txt это комментарий - соответственно Disallow: / = запрет от корня. "Sitemap: http:/адрес" это также неправильно. Оставлять, только, первый "Sitemap: http://адрес сайта ". Все остальное норм.

О, спасибо большое, сейчас исправлю. А вот это Sitemap: http:/ , я просто при редактировании темы случайно удалила один слэш

SEO Лаборант

Сообщений: 334 Регистрация: Янв 2013

29 Июля 2018 01:21

Вот правильный роботс для вордпресса

Код

 User-agent: *              
                            
Disallow: /cgi-bin          
Disallow: /?                
Disallow: /wp-              
Disallow: /wp/               
                            
Disallow: *?s=              
Disallow: *&s=              
Disallow: /search/          
Disallow: /author/          
Disallow: /users/           
Disallow: */trackback        
                            
Disallow: */feed            
Disallow: */rss             
Disallow: */embed           
Disallow: */wlwmanifest.xml  
                            
Disallow: /xmlrpc.php       
Disallow: *utm*=            
Disallow: *openstat=        
Allow: */uploads            

User-agent: GoogleBot       
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow: */uploads
Allow: /*/*.js              
Allow: /*/*.css             
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif 
Allow: /wp-admin/admin-ajax.php 

User-agent: Yandex 
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Clean-Param: utm_source&utm_medium&utm_campaign
Clean-Param: openstat 
Host:  адрес_сайта

Sitemap: http://адрес_сайта/sitemap_index.xml

НАСТРОЙКА ЯНДЕКС ДИРЕКТ и ГУГЛ ЭДВОРДС

Прогон по Твиттеру. 1500 аккаунтов. Результат

Законник

Сообщений: 2301 Регистрация: Мар 2013

29 Июля 2018 02:35

хост уже не нужен. не смертельно, но яндекс рекомендует удалять.

Я из США, а эти двое то ли из России, то ли из Москвы. ©

Ann Osta

Сообщений: 145 Регистрация: Авг 2012

29 Июля 2018 06:55

Спасибо за правильный роботс, детективу хост значит уберем. А что вот эти строчки значат?
Clean-Param: utm_source&utm_medium&utm_campaign
Clean-Param: openstat

SEO Лаборант

Сообщений: 334 Регистрация: Янв 2013

29 Июля 2018 14:53

Ann Osta, Ну это когда вы ставите ютм метки, например для отслеживания трафика с рекламы, опенстат тоже для метрики

Ann Osta

Сообщений: 145 Регистрация: Авг 2012

29 Июля 2018 17:42

Цитата
SEO Лаборант пишет: Ann Osta, Ну это когда вы ставите ютм метки, например для отслеживания трафика с рекламы, опенстат тоже для метрики

Понятно, спасибо

02.12.2023 00:11	Как долго индексируется страница
30.08.2023 11:44	Сколько ключей запросов нужно писать на одной странице, чтобы быть в топе
22.05.2023 01:50	За отзыв ТЗ по оптимизации 1й страницы
04.04.2023 10:41	Главная страница сайта недоступна для робота: код ответа страницы «406 (Not Acceptable)»
24.11.2022 10:02	Приставка к страницам пагинации типа ?fbclid

Новые темы	Объявления	Свободное общение
13:45 Стоит ли добавлять сайт в Rambler топ 100? 22:12 Stixi.ru. и stixi.com 20:30 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 15:00 Adtrafico - Правильная партнёрская сеть под бурж трафик 16:45 Adfinity - Ваш надежный партнер в монетизации трафика 15:05 Gambling Craft - гемблинг по белому 19:35 Парсят сай до ddos	05:50 ⚡LunaProxy дешевый глобальный резидентный прокси ⚡$0,77/ГБ⚡Ротирующийся прокси\|Собственный IP\|Безлимитный план⚡ 16:11 Google Voice - OLD аккаунты "SMS и звонки" 15:32 Sms.chekons.com - получения SMS на реальные номера USA, Sms.chekons.com - получения SMS на реальные номера USA 15:26 TETChange-Обменник криптовалют 12:30 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 11:38 Majento SiteAnalyzer - бесплатная программа для аудита и анализа сайта 04:38 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка	00:22 Точные прогнозы на футбол 20:09 Сколько сейчас стоит наполнение ИМ? 12:43 Куплю проигрышные букмекерские аккаунты 04:33 Половина скидок на распродажах — фейк 07:53 НейроБабушка наказывает мошенников 19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту