Файл robots для вордпресс

Файл robots для вордпресс, Правильное заполнение файла robots

Сообщений: 118 Регистрация: Июл 2011

22 Августа 2011 12:27

Добрый день всем!
Помогите, пожалуйста, гляньте - я правильно robots заполнила (составляла по аналогам, выложенным в Интернете) - ничего не перемудрила?

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: мой сайт

User-Agent: MJ12bot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Sitemap: http://мой сайт//sitemap.xml.gz
Sitemap: http://мой сайт//sitemap.xml

Контент-маркетолог

Master95

Сообщений: 126 Регистрация: Ноя 2010

22 Августа 2011 13:06

Я себе такой составил:

Цитата

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.sitename.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://www.sitename.ru/sitemap.xml

Прошло 3 дня, гоша уже 5 страничек скушал и одну картинку, вроде нормально пока.

Изменено: Master95 - 22 Августа 2011 13:07

Angelina M.

Сообщений: 118 Регистрация: Июл 2011

22 Августа 2011 13:13

Master95

Спасибо за ответ!

Изменено: Angelina M. - 22 Августа 2011 13:13

Ольга

Сообщений: 15 Регистрация: Июн 2011

1 Декабря 2011 21:56

А как правильно составить robots.txt на Word Press, чтобы правильно закрыть дублирующие страницы, и чтобы реклама Google Adsense везде показывалась ?

У меня идет сильный перекос проиндексированных страниц: в Яндексе - 106, а в Гугле - 4500. Всего на сайте - 150 статей.

qweds

Сообщений: 15 Регистрация: Апр 2010

2 Декабря 2011 21:44

Цитата

Ольга пишет:
А как правильно составить robots.txt на Word Press, чтобы правильно закрыть дублирующие страницы, и чтобы реклама Google Adsense везде показывалась ?
У меня идет сильный перекос проиндексированных страниц: в Яндексе - 106, а в Гугле - 4500. Всего на сайте - 150 статей.

Ольга, Adsense реклама будет везде показываться, где установишь код, не зависимо, есть ли страница в индексе или нет.

Дубли обычно образуются из категорий (меню), страниц поиска, feed, архивы. Если используешь плагин All in One SEO, то там есть такие пункты - Use noindex for Categories, Use noindex for Archives, Use noindex for Tag Archives - поставь там галочки и сохрани!

А вот robots.txt:

Код

User-agent: *
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: */feed
Disallow: /feed/
Disallow: /?feed=
Disallow: */trackback
Disallow: /trackback
Disallow: */comments
Disallow: /comments
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: /?s=

User-agent: Yandex
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: */feed
Disallow: /feed/
Disallow: /?feed=
Disallow: */trackback
Disallow: /trackback
Disallow: */comments
Disallow: /comments
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: /?s=
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Андрей

Сообщений: 6 Регистрация: Окт 2011

14 Декабря 2011 14:41

Я тоже долго мучился с этим вопросом, но как-то задал этот вопрос Алексею Козымаеву (толковый парень) и он написал мне отличный вариант. Поставил и все работает просто супер!

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: /comments
Allow: /wp-content/uploads

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: /comments
Allow: /wp-content/uploads
Host: gazoninfo.com

Sitemap: http://gazoninfo.com/sitemap.xml
Sitemap: http://gazoninfo.com/sitemap.xml.gz

Ольга

Сообщений: 15 Регистрация: Июн 2011

15 Декабря 2011 01:29

Спасибо всем за ответы. Столько вариантов, что не знаешь на каком остановиться.

Александр Розанов

Сообщений: 422 Регистрация: Янв 2012

21 Февраля 2012 12:23

Цитата
Андрей пишет: Disallow: */comments Disallow: /comments

Это означает, что комментарии к заметкам не будут индексироваться?

Партнерка, из которой я вывел более 1 млн руб

Yapy

Сообщений: 583 Регистрация: Дек 2011

22 Февраля 2012 18:32

Цитата
Андрей пишет: Disallow: */comments Disallow: /comments

Цитата
qweds пишет: Disallow: */feed Disallow: /feed/

Не понимаю, зачем так писать. Первая строчка уже включает вторую. Или я не прав?

О сколько нам открытий чудных готовит продвиженья путь:
И Google, сын ошибок трудных, и Yandex, парадоксов друг :)
Дешёвый хостинг для новичков и про

Похожие темы:

07.05.2021 01:48	Страницы медиафайлов vs. обычные
24.02.2020 13:18	Нужен файл роботс для вордпресс.
12.02.2019 12:26	Помогите вынести скрипт в отдельный файл и запретить его загрузку на мобильный устройствах
24.06.2018 15:24	Как автоматически реализовать скачку файлов с задержкой 9-15 секунд
24.05.2018 14:10	Хелпаните с размещением rar файлов на сайте.

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
18:51 Роскомнадзор отказал в регистрации трети блогеров-десятитысячников 12:53 где много готовых фавиконок 07:51 Как правильно покупать ссылки для поддомена? 22:59 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 12:32 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 23:27 Adfinity - Ваш надежный партнер в монетизации трафика 16:55 Инструменты для массового постинга в WordPress	16:39 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 11:07 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 11:01 Защитим твой ресурс от блокировки Роскомнадзора 10:09 BestChange – обменивать электронную валюту можно быстро и выгодно 06:50 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 03:42 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 22:23 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств	07:48 США готовят закон для уничтожения пиратских сайтов во всех странах мира 02:50 Точные прогнозы на футбол 02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet 21:19 С юмором по жизни! 18:15 Telegram уничтожил официальный канал легендарного российского торрент-трекера 18:19 Уникальный сервис SEO продвижения 14:45 (затёр сайт)