Robots.txt для WordPress - правильная версия.
Страницы: 1
[ Закрыто ] Robots.txt для WordPress - правильная версия., Что и как?
С толкнулся с проблемой выбора файла роботс для блога. В интернете большое количество разных вариантов, но какой из них правильный? На данный момент сделал все по этой pro-wordpress.ru/chast-2-raskrutka-bloga/kak-izbavitsya-ot-dublej-stranic.php]инструкции  но вот тут есть опасения хоть и стоит 301 редиректор но робот то открыт полностью, может по мимо этого и в роботсе все закрыть? Мне нужно только что бы записи,изображения и страници были в поиске. Я понимаю что таких тем куча. но я не нашел нормальный фаил роботс. Буду очень признателен если поделиться, и если есть возможность ссылку на сайт где он стоит.
40 просмотров и не одного ответа, всем лень писать?smile:confused:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /redirect/
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*
Disallow: /*?*
Disallow: /*?
Disallow: */comments
Disallow: /author/*
Disallow: /tag/*
Disallow: /xmlrpc.php
Host: сайт.com

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /redirect/
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /author/*
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*
Disallow: */comments
Disallow: /tag/*
Disallow: /xmlrpc.php

Sitemap: http://сайт.com/sitemap.xml
Цитата
batyanya пишет:
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*
что это закрывает?
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-include
Disallow: /wp-register.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /step/.....
Disallow: /search/*
Disallow: /go
Disallow: /goto
Disallow: /wp-login.php
Disallow: /uploads/
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /?attachment_id
Disallow: /*rss

User-agent: Mail.ru
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Disallow: /search/*
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /?attachment_id

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Disallow: /search/*
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /?attachment_id
Disallow: /*rss

Host: site.site

Sitemap: site.site/sitemap.xml
Sitemap: site.site/sitemap.xml.gz попробуйте такой вариант
Изменено: Александр - 21 Апреля 2015 12:09
Цитата
[COLOR=#ffffff]Robots.txt для WordPress - правильная версия., Что и как?[/COLOR]


много разных потому что у каждого свои задачи и настройки сайта разные, Вам дают примеры как закрывать ненужные страницы, конкретно для своего сайта Вы сами должны составить правильный robots.txt, тупо копировать чужие настройки выглядит глупо и смешно smile:D
Цитата
desertFox пишет:
сайта Вы сами должны составить правильный robots.txt, тупо копировать чужие настройки выглядит глупо и смешно smile:D
опыта нету, по этому и помощь нужна. Сейчас посоветовали сделать вот так alaev.info/blog/post/4143сижу разбираюсь..
советую почитать официальные мануалы, например этот - https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml
когда знаешь, как это работает, для любого проекта без проблем составишь роботс
Цитата
slonikk пишет:
batyanya пишет:
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*что это закрывает?
Закрывает так называемые DeepLink, ссылки для анализа источников откуда пришел человек, по типу афилат линков в партнерках но от гугла
Не хотел создать тему, так как мой вопрос тоже связан по роботсу.
Яндекс пишет что страницы закрыты для индексации, посмотрите на мой роботс.
Где я закрыл "Страницы". CMS WP

Цитата


User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /page/*
Disallow: /author/*
Disallow: /2015/*

Изменено: Zeekrewards * - 26 Апреля 2015 17:50
https://surudi.com Таджикские песни
slonikk, utm метки ссылок, но если вы не знаете, что это, значит вы их и не делали, закрывать не надо
Цитата

Где я закрыл "Страницы". CMS WP
Цитата
Disallow: /page/*


вот))
По просьбе ТС в ЛС
Тему закрыл.

* обращение к пользователям - > если Ваша тема потеряла свою актуальность, то, пожалуйста, отпишитесь об этом в теме и скиньте ссылку на тему мне в ЛС.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
00:48 Как правильно покупать ссылки для поддомена? 
23:34 2025 ВК запустит новую программу монетизации для авторов сообществ 
15:28 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 
18:51 Роскомнадзор отказал в регистрации трети блогеров-десятитысячников 
12:53 где много готовых фавиконок 
22:59 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
12:32 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 
04:35 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
21:43 TrueMeds - Революционная Фарма Партнерка! Увеличь свой профит в x2 раза вместе с нами! 
21:24 Sectormoney.com - быстрый и удобный обменник 
20:33 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:54 USMobileSMSBot - 
17:18 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
15:28 Прием платежей для HIGH RISK | Прием платежей без сайта 
08:12 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
07:48 США готовят закон для уничтожения пиратских сайтов во всех странах мира 
02:50 Точные прогнозы на футбол 
02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet 
21:19 С юмором по жизни! 
18:15 Telegram уничтожил официальный канал легендарного российского торрент-трекера 
18:19 Уникальный сервис SEO продвижения