Проблема с фидом
Страницы: 1
Проблема с фидом
Всем привет, как исправить ошибку, чтобы feed индексировался роботом. Сейчас[COLOR=#1a1a1a] при обращении робота на странице сайта с feed, сервер возвращает ему заголовок X-Robots-Tag: noindex, follow, который запрещает роботу индексацию.[/COLOR]
Чтобы оживить тему, опубликую наугад, а там, глядишь, кто-то путное скажет)

Чтобы исправить ошибку и разрешить индексировать feed, нужно изменить заголовок X-Robots-Tag.

Возможные способы решения:

1. В настройках веб-сервера (Apache, Nginx)
Если сервер Apache, проверьте конфигурацию .htaccess или основной конфиг (httpd.conf). Найдите строку, где указано:
Код
<FilesMatch "feed">
    Header set X-Robots-Tag "noindex, follow"
</FilesMatch>

Исправьте на:
Код
<FilesMatch "feed">
    Header set X-Robots-Tag "index, follow"
</FilesMatch>

Или полностью удалите это правило.

Если сервер Nginx, проверьте конфигурацию (обычно nginx.conf):
Код
location /feed {
    add_header X-Robots-Tag "noindex, follow";
}

Исправьте на:
Код
location /feed {
    add_header X-Robots-Tag "index, follow";
}

Перезапустите сервер после изменений:
Код
systemctl restart apache2  # Для Apache
systemctl restart nginx    # Для Nginx

2. В настройках CMS (если используете WordPress, Joomla, Drupal и др.)
В WordPress:
1. Зайдите в Настройки → Чтение.
2. Убедитесь, что "Поисковым системам не разрешено индексировать сайт" не включено.
3. Проверьте Yoast SEO или другие SEO-плагины, нет ли там правил noindex для /feed.

В Joomla:
Проверьте настройки Global Configuration → SEO Settings, нет ли запрета на индексацию RSS.

3. В robots.txt
Хотя robots.txt не управляет X-Robots-Tag, убедитесь, что там нет строки:
Код
Disallow: /feed/

Если есть — удалите или замените на:
Код
Allow: /feed/

4. В коде сайта (если X-Robots-Tag передается через PHP)
В файле header.php или контроллере генерации feed найдите строку:
Код
header("X-Robots-Tag: noindex, follow", true);

Исправьте на:
Код
header("X-Robots-Tag: index, follow", true);

Как проверить результат?
После внесения изменений проверьте, какие заголовки возвращает сервер:
Код
curl -I https://example.com/feed

Должно быть:
Код
X-Robots-Tag: index, follow

Также можно проверить в Google Search Console или через https://www.google.com/webmasters/tools/googlebot-fetch.

После исправления может потребоваться некоторое время, чтобы поисковые роботы снова проиндексировали feed.
спасибо большое, буду щас разбираться
Цитата
Vova Vova пишет:
спасибо большое, буду щас разбираться

Пожалуйста. Отпишите потом, что из этого вышло.
Не претендую на правильность. Надеюсь, кто-то отпишется, кто в этом хорошо разбирается.
Цитата
Prapovednik пишет:
X-Robots-Tag
В хедере строки не было, долго мучался искал. В итоге думаю дайка зайду в плагин all-in-one-seo-pack, и правда, там почему-то запрет был, стоял ноиндекс, поставил на индекс. Путь: wp-content/plugins/all-in-one-seo-pack/app/Common/Meta/Robots.php . Должно работать исправно, завтра точно скажу.
Vova Vova, благодарю, что делитесь в теме.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:00 Апдейт Яндекс выдача 01.04 | у вас коленки сзади грязные 
16:33 Проблема с фидом 
10:23 Постоянный кеш объектов 
21:27 Трамп пригрозил Google судом 
21:03 Работает ли ссылочное продвижение 2019 – 2020? 
11:19 АП Яндекс выдача 30.03 | Планирование поездки в Санкт-Петербург 
20:55 Где узнать статистику о количестве пользователях интернета по регионам России? 
12:15 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
10:47 Diamond-exchange.io - круглосуточный сервис обмена валют 
09:37 ProxyWins.com - 15% по промо-коду "venividivici" 
08:47 Инвайтинг(приглашения) в вашу группу/чат телеграм. 
18:44 Новый обменный сервис «Money-office» 
14:18 BestChange – обменивать электронную валюту можно быстро и выгодно 
13:20 TETChange-Обменник криптовалют 
10:28 Кирпич за 13 тысяч: новая мода или первоапрельская шутка от Telegram? 
21:40 Великий файрволл Казахстана: OnlyFans в черном списке! 
23:21 Точные прогнозы на футбол 
16:30 В мае 2025 года компания Skype прекращает свою работу 
16:27 Добро пожаловать в цифровой мир... 
22:02 ИИ научился рисовать знаменитостей, но боится Скарлетт Йоханссон 
20:38 Финансовая диета: самозапрет на покупки может стать реальностью