Чтобы оживить тему, опубликую наугад, а там, глядишь, кто-то путное скажет)

Чтобы исправить ошибку и разрешить индексировать feed, нужно изменить заголовок X-Robots-Tag.

Возможные способы решения:

1. В настройках веб-сервера (Apache, Nginx)
Если сервер Apache, проверьте конфигурацию .htaccess или основной конфиг (httpd.conf). Найдите строку, где указано:

Код
<FilesMatch "feed">     Header set X-Robots-Tag "noindex, follow" </FilesMatch>

Исправьте на:

Код
<FilesMatch "feed">     Header set X-Robots-Tag "index, follow" </FilesMatch>

Или полностью удалите это правило.

Если сервер Nginx, проверьте конфигурацию (обычно nginx.conf):

Код
location /feed {     add_header X-Robots-Tag "noindex, follow"; }

Исправьте на:

Код
location /feed {     add_header X-Robots-Tag "index, follow"; }

Перезапустите сервер после изменений:

Код
systemctl restart apache2  # Для Apache systemctl restart nginx    # Для Nginx

2. В настройках CMS (если используете WordPress, Joomla, Drupal и др.)
В WordPress:
1. Зайдите в Настройки → Чтение.
2. Убедитесь, что "Поисковым системам не разрешено индексировать сайт" не включено.
3. Проверьте Yoast SEO или другие SEO-плагины, нет ли там правил noindex для /feed.

В Joomla:
Проверьте настройки Global Configuration → SEO Settings, нет ли запрета на индексацию RSS.

3. В robots.txt
Хотя robots.txt не управляет X-Robots-Tag, убедитесь, что там нет строки:

Код
Disallow: /feed/

Если есть — удалите или замените на:

Код
Allow: /feed/

4. В коде сайта (если X-Robots-Tag передается через PHP)
В файле header.php или контроллере генерации feed найдите строку:

Код
header("X-Robots-Tag: noindex, follow", true);

Исправьте на:

Код
header("X-Robots-Tag: index, follow", true);

Как проверить результат?
После внесения изменений проверьте, какие заголовки возвращает сервер:

Код
curl -I https://example.com/feed

Должно быть:

Код
X-Robots-Tag: index, follow

Также можно проверить в Google Search Console или через https://www.google.com/webmasters/tools/googlebot-fetch.

После исправления может потребоваться некоторое время, чтобы поисковые роботы снова проиндексировали feed.

Цитата
Vova Vova пишет: спасибо большое, буду щас разбираться

Пожалуйста. Отпишите потом, что из этого вышло.
Не претендую на правильность. Надеюсь, кто-то отпишется, кто в этом хорошо разбирается.