Помогите с непонятной индексацией сайта на DLE
Страницы: 1
Помогите с непонятной индексацией сайта на DLE
Здравствуйте все. У меня небольшой сайт на DLE, и столкнулась с такой проблемой, решить которую не могу уже пару недель. Пыталась исправить ошибки, которые выдает гугл вебмастер, но с каждым обновлением их количество только увеличивается.
Страницы с повторяющимся метаописанием -  там идут страницы каждой из категорий, у каждой из которых одинаковый дескрипшен - закрыла в роботс /page/ и удалила вручную ссылки на дубли из индекса. Но с каждым новым обновлением они туда залетают вновь. 

А вот это мне вообще непонятно, что за страницы такие -  moisait.ru/?k=abrakadabra ? 

Закрыла в роботс /?k= , удалила все из индекса, а они вновь лезут и лезут в индекс, что это за чудо такое? Почему гугл игнорирует запреты в роботсе? Хотя в site:moisait.ru все эти page вроде как исчезли. 

Кто-то может оказаться так добр, что подскажет?
Большая поклонница Скарлетт Йоханссон, заглядываю на сайт о кино. Рекомендую отличный хостинг от 99 руб/мес, VPS от 250 руб/мес.
Stasia87,  напишите какой командой вы закрыли папки и страницы, которые не нужны.

И напишите какие именно страницы и папки вам надо закрыть.

Обратите внимание, что на конце ссылки с /?k написано depositfiles - я думаю так быть не должно по дефолту.
Изменено: sharkson - 24 Августа 2015 19:54
http://alaev.info/blog/post/3900 поможет исправить индексацию, что касается

"что за страницы такие -  moisait.ru/?k=abrakadabra" - на шелл сильно похоже. Закрыть в robots можно так:


Код
User-agent: *
Disallow: /*?
(при условии что ссылки с ЧПУ)

и поискать примерно тут: /engine/editor/css/web
Изменено: Антип Замкадов - 24 Августа 2015 20:37
Цитата
sharkson пишет:
Stasia87, напишите какой командой вы закрыли папки и страницы, которые не нужны.

И напишите какие именно страницы и папки вам надо закрыть.

Обратите внимание, что на конце ссылки с /?k написано depositfiles - я думаю так быть не должно по дефолту.
Ну, вот так закрыла в robots.txt

Disallow: /*/page/
Disallow: /?k=

Мне не нужно сканирование вообще никаких страниц категорий, кроме самой первой.

По поводу депозитфайлза скажу, что сайт предназначен для загрузок, поэтому ссылок на различные обменники на нем присутствуют в большом количестве. Но вот что это такое /?k= я вообще без понятия, удалила около сотни подобных ссылок, и они все равно появились новые в индексе.
[COLOR=#881280]На страницах page пропишите данный тег [/COLOR]<meta name="robots" content="noindex, follow"/>
Цитата
Антип Замкадов пишет:
alaev.info/blog/post/3900 поможет исправить индексацию, что касается

"что за страницы такие - moisait.ru/?k=abrakadabra" - на шелл сильно похоже. Закрыть в robots можно так:
Код
 User-agent: *
Disallow: /*? 
(при условии что ссылки с ЧПУ)

и поискать примерно тут: /https://n2.tcphost.net/ispmgr?func=file&plid=www/mastyk.ru&elid=engine]engine/https://n2.tcphost.net/ispmgr?func=file&plid=www/mastyk.ru/engine&elid=editor]editor/https://n2.tcphost.net/ispmgr?func=file&plid=www/mastyk.ru/engine/editor&elid=css]css/web
Изучаю статью, пока больше вопросов, чем ответов)



Цитата
ArsenЖига -_- пишет:
[COLOR=#881280]На страницах page пропишите данный тег [/COLOR]<meta name="robots" content="noindex, follow"/>
А вы не подскажете, как именно это сделать на страницах page?
Цитата
Stasia87 пишет:
Disallow: /*/page/
Disallow: /?k=
Закройте так:

Disallow: /page/
Disallow: /?k=*

После этого очистите кэш сайта. Потом укажите Гуглу и Яндексе новый роботс - добавив его через аддурилку.
Цитата
sharkson пишет:
Цитата
Stasia87 пишет:
Disallow: /*/page/
Disallow: /?k=
Закройте так:

Disallow: /page/
Disallow: /?k=*

После этого очистите кэш сайта. Потом укажите Гуглу и Яндексе новый роботс - добавив его через аддурилку.
Сделала. Но что-то есть опасения, что не поможет) 
Может, есть смысл попробовать закрыть страницы через <meta name="robots" content="noindex,follow" />, как предложили люди выше ? А вот в статье alaev.info/blog/post/3900 автор предлагает noindex,nofollow - как будет лучше?

И, может быть, кто-то сталкивался с этим противным /?k= ? Хотя бы понять, какова природа этого неведомого зверя? Может, это проиндексированный тег? Или что-то подобное? Откуда эта гадость берется, еще и в таких количествах? 
Цитата
Stasia87 пишет:
Может, есть смысл попробовать закрыть страницы через <meta name="robots" content="noindex,follow" />, как предложили люди выше ? А вот в статье alaev.info/blog/post/3900 автор предлагает noindex,nofollow - как будет лучше?
А вы сделайте и запретом в роботсе и через мета.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:49 Как правильно покупать ссылки для поддомена? 
18:51 Роскомнадзор отказал в регистрации трети блогеров-десятитысячников 
12:53 где много готовых фавиконок 
22:59 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
12:32 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 
23:27 Adfinity - Ваш надежный партнер в монетизации трафика 
16:55 Инструменты для массового постинга в WordPress 
05:16 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
01:53 Европейский эквайринг 
20:19 GoogleWalker - устранение конкурентов в Google Ads | Автоматизированная система склика | АНТИБАН 
16:39 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
11:07 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
11:01 Защитим твой ресурс от блокировки Роскомнадзора 
10:09 BestChange – обменивать электронную валюту можно быстро и выгодно 
08:12 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
07:48 США готовят закон для уничтожения пиратских сайтов во всех странах мира 
02:50 Точные прогнозы на футбол 
02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet 
21:19 С юмором по жизни! 
18:15 Telegram уничтожил официальный канал легендарного российского торрент-трекера 
18:19 Уникальный сервис SEO продвижения