Что делать, если с сайта парсят контент?
Страницы: Пред. 1 2 3 След.
Что делать, если с сайта парсят контент?
Цитата
sharkson пишет:
Качаете свой htaccess из корня папки с сайтом - в самый низ его пишите (пример)
Спасибо)
Цитата
sharkson пишет:
Цитата
NataV пишет:
IP того, кто грабит, я знаю, но не знаю, как его забанить)
Качаете свой htaccess из корня папки с сайтом - в самый низ его пишите через пропуск строки с новой строки (пример)
Код
 # Bots: Parse Robot
Deny from 146.120.240.0 - 146.120.255.255 
  
Подсеть айпи конечно же пишите нужную.
Сохраняете файл, заливаете на сайт с заменой. Всё.
прокси? не, не слышал. Я не думаю, что ворует какой-то первоклассник несмышленый, банальная подмена ip и все по новой...
Цитата
Иван пишет:
банальная подмена ip и все по новой...
Ну тогда так, например:


Код
RewriteCond %{THE_REQUEST} !^(?:GET|HEAD)\ 
/(?:[разрешенные_символы_REQUEST_URI]+(?:\?[разрешенные_символы_QUERY_STRING]+)?)?\
 HTTP/1\.[01]$
RewriteCond %{THE_REQUEST} !^POST\ /разрешенный_для_метода_POST_REQUEST_URI\ HTTP/1\.[01]$
RewriteRule ^.*$ - [F,L]
 
Цитата
NataV пишет:
А если они поступят так же?
А пусть попробуют. Я же не дурак, сначала отписался в самые известные автосерф-сайты (в саппорт). Привел доказательства того, что мои сайты (список) могут заказать - чтобы внесли в ЧС. Саппорт идет навстречу всегда.

Потом (раз уж Вордпресс) ставим плагин WP-Ban, и запрещаем урлы самых злостных систем афтосерфа, и все известные клиенты-рефереры грабберов и парсинга.

Но превентивную и первичную меру вы уже упустили. RSS работает, главным образом, как раз для негодяев, ворующих свежий и не проиндексированный контент. После пары лет борьбы с такими сволочами я понял, что проще вырезать из темы файл генерации анонсов RSS, также вырезать это из заголовка, и забыть эту мнимую систему приглашения на новый материал.

И на будущее: перед нажатием кнопки "Опубликовать" открываем все возможные аккаунты в соцсетях, пишем пару строк "Новый материал про ххх", готовим к отправке. Открываем также аддурилки Яндекса и Гугла.

Опубликовали? У вас есть несколько минут, чтобы ссылку моментально повставлять в подготовленные места (выше) и отправить на корм роботам.

Гарантия сохранения чистоты и уникальности в таком случае - 99%. Оставшийся процент добавит Яндекс, с его оригинальными текстами.

Не пользуйтесь счетчиком Ли. Та еще сволочная контора... парсят запросы мегатоннами.
Это не первый вопрос с которым я столкнулся.Оригинальное решение владелец сайта сам откажется копировать ваш сайт.
Цитата
sharkson пишет:
Ну тогда так, например:

Что это за функция? Она блокирует все грабберы?
Цитата
Kimin пишет:

Потом (раз уж Вордпресс) ставим плагин WP-Ban, и запрещаем урлы самых злостных систем афтосерфа, и все известные клиенты-рефереры грабберов и парсинга.
За плагин спасибо. Всё остальное делаю так, как вы говорите. Были мысли убрать RSS, но там около 70 подписчиков, жалко их терять. 

Цитата
Александр Семенов пишет:
Это не первый вопрос с которым я столкнулся.Оригинальное решение владелец сайта сам откажется копировать ваш сайт.
Решение оригинальное, но у меня копируют контент не только воры, но и порядочные сайты, которые ставят обратные ссылки. Фактически за счет них я и продвигаюсь. Вдруг они тоже в течение этих 5 минут зайдут? Нехорошо будет, если я им такую бяку подсуну?)
Цитата
NataV пишет:
Что это за функция? Она блокирует все грабберы?
Нет. Она разрешает для ботов только 3 запроса GET, HEAD, POST.

Функции, блокирующей все грабберы нет.

Можно только вручную забанить всех ботов и грабберы по IP или юзер-агенту.


Приведеный мной кусок кода надо воткнуть в <IfModule mod_rewrite.c> то есть должно быть так


Код
<IfModule mod_rewrite.c>
RewriteCond %{THE_REQUEST} !^(?:GET|HEAD)\ 
/(?:[разрешенные_символы_REQUEST_URI]+(?:\?[разрешенные_символы_QUERY_STRING]+)?)?\
 HTTP/1\.[01]$
RewriteCond %{THE_REQUEST} !^POST\ /разрешенный_для_метода_POST_REQUEST_URI\ HTTP/1\.[01]$
RewriteRule ^.*$ - [F,L]
</IfModule>
Изменено: sharkson - 17 Декабря 2015 15:45
писать жалобу хостингу на котором сайт или вот еще http://pogugli.com/?108724 smile:)
Создаю WP сайты под ключ. Пишите в лс
Читаю, смеюсь, плачу.

1) Если мне надо спарсить сайт - я его спарсю - еще не видел решение которое не обходилось (хотя есть сложные ресурсы). Для парсинга использую Scrapy (python)
И запросы посылаются какие нужно - get/post - хотите с куками хотите без

2) Все эти хитрости - мол ставим текст хреновый, потом убираем/правим -  обходится тривиально - проверкой с нужной частотой

3) Наказание? Домен на левого пассажира + хостинг за бугром + доказать нельзя, что именно Вы владелец. Или Вы к нотариусу бегать будете каждый день по 100500 раз.

4) Стоят ли Ваши меры по защите контента действительно этих усилий - вот это главный вопрос.

Немного статистики с блога одного копипастера в моем вольном изложении
В среднем с 1-го сайта мы получаем от 0,01 до 5% его трафика. Цифра эта зависит от качества донора, любви к нему ПС.
Далее говорится, что отсутствие нормального дизайна/моб версии/спама/агресивной рекламы(не гугл!) как раз и позволяет получить заветные 5%. Случае качественного ресурса цифра едва будет доходить до 0,1%.

При этом он отмечает интересную деталь, что 90% жертв уверены, что их сайт хороший, но по факту - это не так.

PS обойти можно любую защиту - вопрос в другом, а вредит ли Вам этот копипастер или это тупо надоедливая муха.
PPS если уж сильно задолбали и действительно мешают:
1) Создать уникальный метод защиты (комбинация вышеприведенной информации)
2) Использование копипастера, как средство получения ссылок на другие свои проекты, в том числе и основной
3) Вставка кодов "злых" партнерок - в код для любителя копипаста
4) Копирование его ресурса (он то не побежит жаловаться)
PPPS лично я парсю в целях личного использования, ибо некоторые сайты и шрифт с фоном подбирать не хотят по человечески.
Хотя на форуме Вы легко можете найти любителей сайтов с автонаполнением))))
«Превращаю день в ночь, сына в дочь, а ХЗ в ТЗ»
Python(Flask, Scrapy) - my way.
Цитата
sharkson пишет:
Нет. Она разрешает для ботов только 3 запроса GET, HEAD, POST.
Спасибо, попробую, хотя мне всё больше кажется, что нужно удалять RSS-ленту.
Цитата
Константин Нейтро пишет:

PS обойти можно любую защиту - вопрос в другом, а вредит ли Вам этот копипастер или это тупо надоедливая муха.
PPS если уж сильно задолбали и действительно мешают:
1) Создать уникальный метод защиты (комбинация вышеприведенной информации)
2) Использование копипастера, как средство получения ссылок на другие свои проекты, в том числе и основной
3) Вставка кодов "злых" партнерок - в код для любителя копипаста
4) Копирование его ресурса (он то не побежит жаловаться)
PPPS лично я парсю в целях личного использования , ибо некоторые сайты и шрифт с фоном подбирать не хотят по человечески.
Хотя на форуме Вы легко можете найти любителей сайтов с автонаполнением))))
Не думаю, что он вредит, мои статьи всё равно индексируются быстрее. Скорее, надоедливая муха) По пунктам 2 и 4 вряд ли. Копировать у него нечего - там только мои статьи. И ссылки с его ГС не нужны. А что это за код "злых" партнерок? Как его вставить?
Цитата
NataV пишет:
sharkson пишет:
Нет. Она разрешает для ботов только 3 запроса GET, HEAD, POST.

Спасибо, попробую, хотя мне всё больше кажется, что нужно удалять RSS-ленту.
Цитата
Константин Нейтро пишет:

PS обойти можно любую защиту - вопрос в другом, а вредит ли Вам этот копипастер или это тупо надоедливая муха.
PPS если уж сильно задолбали и действительно мешают:
1) Создать уникальный метод защиты (комбинация вышеприведенной информации)
2) Использование копипастера, как средство получения ссылок на другие свои проекты, в том числе и основной
3) Вставка кодов "злых" партнерок - в код для любителя копипаста
4) Копирование его ресурса (он то не побежит жаловаться)
PPPS лично я парсю в целях личного использования , ибо некоторые сайты и шрифт с фоном подбирать не хотят по человечески.
Хотя на форуме Вы легко можете найти любителей сайтов с автонаполнением))))
Не думаю, что он вредит, мои статьи всё равно индексируются быстрее. Скорее, надоедливая муха) По пунктам 2 и 4 вряд ли. Копировать у него нечего - там только мои статьи. И ссылки с его ГС не нужны. А что это за код "злых" партнерок? Как его вставить?
Есть выход из ситуации. Нужно создать тоже свой сайт парсящий со своего сайта. В итое у вашего противника будет безвыходная ситуация. Мат.
Для начало нужно писать хостеру.
Если это не поможет, нужно делать ddos атаку (это в тех случаях, если клон зарабатывает на рекламе).
Цитата
NataV пишет:
мне всё больше кажется, что нужно удалять RSS-ленту.
это само собой.
Цитата
NataV пишет:
мне всё больше кажется, что нужно удалять RSS-ленту.

sharkson пишет: это само собой.
удалите еще и карту сайта, для комплекта
Цитата
Вадим SEO пишет:
Для начало нужно писать хостеру.
Если это не поможет, нужно делать ddos атаку (это в тех случаях, если клон зарабатывает на рекламе).
Нет там рекламы. Статьи парсятся на поддомен с начала декабря, основной сайт создан 3 месяца назад, но его тема далека от моей. И основной сайт, и поддомен какие-то странные - ни одна кнопка в меню не работает, да и само меню ни о чем, в виджете только раздел "Свежие записи" с 5 последними моими статьями. На главной эти же 5 статей, все остальные тексты находятся только через внутренний поиск. Может, происки конкурентов?) Хотя я со своими конкурентами мирно живу.
Страницы: Пред. 1 2 3 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
18:41 Продвижение заграницей 
22:36 Стоит ли добавлять сайт в Rambler топ 100? 
16:34 Работает ли ссылочное продвижение 2019 – 2020? 
16:22 Adsense личный опыт 
16:20 АП Яндекс ИКС 16.11.2023 
16:19 У Google наблюдается снижение трафика и, как следствие, уменьшение прибыли 
12:10 Взрывной рост роботности в Метрике 
11:43 4G/LTE Mobile Proxy 30+ geo  
11:33 Современный скрипт обменника электронных валют 
10:42 Качественный прогон Хрумером, Zennoposterом всего 10 WMZ, Большой опыт работы. Статьи, комментарии, профиля, гостевые. 
09:16 Уникальный сервис SEO продвижения 
08:42 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
04:27 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
21:27 Starcrown Partners – Партнерская программа для гемблинг/беттинг трафика 
01:26 Точные прогнозы на футбол 
12:12 Linux - это максимальная свобода 
20:09 Сколько сейчас стоит наполнение ИМ? 
12:43 Куплю проигрышные букмекерские аккаунты 
04:33 Половина скидок на распродажах — фейк 
07:53 НейроБабушка наказывает мошенников 
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко