Помогите заблокировать...
Страницы: 1 2 След.
Помогите заблокировать..., хэлп
В общем проблема в следующем: повадился ко мне один "дядя" парсить мой новостник.
Схема была проста, парсил мою рсс ленту и дальше уже переход по страницам и парсинг текста.
Я отключил свой фид, так как толку с него мало.
ОН буквально в течение 2-3 часов перестроил парсер и теперь заходит сразу в категории и парсит ссылки оттуда.

У его парсера каждый раз разные ip то есть панить по ip не вариант.
В логах он определяется вот так:
200 "https://www.google.com/" "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:15.0) Gecko/20100101 Firefox/15.0.1"
Юзер агент, всегда разный. А вот значение "https://www.google.com/" после кода ответа страницы всегда одинаковое.

Есть какието идеи как блокнуть его в htaccess?
))) бесполезно)))
span4bob, вот *удак, надеюсь, его сайт все равно будет в *опе сидеть...
Цитата
span4bob пишет:
Есть какието идеи как блокнуть его
Смеритесь - это неизбежность, просто продолжайте работать над своим сайтом
Спанчбоб, а что если сначала заливать измененный текст, например во всем тексте перед публикацией все русские буквы "a","o","e" и "c" заменить на английские через php ф-ию str_replace(), а после того, как он эту хрень спарсит ничего не заметив, обратно все перекодировать.
Если технически НЕТ возможности его блокануть, есть смысл договориться чинно-благородно smile:) 
Вежливо написать (понимаю, что трудно!) и попросить оставить ваш рес в покое.

Это обычная практика, в общем-то...

Работая на медиа-портале, мы зачастую ТАК решали эти проблемы и на подобные письма реагировали адекватно - отключали бота по вежливой просьбе владельцев (или админов реса, откуда парсили)

Не секрет ведь, что крупные СМИ, да те же Медиа: адми, фишки, офигенно, клуббер не только сами создают / переводят, но и много парсят чужой контент. Линк да, ставят... нофоллоу))
Тизерка, которая платит в ДВА рада больше Адсенс ads.bid STR зашкаливает ☺ Рефералам покажу на примерах, как ещё больше увеличить доход (личный опыт).
лучшая тизерка 2021.
Приветствую, напишите мне в ЛС или по контактам в темах в подписи, разберемся smile;)
Предлагаю Услуги по веб-разработке/программированию
HTML(HTML5), CSS(CSS3), JavaScript(jQuery, AJAX), PHP, MySQL
========================================
http://www.cy-pr.com/forum/f58/t37537/
http://www.cy-pr.com/forum/f50/t35619/
Цитата
Zerzes пишет:
Спанчбоб, а что если сначала заливать измененный текст, например во всем тексте перед публикацией все русские буквы "a","o","e" и "c" заменить на английские через php ф-ию str_replace(), а после того, как он эту хрень спарсит ничего не заметив, обратно все перекодировать.
у меня на сайте быстроботы всех поисковиков живут, так что можно самому себе навредить

Цитата
WGN пишет:
Смеритесь - это неизбежность, просто продолжайте работать над своим сайтом

Цитата
anna911 пишет:
))) бесполезно)))
да я знаю, что бесполезно. И мне плевать на уникальность контента, я из тех людей который сам не верит в "уникальный контент".
Меня больше напрягает, что он грузит мой сервер, а также создает большое количество переходов-отказов в метрике

Цитата
Elena пишет:
Если технически НЕТ возможности его блокануть, есть смысл договориться чинно-благородно smile:)
Вежливо написать (понимаю, что трудно!) и попросить оставить ваш рес в покое.
не реально
мои статьи копируют очень много ГСов и всяких трешовых сайтов.
Не реально узнать кто именно делает это
Цитата
span4bob пишет:
также создает большое количество переходов-отказов
Вот на этом можно вылавливать и отсекать бота, множественные обращения к разным страницам за единицу времени. По моему есть даже готовые решения
Цитата
span4bob пишет:
создает большое количество переходов-отказов в метрике
Включали "Фильтровать роботов по строгим правилам и по поведению" в метрике?
span4bob, А как Вы поняли что это не бот Гугл?
Лучший абузоустойчивый хостинг | Самый высокий доход на Push уведомлениях | Лучшая партнерка для заработка на видео плеерах
Скажу вам по своей долгой практике. Я бороллся очень долго и применял много способов. На моем сайте даже установлен модуль, который меняет дивы (к ним прикреплен парсер) и меняет строки вверх-вниз текста с сайта. Но этот гад уже нашел решение. Я блокировал его IP - он их не покупает (дорого), а берет бесплатные. Я нахожу их в гугле и блокирую все. Скажу вам, что из-за таких муд8ков мой сайт не появляется в ТОП новостях гугла (сайт присутствует гугл невс) и стал не так высоко ранжироваться. У меня есть примеры сайтов, которые получали хороший траф, но из-за постоянного парсинга загнулись. Из примеров мудацких сайтов газета (кг), трибуна, мтс и еще парочка. 
Парадокс в том, что моя страница индексируется в гугл новостях и идут переходы, а когда он ворует, вместо моей страницы появляется его сайт. Я писал и в адсенс и жалобы в гугл и в яндекс, но результата 0. Можно тупо кликать на рекламу на его сайтах и привлечь других, чтобы акк адсенса блокнули. 
Отличная партнерка без санкций от поиковиков Bodyclick
Цитата
Александр Валерьевич Воронов пишет:
мой сайт не появляется в ТОП новостях гугла
А у Вас какое происхождение новостей, и какой штат корреспондентов?
Цитата
Alex Lex пишет:
Цитата
span4bob пишет:
создает большое количество переходов-отказов в метрике
Включали "Фильтровать роботов по строгим правилам и по поведению" в метрике?
так толку с этой метрики то?
у меня во всех счетчиках (для теста ставил и другие) есть отказы
гугл от этого никак не пересмотрит свой взгляд на сайт

Цитата
Дэвид Бэкхэм пишет:
span4bob, А как Вы поняли что это не бот Гугл?
в смысле как я понял что это не гугл бот? регулярная смена ip адресов при этом с одинаковыми признаками своих действий. Тут даже начинающий бы понял, что это не гугл.
к тому, же я давно не видел, чтоб боты гугла использовали firefox и другие браузеры

Цитата
Александр Валерьевич Воронов пишет:
Можно тупо кликать на рекламу на его сайтах и привлечь других, чтобы акк адсенса блокнули
не люблю советовать плохого, но САР вам в помощь. Зайдите, прочитайте объявления в задания о накрутке адсенса и Создавайте там задания идентичные. Адсенс сейчас за это ооочень жестко бьет по рукам. Только делайте очень очень идентично к уже существующим заданиям, чтобы не было слишком явно видно что скликиваете
Цитата
span4bob пишет:
к тому, же я давно не видел, чтоб боты гугла использовали firefox и другие браузеры
Я допустим для одной программы делал так в php:

Код
 if($_SERVER['HTTP_USER_AGENT']=="Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727) Havij"){
die("Error JORA");
}

if($_SERVER['HTTP_USER_AGENT']=="Havij"){
die("Error JORA");
}
Просто если есть какой либо общий параметр, то можно на Пыхе попробовать заблокировать. Скайп есть в профиле, можете написать, попробуем что нить подумать вместе.
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:13 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
10:09 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:07 Взрывной рост роботности в Метрике 
18:33 Trafee.com – эффективная монетизация вашего дейтинг трафика 
15:41 Adtrafico - Правильная партнёрская сеть под бурж трафик 
22:12 Stixi.ru. и stixi.com 
20:30 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
14:51 Мощные прокси для вашего бизнеса! 
12:17 Продам дешёвые домены (1$/штука) 
10:58 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
10:17 Размещу ссылки/статьи на ваш сайт | Рост ИКС | XRumer 23.0.4 StrongAI 
22:12 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:06 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
05:50 LunaProxy дешевый глобальный резидентный прокси $0,77/ГБ Ротирующийся прокси|Собственный IP|Безлимитный план 
23:55 Точные прогнозы на футбол 
20:09 Сколько сейчас стоит наполнение ИМ? 
12:43 Куплю проигрышные букмекерские аккаунты 
04:33 Половина скидок на распродажах — фейк 
07:53 НейроБабушка наказывает мошенников 
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту