В общем проблема в следующем: повадился ко мне один "дядя" парсить мой новостник.
Схема была проста, парсил мою рсс ленту и дальше уже переход по страницам и парсинг текста.
Я отключил свой фид, так как толку с него мало.
ОН буквально в течение 2-3 часов перестроил парсер и теперь заходит сразу в категории и парсит ссылки оттуда.
У его парсера каждый раз разные ip то есть панить по ip не вариант.
В логах он определяется вот так:
200 "https://www.google.com/" "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:15.0) Gecko/20100101 Firefox/15.0.1"
Юзер агент, всегда разный. А вот значение "https://www.google.com/" после кода ответа страницы всегда одинаковое.
Есть какието идеи как блокнуть его в htaccess?
Схема была проста, парсил мою рсс ленту и дальше уже переход по страницам и парсинг текста.
Я отключил свой фид, так как толку с него мало.
ОН буквально в течение 2-3 часов перестроил парсер и теперь заходит сразу в категории и парсит ссылки оттуда.
У его парсера каждый раз разные ip то есть панить по ip не вариант.
В логах он определяется вот так:
200 "https://www.google.com/" "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:15.0) Gecko/20100101 Firefox/15.0.1"
Юзер агент, всегда разный. А вот значение "https://www.google.com/" после кода ответа страницы всегда одинаковое.
Есть какието идеи как блокнуть его в htaccess?
▼
► ◄
▲
Продвижение сателлитами ☻