Всем привет. Я конечно понимаю, что многие ждут когда я освобожусь и наконец-то сделаю примеры и подробно опишу свою новую услугу, а также есть достаточно заказчиков, которые ждут отчеты с моей последней акции. Но я решил, что стоит уделить сабжу пару минут, чтобы предостеречь остальных вебмастеров.
Итак в чем вся соль? Вся соль в прямых заходах в Яндекс Метрике. Не знаю как Вы, но я раньше тупо игнорировал прямые заходы на свои сайты. В редких случаях я пытался разобраться откуда и в чем причина этих прямых заходов, но факт остается фактом, я не уделял этому вопросу внимания. Не знаю почему, может просто не верил в то, что эти прямые заходы могут как то сильно отразиться на моих сайтах (да и чего греха таить особо они и не влияли на мои сайты), а может причина в том, что сайтов слишком много и не успевал следить за подобными мелочами.
Ну закончим лирику и перейдем к сути дела.
Речь пойдет о одном моем буржуйском сайте. Сайт познавательный. Ежедневно там публикуется около 10 познавательных статей. Сайт уже устоявшийся, возрастной (более 2 лет). И самое главное независимый. То есть я вообще ничего не делаю с ним. У меня есть два копирайтера которые сами там рулят. А я только получаю деньги, то есть это мой пассивный заработок. И имел с на нем чистыми около 300-400 долларов в месяц (это чистая прибыль, то есть уже вычтена зп копирайторов и стоимость сервера).
В начале жизни сайта я потратил около полугода, чтоб его както маломальски раскрутить. поднял стабильный траф до 1000+ и отправил в свободное плаванье. за полтара - два года трафик подрос до 3000+ (без каких либо вложений и без какихто тело движений с моей стороны). Копирайтеры набили руку и начали писать более качественные и интересные тексты. Иногда траф прыгал до 5000-7000 но это было редко.
80% посетителей было с поисковиков.
5% переходы по ссылкам на сайтах
10% это переходы с соц сетей
5% это так всякий шлак.
Ну в общем жил не тужил я вот так чуть больше года. И тут летом начал обращать внимание, что мои поступления стали все падать и падать. Ну думаю лето, спад и вся фигня. Бывает... Наступила осень, а количество поступающих денег все меньше и меньше. И вот в октябре месяце ежемесячные поступления стали меньше 200 баксов (чистой прибыли). Просмотрел статистику посещений. Трафик остался на том же уровне, заметил только, что очень уменьшилась глубина просмотра. Я давно грешил на свой сервак, очень уж мне не нравилось, как медлено там все работало. Ну и было решено перенести сайт на другой хостинг. Долго искал, читал отзывы. И вот нашел нормального (вроде бы) хостера. Все у меня в нем устроило. Перебрался я туда. Все стало работать намного шустрее. Дал сайту "освоиться" и спустя три недели я понял, что глубина просмотра осталась на прежнем уровне. А вот с заработком вообще беда. Он упал до 100 баксов.
Ну что ж, как бы не хотелось это делать, но пришлось выделить личное время и уделить пристальное внимание к этой проблеме.
В общем полез я в метрику смотреть, что и как. И я просто офигел от того, что я там увидел. А увидел я следующее:
80% - прямые заходы
10% - поисковые запросы
5% - соц сети
5% - сайты
то есть более 2400 посещений это были прямые запросы. нахождение на сайте 0 секунд, 100% отказов.
Решил глюк яндекс метрики. У меня бывало такое когда, метрика определяла переходы с гугла (но чаще всего с соц сетей) как прямые запросы. Что делать? правильно! Ставим другой счетчик и смотрим как он их будет определять. Ставим ЛИ. И что мы видим? в течение 3 дней ЛИ показывает ту же ситуацию, то есть эти прямые заходы считаются за посетителей.
Ну что ж, вперед копаться и искать всю правду.
Захожу в метрике в географию. Смотрю что 99% прямых заходов были с Германии. Ясно понятно. вперед на поиски этих несчастных немцев которые так атакуют мой сайт. Полез в логи сайта. И вперед копаться в заходах. Ушло у меня на то чтобы найти заразу примерно дней десять (точно могу сказать, что это больше недели). Может быть ушло поменьше времени, если бы мой сайт не атаковали боты большинства известных поисковиков. Не хотелось бы банить даже тех же baidu и bing. Так как по старой памяти бинг давал мне минимум 20 человек в сутки. Напомню, что это бурж. А значит заработок там выше. И если с этих 20 человек хотябы 1-2 кликнут по рекламе то заработок уже набирается. (я приверженец поговорки Копейка рубль бережет).
Что же я нашел? А нашел я то, что все прямые заходы были от одного хостинг провайдера: Hetzner Online AG. Нет я не обвиняю самого Hetzner Online AG в том, что это они делали. Ясное дело, что ктото у Hetzner Online AG арендовал сервер, и пустил своего бота (crawler). Почему краулер а не парсер? ну потому, что я точно знаю что мои статьи нигде не публиковались в огромных количествах. Только обычная ситуация когда ктото делится ссылкой или текстом на форуме. А значит, скорей всего какой-то статистический сервис или ещё чтото. Проблема заключалась еще в том, что этот бот не имел названия, он очень четко маскировался под пользователя регулярно меняя юзер агента.
Узнать откуда шли прямые запросы это только малая часть всего решения. нужно было на корню позакрывать им кислород. К сожалению скорей всего хостер Hetzner Online AG предоставил "пользователю" несколько IP-ов. Так как блокировка одного IP-а ничего не давала, блокировка диапозона так же ничего не давала, прямые заходы продолжали поступать, все меньше и меньше но продолжали.
По итогу я свел на нет все прямые заходы от хостера Hetzner Online AG.
Сейчас у меня все вернулось на круги своя.
80% - поисковики
10% - соц сети
5% - сайты
5% - все остальное
Сейчас у моего сайта посещаемость иногда доходит до 500 человек. А в этом месяце впервые за долгое время, я не получу прибыли.
К чему я все это написал? Естественно не всегда прямые заходы бывают чьим-то ботом, чаще всего они безобидны. А иногда даже несут какуюто пользу. К примеру я замечал такую тенденцию, когда моя ссылка публиковалась в соц сети (фейсбук, твиттер и другие буржуйские соц сети) Яндекс метрика определяла их как прямые заходы. С точно такими же показателями. 0 секунд на сайте и 100% отказ.
Но все IP были чистыми, не проксями, разных провайдеров.
Так что, вот такая вот история у меня произошла с прямыми заходами с серверов Hetzner Online AG.
п.с. Хочу ещё раз уточнить, никаких претензий к самому хостеру Hetzner Online AG у меня НЕТ. Озвучил я его название, только для того, чтобы вы если будете у себя регулярно в логах встречать IP относящиеся к Hetzner Online AG. То не поленитесь и помониторьте за своим сайтом.
Итак в чем вся соль? Вся соль в прямых заходах в Яндекс Метрике. Не знаю как Вы, но я раньше тупо игнорировал прямые заходы на свои сайты. В редких случаях я пытался разобраться откуда и в чем причина этих прямых заходов, но факт остается фактом, я не уделял этому вопросу внимания. Не знаю почему, может просто не верил в то, что эти прямые заходы могут как то сильно отразиться на моих сайтах (да и чего греха таить особо они и не влияли на мои сайты), а может причина в том, что сайтов слишком много и не успевал следить за подобными мелочами.
Ну закончим лирику и перейдем к сути дела.
Речь пойдет о одном моем буржуйском сайте. Сайт познавательный. Ежедневно там публикуется около 10 познавательных статей. Сайт уже устоявшийся, возрастной (более 2 лет). И самое главное независимый. То есть я вообще ничего не делаю с ним. У меня есть два копирайтера которые сами там рулят. А я только получаю деньги, то есть это мой пассивный заработок. И имел с на нем чистыми около 300-400 долларов в месяц (это чистая прибыль, то есть уже вычтена зп копирайторов и стоимость сервера).
В начале жизни сайта я потратил около полугода, чтоб его както маломальски раскрутить. поднял стабильный траф до 1000+ и отправил в свободное плаванье. за полтара - два года трафик подрос до 3000+ (без каких либо вложений и без какихто тело движений с моей стороны). Копирайтеры набили руку и начали писать более качественные и интересные тексты. Иногда траф прыгал до 5000-7000 но это было редко.
80% посетителей было с поисковиков.
5% переходы по ссылкам на сайтах
10% это переходы с соц сетей
5% это так всякий шлак.
Ну в общем жил не тужил я вот так чуть больше года. И тут летом начал обращать внимание, что мои поступления стали все падать и падать. Ну думаю лето, спад и вся фигня. Бывает... Наступила осень, а количество поступающих денег все меньше и меньше. И вот в октябре месяце ежемесячные поступления стали меньше 200 баксов (чистой прибыли). Просмотрел статистику посещений. Трафик остался на том же уровне, заметил только, что очень уменьшилась глубина просмотра. Я давно грешил на свой сервак, очень уж мне не нравилось, как медлено там все работало. Ну и было решено перенести сайт на другой хостинг. Долго искал, читал отзывы. И вот нашел нормального (вроде бы) хостера. Все у меня в нем устроило. Перебрался я туда. Все стало работать намного шустрее. Дал сайту "освоиться" и спустя три недели я понял, что глубина просмотра осталась на прежнем уровне. А вот с заработком вообще беда. Он упал до 100 баксов.
Ну что ж, как бы не хотелось это делать, но пришлось выделить личное время и уделить пристальное внимание к этой проблеме.
В общем полез я в метрику смотреть, что и как. И я просто офигел от того, что я там увидел. А увидел я следующее:
80% - прямые заходы
10% - поисковые запросы
5% - соц сети
5% - сайты
то есть более 2400 посещений это были прямые запросы. нахождение на сайте 0 секунд, 100% отказов.
Решил глюк яндекс метрики. У меня бывало такое когда, метрика определяла переходы с гугла (но чаще всего с соц сетей) как прямые запросы. Что делать? правильно! Ставим другой счетчик и смотрим как он их будет определять. Ставим ЛИ. И что мы видим? в течение 3 дней ЛИ показывает ту же ситуацию, то есть эти прямые заходы считаются за посетителей.
Ну что ж, вперед копаться и искать всю правду.
Захожу в метрике в географию. Смотрю что 99% прямых заходов были с Германии. Ясно понятно. вперед на поиски этих несчастных немцев которые так атакуют мой сайт. Полез в логи сайта. И вперед копаться в заходах. Ушло у меня на то чтобы найти заразу примерно дней десять (точно могу сказать, что это больше недели). Может быть ушло поменьше времени, если бы мой сайт не атаковали боты большинства известных поисковиков. Не хотелось бы банить даже тех же baidu и bing. Так как по старой памяти бинг давал мне минимум 20 человек в сутки. Напомню, что это бурж. А значит заработок там выше. И если с этих 20 человек хотябы 1-2 кликнут по рекламе то заработок уже набирается. (я приверженец поговорки Копейка рубль бережет).
Что же я нашел? А нашел я то, что все прямые заходы были от одного хостинг провайдера: Hetzner Online AG. Нет я не обвиняю самого Hetzner Online AG в том, что это они делали. Ясное дело, что ктото у Hetzner Online AG арендовал сервер, и пустил своего бота (crawler). Почему краулер а не парсер? ну потому, что я точно знаю что мои статьи нигде не публиковались в огромных количествах. Только обычная ситуация когда ктото делится ссылкой или текстом на форуме. А значит, скорей всего какой-то статистический сервис или ещё чтото. Проблема заключалась еще в том, что этот бот не имел названия, он очень четко маскировался под пользователя регулярно меняя юзер агента.
Узнать откуда шли прямые запросы это только малая часть всего решения. нужно было на корню позакрывать им кислород. К сожалению скорей всего хостер Hetzner Online AG предоставил "пользователю" несколько IP-ов. Так как блокировка одного IP-а ничего не давала, блокировка диапозона так же ничего не давала, прямые заходы продолжали поступать, все меньше и меньше но продолжали.
По итогу я свел на нет все прямые заходы от хостера Hetzner Online AG.
Сейчас у меня все вернулось на круги своя.
80% - поисковики
10% - соц сети
5% - сайты
5% - все остальное
Сейчас у моего сайта посещаемость иногда доходит до 500 человек. А в этом месяце впервые за долгое время, я не получу прибыли.
К чему я все это написал? Естественно не всегда прямые заходы бывают чьим-то ботом, чаще всего они безобидны. А иногда даже несут какуюто пользу. К примеру я замечал такую тенденцию, когда моя ссылка публиковалась в соц сети (фейсбук, твиттер и другие буржуйские соц сети) Яндекс метрика определяла их как прямые заходы. С точно такими же показателями. 0 секунд на сайте и 100% отказ.
Но все IP были чистыми, не проксями, разных провайдеров.
Так что, вот такая вот история у меня произошла с прямыми заходами с серверов Hetzner Online AG.
п.с. Хочу ещё раз уточнить, никаких претензий к самому хостеру Hetzner Online AG у меня НЕТ. Озвучил я его название, только для того, чтобы вы если будете у себя регулярно в логах встречать IP относящиеся к Hetzner Online AG. То не поленитесь и помониторьте за своим сайтом.
