Надо с сервака парсить сайт один с разных IP

Сообщений: 21822 Регистрация: Май 2011

26 Февраля 2017 10:38

Т.е. вот у меня VPS, вот у меня юзверь, под ним домен, под домен отдельный IP. Я хочу читать данные с одного из сайтов с периодичностью 2-5 тысяч запросов в сутки. Само собой, меня довольно быстро по IP домена (откуда пойдут обращения) вычислят и забанят IP. Вопрос: как организовать парсинг с сайта (сайтов) с разных IP? Т.е. как пользовать proxy c задачи php?

Изменено: Eye - 26 Февраля 2017 10:39

Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.

MrLexKo

Сообщений: 681 Регистрация: Май 2011

26 Февраля 2017 12:04

К vps можно подключить дополнительные ip, к примеру штук 5-10.
Парсинг осуществлять с помощью библиотеки cURL.
Скрипт парсинга пусть использует два txt файла, рандомно берет из одного файла ip для выхода в сеть из друго файла рандомно user-agent. Еще в скрипте refferer тоже можно подставлять.

И еще очень важный момент, не важно какой ip адрес прикреплен к домену. Да, домен откликается по этому ip, но скрипты которые работают на нем в сеть выходят по основному ip вашего сервера.
А через curl можно парсить с любого ip прикрепленного к vps/vds.

*Хостинг и домены. Скидка по промокоду - 34A0-15CA-735C-335A

Eye

Сообщений: 21822 Регистрация: Май 2011

27 Февраля 2017 00:23

Цитата

MrLexKo пишет:
И еще очень важный момент, не важно какой ip адрес прикреплен к домену. Да, домен откликается по этому ip, но скрипты которые работают на нем в сеть выходят по основному ip вашего сервера.
А через curl можно парсить с любого ip прикрепленного к vps/vds.

Спасибо.

Новые темы	Объявления	Свободное общение
12:32 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 23:27 Adfinity - Ваш надежный партнер в монетизации трафика 22:34 Роскомнадзор отказал в регистрации трети блогеров-десятитысячников 16:55 Инструменты для массового постинга в WordPress 01:26 Как правильно покупать ссылки для поддомена? 20:05 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 15:02 Adtrafico - Правильная партнёрская сеть под бурж трафик	22:11 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 18:46 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 16:43 ChatGPT уже в Телеграм! Пользуйтесь бесплатно, без использования VPN 16:41 Инвайтинг(приглашения) в вашу группу/чат телеграм. 16:15 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 15:41 TETChange-Обменник криптовалют 15:33 Belurk — высокоскоростные анонимные прокси от 0,24 рублей	02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet 00:06 Точные прогнозы на футбол 22:39 США готовят закон для уничтожения пиратских сайтов во всех странах мира 21:19 С юмором по жизни! 18:15 Telegram уничтожил официальный канал легендарного российского торрент-трекера 18:19 Уникальный сервис SEO продвижения 14:45 (затёр сайт)

Новые темы

Объявления

Свободное общение

12:32 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google
23:27 Adfinity - Ваш надежный партнер в монетизации трафика
22:34 Роскомнадзор отказал в регистрации трети блогеров-десятитысячников
16:55 Инструменты для массового постинга в WordPress
01:26 Как правильно покупать ссылки для поддомена?
20:05 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
15:02 Adtrafico - Правильная партнёрская сеть под бурж трафик

22:11 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика
18:46 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust
16:43 ChatGPT уже в Телеграм! Пользуйтесь бесплатно, без использования VPN
16:41 Инвайтинг(приглашения) в вашу группу/чат телеграм.
16:15 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др.
15:41 TETChange-Обменник криптовалют
15:33 Belurk — высокоскоростные анонимные прокси от 0,24 рублей

02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet
00:06 Точные прогнозы на футбол
22:39 США готовят закон для уничтожения пиратских сайтов во всех странах мира
21:19 С юмором по жизни!
18:15 Telegram уничтожил официальный канал легендарного российского торрент-трекера
18:19 Уникальный сервис SEO продвижения
14:45 (затёр сайт)

18.01.2021 06:40	Для чего надо учиться?
08.07.2019 10:23	Ну очень срочно надо продать сайт
05.03.2019 09:21	Надоедливые брутфорсеры
24.05.2018 14:14	Эскорт сервис надо продвинуть по буржу
09.04.2018 08:42	Надоела подбирать сайты