BatchURLScraper - Извлечение данных методами XPath, CSSPath, XQuery и RegExp

Сообщений: 302 Регистрация: Мар 2012

17 Ноября 2020 19:14

Всем привет!

Представляю вашему вниманию бесплатную программу BatchURLScraper, предназначенную для извлечения данных со страниц сайтов используя XPath, CSS-селекторы, XQuery и RegExp.

Рисунок

Возможности программы BatchURLScraper:
- парсинг и извлечение данных по списку URL
- гибкая настройка парсинга используя XPath, CSSPath, XQuery и RegExp
- модуль для тестирования правил парсинга
- экспорт отчетов в Excel (CSV-формат)

Страница скачивания (5 Мб): https://site-analyzer.ru/soft/batch-url-scraper/

Буду рад любым отзывам и пожеланиям по работе программы.

Majento - сервисы SEO-аналитики

chaser81

Сообщений: 302 Регистрация: Мар 2012

26 Ноября 2020 18:30

Новая версия BatchURLScraper 1.3

Рисунок

Что нового:
- расширено число страниц для парсинга с 1000 до 5000 URL
- добавлена возможность скрапинга через HTML templates
- добавлена возможность извлечения данных через атрибуты CSS
- добавлена возможность скрапинга через внешний и внутренний HTML
- добавлена возможность использования списков Proxy
- исправлен баг некорректного сохранения User-Agent

Страница скачивания: https://site-analyzer.ru/soft/batch-url-scraper/

chaser81 Сообщений: 302 Регистрация: Мар 2012	#3 8 Декабря 2020 19:51 Новая версия BatchURLScraper 1.4 (build 27), 08.12.2020: - исправлена ошибка с валидацией HTML-темплейтов - оптимизирована работа с регулярными выражениями - добавлена возможность неучета повторений при скрейпинге - исправлена проблема с учетом пауз между запросами - диапазон пауз между запросами расширен до полутора минут - доработан и улучшен перевод программы - устранены утечки памяти

Новые темы	Объявления	Свободное общение
04:05 Что такое Яндекс Икс / Как накрутить Яндекс ИКС 00:53 Доработка сайта 00:49 Маркированный список выходит за пределы статьи 00:44 Модуль DLE 18:09 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 16:11 Давайте начнем обмен отзывами Google maps 22:14 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.	06:10 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 00:54 Переверстать готовый шаблон DLE 23:30 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 19:07 Linken Sphere – браузер-антидетект нового поколения 15:02 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 12:42 Sapfirex.com - Современный сервис обмена криптовалют	22:20 Точные прогнозы на футбол 20:09 Сколько сейчас стоит наполнение ИМ? 12:43 Куплю проигрышные букмекерские аккаунты 04:33 Половина скидок на распродажах — фейк 07:53 НейроБабушка наказывает мошенников 19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту

Новые темы

Объявления

Свободное общение

04:05 Что такое Яндекс Икс / Как накрутить Яндекс ИКС
00:53 Доработка сайта
00:49 Маркированный список выходит за пределы статьи
00:44 Модуль DLE
18:09 LGaming - экосистема и партнерская программа в gambling и betting вертикалях
16:11 Давайте начнем обмен отзывами Google maps
22:14 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.

06:10 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника
04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
00:54 Переверстать готовый шаблон DLE
23:30 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика
19:07 Linken Sphere – браузер-антидетект нового поколения
15:02 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр.
12:42 Sapfirex.com - Современный сервис обмена криптовалют

22:20 Точные прогнозы на футбол
20:09 Сколько сейчас стоит наполнение ИМ?
12:43 Куплю проигрышные букмекерские аккаунты
04:33 Половина скидок на распродажах — фейк
07:53 НейроБабушка наказывает мошенников
19:59 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
19:57 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту