A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

Сообщений: 199 Регистрация: Дек 2014

#196

26 Ноября 2024 21:20

1.2.2502 - множество багфиксов, добавлена поддержка нового сервиса разгадывания каптч

Рисунок

Улучшения
* В парсерах Rank::Ahrefs::* добавлен параметр Additional headers, с его помощью можно добавлять заголовки к запросу
* Добавлена поддержка сервиса NextCaptcha в парсеры Util::* Сервис поддерживает работу с hCaptcha, ReCaptcha2 и ReCaptcha3
* В Rank::CMS теперь по-умолчанию RegExp engine = RE2
* В Rank::Ahrefs добавлена обработка доменов, по которым нету информации

Исправления в связи с изменениями в выдаче
* Shop::Amazon некорректно выводил количество продаж
* Исправлена ошибка App ID not found в Social::Instagram::Tag
* В SE::Google исправлен парсинг при Serp type = News, а также в целом парсер адаптирован к изменениям в выдаче
* Исправлена работа SE::Startpage
* Исправлена работа SecurityTrails::Domain с опцией Mode = DNS Records
* В Shop::Yandex::Market исправлен проход по пагинации и парсинг наименований товаров
* В SE::Google::Images исправлены проход по пагинации и ошибка при парсинге с выбором размера

Исправления
* В парсерах SE::Google::KeywordPlanner::* исправлена авторизация в некоторых случаях
* Исправлена логика выбора прокси после подзапросов к парсерам (например, при обращении к парсеру каптч из основного парсера)
* Исправлена ошибка при работе с капчей в SE::Yandex, которая появилась из-за изменений в API одного из используемых в Util::AntiGate модулей
* Исправлена загрузка больших списков прокси
* Исправлена работа опции Collect full region в Maps::Google
* Исправлена работа Rank::CMS в некоторых случаях

A-Parser Support

Сообщений: 199 Регистрация: Дек 2014

#197

6 Декабря 2024 11:57

Видео урок: установка A-Parser на Linux с использованием Docker

В этом видео рассмотрено установку A-Parser на Linux с использованием Docker.

Содержание:
* Действия перед установкой
* Установка Docker
* Загрузка и распаковка дистрибутива A-Parser
* Запуск с логом и в фоне
* Просмотр файла лога
* Запуск используя docker-compose

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO !

Рисунок

В честь Cyber Monday мы запускаем специальные промокоды:

* 2 и 3 декабря — скидка 30% на все лицензии A-Parser
Промокод: CBRWEEK2024-30%-OFF
* С 4 по 8 декабря — скидка 20% на все лицензии A-Parser
Промокод: CBRWEEK2024-20%-OFF
* С 2 по 8 декабря — скидка 15% на все дополнительные услуги, включая прокси, заказ парсеров, дополнительные лицензии и т.д.
Промокод: CBRWEEK2024-ALL15%-OFF

Купить A-Parser со скидкой можно по ссылке: https://a-parser.com/pages/buy/

Присоединяйтесь в наш Telegram-чат, чтобы быть в курсе всех обновлений, задавать вопросы и получать помощь от экспертов и пользователей сообщества.

Изменено: A-Parser Support - 17 Декабря 2024 14:46

A-Parser Support

Сообщений: 199 Регистрация: Дек 2014

#198

17 Декабря 2024 14:57

Дайджест новостей A-Parser

Проверка наличия сайта на Miralinks
Новый пример в Каталоге: пресет для проверки доменов на наличие на бирже Miralinks, который проверяет, есть ли домен на Miralinks, выгружает его стоимость и ссылку на профиль на бирже.
Рисунок

Парсер Aliexpress товаров
Обновление парсера, позволяющего получать информацию о товаре на AliExpress, подавая в качестве запроса ссылку на товар.
Адаптация к изменениям на ресурсе

JS::TitleParser
Обновление базового примера для парсинга HTML тега title на произвольной странице.
Парсер переписан на JS API v2
Добавлено поле для указания юзер-агента

Парсинг данных о Youtube канале
Обновление парсера данных о Youtube каналах.
Исправлен сбор данных
Адаптация к изменениям в верстке
Убран сбор данных о монетизации, т.к. известный метод определения больше не работает

Google Products
Обновление парсера товаров из Google выдачи.
Ссылка на сайт теперь берется из названия магазина

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

- https://t.me/a_parser

- https://a-parser.com/pages/affiliate/

A-Parser Support

Сообщений: 199 Регистрация: Дек 2014

#199

27 Декабря 2024 09:33

Дайджест новостей A-Parser

ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта

Обновление парсера сервиса zerogpt.com. С помощью него можно проверять грамматику и орфографию, а также определять использование ИИ в текстах.
* Добавлено использование браузера при Mode = AI Grammar & Spell Checker
* Добавлена опция Browser Headless которая включает и отключает отображение интерфейса браузера

Парсер HypeStat

Обновление парсера сервиса статистики и аналитики веб-сайтов HypeStat.
* Исправлен сбор результатов
* Некоторые результаты вынесены из массивов в обычные (плоские) результаты

Сокращатель ссылок

Обновление парсера для массового сокращения ссылок с возможностью выбирать используемый сервис.
* Исправлены: 1pt.co, clck.ru, urlshort.dev
* Отключен gg.gg, т.к. сервис не работает

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Изменено: A-Parser Support - 27 Декабря 2024 09:34

A-Parser Support

Сообщений: 199 Регистрация: Дек 2014

#200

15 Января 2025 03:53

1.2.2573 - новый парсер отзывов из Google карт, оптимизации работы встроенных парсеров, багфиксы

Рисунок

Улучшения

* Добавлен новый парсер Maps::Google::Reviews, который позволяет парсить отзывы к местам на Google картах
* Парсер SE::Bing полностью переписан, полный список изменений тут
* Добавлены альтернативные сервера авторизации для пользователей из РФ
* Улучшена работа Shop::Amazon: значительно снижена вероятность бана
* Улучшена работа Util::Antigate: теперь манипуляции с картинками каптч занимают меньше времени и потребляют меньше ресурсов
* Улучшена работа HTML::TextExtractor::LangDetect: обновлен модуль определения языка и оптимизирован алгоритм работы
* SE::Yandex::Speller теперь может принимать на вход как ссылки, так и ключевые слова (тексты)
* В Reddit:: Posts добавлена опция Use HTTP/2 transport
* Улучшение скорости работы parser.request и API::Server::Redis (будет заметно при большой интенсивности запросов и большом размере самих запросов(от 10кб))

Исправления в связи с изменениями в выдаче

* Social::Instagram::Geo - исправлена проблема Content mismatch при определенных запросах
* Shop::Amazon - адаптация к изменениям в верстке, исправлена работа при Domain=United Kingdom
* Social::Instagram:: Post - исправлена ошибка при сборе $video_link
* Исправлена работа SE::Quora, теперь требуется указывать куки авторизованного аккаунта, подробнее тут
* Исправлена работа Social::TikTok:: Profile
* Исправлен SE:: DuckDuckGo

Исправления

* SE::Yandex - исправлена поддержка puzzle каптчи при Engine=Browser
* Rank::CMS - исправлена ошибка, возникающая для некоторых технологий
* Исправлен Cloudflare::Radar

A-Parser Support Сообщений: 199 Регистрация: Дек 2014	#201 25 Января 2025 13:25 1.2.2596 - обход новой проверки Google, несколько других исправлений Примерно с вечера 15 января Google поиск начал требовать в обязательном порядке включенный JavaScript и включил дополнительную проверку. Из-за это перестали работать существующие парсеры Google, проблема затронула даже такие крупные сервисы, как Similarweb. Мы также начали получать множество сообщений о проблеме с парсером Google, и сразу взялись за ее решение. Первый, временный, фикс был выпущен уже на следующий день. После этого было еще несколько исправлений, а финальное решение стало доступным 20 января. После нескольких дней тестирования было решено сделать внеочередной релиз, чтобы у пользователей на stable канале обновлений также возобновилась возможность парсить Google. Кроме этого в релиз вошли следующие изменения: * В парсерах OpenAI::* теперь можно указывать API domain с протоколом (http/https) * Исправлена ошибка инициализации Util::AntiGate в некоторых окружениях * Исправлена работа Social::Instagram::Search * Исправлена проблема, из-за которой в Social::Instagram::Geo собиралось только 24 поста

Похожие темы:

18.09.2021 14:44	OLX Parser (страны: UA, BG, KZ, PL, PT, RO, UZ)
30.10.2017 12:36	LSI Parser + бонус для копирайтеров, дорвейщиков(Для хорошей текстовки)
28.02.2017 00:42	Youla Parser – программа для парсинга телефонов из приложения Юла
20.10.2016 18:57	MyMail Parser - сбор данных, создание баз для рассылок
10.04.2016 09:32	VKParser

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
14:21 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 13:46 Инструменты для массового постинга в WordPress 17:05 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 18:33 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 10:47 Бесплатные посещения 15:01 Adtrafico - Правильная партнёрская сеть под бурж трафик 18:41 Продвижение заграницей	20:08 Swap-line.com – это сервис быстрого обмена криптовалют на различные цифровые активы, а также на наличные средства во многих городах Украины! 18:54 Уникальный сервис SEO продвижения 18:51 Аккаунт Пикабу 12:56 Накрутка ПФ для любых сайтов. Быстрый результат 12:55 GoogleWalker - устранение конкурентов в Google Ads \| Автоматизированная система склика \| АНТИБАН 12:28 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 10:29 Размещу ссылки/статьи на ваш сайт \| Рост ИКС \| XRumer 23.0.4 StrongAI	03:25 Точные прогнозы на футбол 14:45 (затёр сайт) 19:39 Куплю проигрышные букмекерские аккаунты 21:04 Есть ли альтернатива Адсенсу и РСЯ? 22:39 Кому выплата РСЯ пришла и какого числа? 12:12 Linux - это максимальная свобода 20:09 Сколько сейчас стоит наполнение ИМ?