A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

Сообщений: 200 Регистрация: Дек 2014

#196

26 Ноября 2024 21:20

1.2.2502 - множество багфиксов, добавлена поддержка нового сервиса разгадывания каптч

Рисунок

Улучшения
* В парсерах Rank::Ahrefs::* добавлен параметр Additional headers, с его помощью можно добавлять заголовки к запросу
* Добавлена поддержка сервиса NextCaptcha в парсеры Util::* Сервис поддерживает работу с hCaptcha, ReCaptcha2 и ReCaptcha3
* В Rank::CMS теперь по-умолчанию RegExp engine = RE2
* В Rank::Ahrefs добавлена обработка доменов, по которым нету информации

Исправления в связи с изменениями в выдаче
* Shop::Amazon некорректно выводил количество продаж
* Исправлена ошибка App ID not found в Social::Instagram::Tag
* В SE::Google исправлен парсинг при Serp type = News, а также в целом парсер адаптирован к изменениям в выдаче
* Исправлена работа SE::Startpage
* Исправлена работа SecurityTrails::Domain с опцией Mode = DNS Records
* В Shop::Yandex::Market исправлен проход по пагинации и парсинг наименований товаров
* В SE::Google::Images исправлены проход по пагинации и ошибка при парсинге с выбором размера

Исправления
* В парсерах SE::Google::KeywordPlanner::* исправлена авторизация в некоторых случаях
* Исправлена логика выбора прокси после подзапросов к парсерам (например, при обращении к парсеру каптч из основного парсера)
* Исправлена ошибка при работе с капчей в SE::Yandex, которая появилась из-за изменений в API одного из используемых в Util::AntiGate модулей
* Исправлена загрузка больших списков прокси
* Исправлена работа опции Collect full region в Maps::Google
* Исправлена работа Rank::CMS в некоторых случаях

A-Parser Support

Сообщений: 200 Регистрация: Дек 2014

#197

6 Декабря 2024 11:57

Видео урок: установка A-Parser на Linux с использованием Docker

В этом видео рассмотрено установку A-Parser на Linux с использованием Docker.

Содержание:
* Действия перед установкой
* Установка Docker
* Загрузка и распаковка дистрибутива A-Parser
* Запуск с логом и в фоне
* Просмотр файла лога
* Запуск используя docker-compose

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO !

Рисунок

В честь Cyber Monday мы запускаем специальные промокоды:

* 2 и 3 декабря — скидка 30% на все лицензии A-Parser
Промокод: CBRWEEK2024-30%-OFF
* С 4 по 8 декабря — скидка 20% на все лицензии A-Parser
Промокод: CBRWEEK2024-20%-OFF
* С 2 по 8 декабря — скидка 15% на все дополнительные услуги, включая прокси, заказ парсеров, дополнительные лицензии и т.д.
Промокод: CBRWEEK2024-ALL15%-OFF

Купить A-Parser со скидкой можно по ссылке: https://a-parser.com/pages/buy/

Присоединяйтесь в наш Telegram-чат, чтобы быть в курсе всех обновлений, задавать вопросы и получать помощь от экспертов и пользователей сообщества.

Изменено: A-Parser Support - 17 Декабря 2024 14:46

A-Parser Support

Сообщений: 200 Регистрация: Дек 2014

#198

17 Декабря 2024 14:57

Дайджест новостей A-Parser

Проверка наличия сайта на Miralinks
Новый пример в Каталоге: пресет для проверки доменов на наличие на бирже Miralinks, который проверяет, есть ли домен на Miralinks, выгружает его стоимость и ссылку на профиль на бирже.
Рисунок

Парсер Aliexpress товаров
Обновление парсера, позволяющего получать информацию о товаре на AliExpress, подавая в качестве запроса ссылку на товар.
Адаптация к изменениям на ресурсе

JS::TitleParser
Обновление базового примера для парсинга HTML тега title на произвольной странице.
Парсер переписан на JS API v2
Добавлено поле для указания юзер-агента

Парсинг данных о Youtube канале
Обновление парсера данных о Youtube каналах.
Исправлен сбор данных
Адаптация к изменениям в верстке
Убран сбор данных о монетизации, т.к. известный метод определения больше не работает

Google Products
Обновление парсера товаров из Google выдачи.
Ссылка на сайт теперь берется из названия магазина

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

- https://t.me/a_parser

- https://a-parser.com/pages/affiliate/

A-Parser Support

Сообщений: 200 Регистрация: Дек 2014

#199

27 Декабря 2024 09:33

Дайджест новостей A-Parser

ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта

Обновление парсера сервиса zerogpt.com. С помощью него можно проверять грамматику и орфографию, а также определять использование ИИ в текстах.
* Добавлено использование браузера при Mode = AI Grammar & Spell Checker
* Добавлена опция Browser Headless которая включает и отключает отображение интерфейса браузера

Парсер HypeStat

Обновление парсера сервиса статистики и аналитики веб-сайтов HypeStat.
* Исправлен сбор результатов
* Некоторые результаты вынесены из массивов в обычные (плоские) результаты

Сокращатель ссылок

Обновление парсера для массового сокращения ссылок с возможностью выбирать используемый сервис.
* Исправлены: 1pt.co, clck.ru, urlshort.dev
* Отключен gg.gg, т.к. сервис не работает

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Изменено: A-Parser Support - 27 Декабря 2024 09:34

A-Parser Support

Сообщений: 200 Регистрация: Дек 2014

#200

15 Января 2025 03:53

1.2.2573 - новый парсер отзывов из Google карт, оптимизации работы встроенных парсеров, багфиксы

Рисунок

Улучшения

* Добавлен новый парсер Maps::Google::Reviews, который позволяет парсить отзывы к местам на Google картах
* Парсер SE::Bing полностью переписан, полный список изменений тут
* Добавлены альтернативные сервера авторизации для пользователей из РФ
* Улучшена работа Shop::Amazon: значительно снижена вероятность бана
* Улучшена работа Util::Antigate: теперь манипуляции с картинками каптч занимают меньше времени и потребляют меньше ресурсов
* Улучшена работа HTML::TextExtractor::LangDetect: обновлен модуль определения языка и оптимизирован алгоритм работы
* SE::Yandex::Speller теперь может принимать на вход как ссылки, так и ключевые слова (тексты)
* В Reddit:: Posts добавлена опция Use HTTP/2 transport
* Улучшение скорости работы parser.request и API::Server::Redis (будет заметно при большой интенсивности запросов и большом размере самих запросов(от 10кб))

Исправления в связи с изменениями в выдаче

* Social::Instagram::Geo - исправлена проблема Content mismatch при определенных запросах
* Shop::Amazon - адаптация к изменениям в верстке, исправлена работа при Domain=United Kingdom
* Social::Instagram:: Post - исправлена ошибка при сборе $video_link
* Исправлена работа SE::Quora, теперь требуется указывать куки авторизованного аккаунта, подробнее тут
* Исправлена работа Social::TikTok:: Profile
* Исправлен SE:: DuckDuckGo

Исправления

* SE::Yandex - исправлена поддержка puzzle каптчи при Engine=Browser
* Rank::CMS - исправлена ошибка, возникающая для некоторых технологий
* Исправлен Cloudflare::Radar

A-Parser Support

Сообщений: 200 Регистрация: Дек 2014

#201

25 Января 2025 13:25

1.2.2596 - обход новой проверки Google, несколько других исправлений

Рисунок

Примерно с вечера 15 января Google поиск начал требовать в обязательном порядке включенный JavaScript и включил дополнительную проверку. Из-за это перестали работать существующие парсеры Google, проблема затронула даже такие крупные сервисы, как Similarweb.

Мы также начали получать множество сообщений о проблеме с парсером Google, и сразу взялись за ее решение. Первый, временный, фикс был выпущен уже на следующий день. После этого было еще несколько исправлений, а финальное решение стало доступным 20 января.

После нескольких дней тестирования было решено сделать внеочередной релиз, чтобы у пользователей на stable канале обновлений также возобновилась возможность парсить Google.

Кроме этого в релиз вошли следующие изменения:
* В парсерах OpenAI::* теперь можно указывать API domain с протоколом (http/https)
* Исправлена ошибка инициализации Util::AntiGate в некоторых окружениях
* Исправлена работа Social::Instagram::Search
* Исправлена проблема, из-за которой в Social::Instagram::Geo собиралось только 24 поста

A-Parser Support Сообщений: 200 Регистрация: Дек 2014	#202 5 Февраля 2025 03:42 Дайджест новостей A-Parser Выгрузка кликов из GSC Новый парсер от пользователя @seohive. С его помощью можно выгружать из Google Search Console статистику по кликам в проекте. Выгружает брендовые и все клики. Можно отдельно указать маску url и выгрузить клики определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API. Выгрузка поискового трафика из Яндекс Метрики Еще один новый парсер от пользователя @seohive. С его помощью можно выгружать из Яндекс Метрики статистику по трафику из поисковых систем. Выгружает трафик из Яндекс, Google и небрендовый из Яндекс. Можно отдельно указать маску url и выгрузить трафик определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API. Выгрузка данных по позициям из Topvisor И еще один новый парсер от @seohive. С его помощью можно выгружать из проекта в Topvisor статистику по позициям в проекте. Выгружает по группам и конкурентам количество запросов всего, в ТОП 3, ТОП 10 и ТОП 30 по датам. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API. Работа парсера SE::Google Напоминаем, что недавно Google ввел дополнительную проверку на включенный JS в поиске, из-за чего нарушилась работа многих парсеров и сервисов. Мы оперативно выпустили обновление для SE::Google и постоянно продолжаем отслеживать изменения. После выпуска stable версии у гугла были еще изменения, поэтому (на момент публикации новости) для корректной работы парсера Google нужно обновиться на последнюю beta версию. Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь. Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Похожие темы:

18.09.2021 14:44	OLX Parser (страны: UA, BG, KZ, PL, PT, RO, UZ)
30.10.2017 12:36	LSI Parser + бонус для копирайтеров, дорвейщиков(Для хорошей текстовки)
28.02.2017 00:42	Youla Parser – программа для парсинга телефонов из приложения Юла
20.10.2016 18:57	MyMail Parser - сбор данных, создание баз для рассылок
10.04.2016 09:32	VKParser

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
00:29 Роскомнадзор отказал в регистрации трети блогеров-десятитысячников 23:34 Как правильно покупать ссылки для поддомена? 22:59 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 12:32 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 23:27 Adfinity - Ваш надежный партнер в монетизации трафика 16:55 Инструменты для массового постинга в WordPress 20:05 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!	03:42 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 22:23 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 21:54 Приватные мобильные прокси Украины безлимиты 4g UA Водафон Киевстар Лайф 20:57 Продвижение сайтов в ТОП Яндекса за 2 недели. Рост позиций и трафика. Бесплатный тест. 18:53 Новый обменный сервис «Money-office» 11:42 Обменный пункт cashalot.one. Выгодный обмен. 10:47 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик]	00:36 США готовят закон для уничтожения пиратских сайтов во всех странах мира 02:50 Точные прогнозы на футбол 02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet 21:19 С юмором по жизни! 18:15 Telegram уничтожил официальный канал легендарного российского торрент-трекера 18:19 Уникальный сервис SEO продвижения 14:45 (затёр сайт)