Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Проверка текста на уникальность
Парсер для проверки текста на уникальность через онлайн сервис. Собираются данные об уникальности, а также список сайтов, на которых есть совпадения и процент совпадения на них.
* Парсер переписан на TypeScript
* Добавлена поддержка запросов в виде ссылок: парсер автоматически определяет тип запроса и если это ссылка - сначала парсит текст выбранным парсером

Парсер hotline.ua
Парсер для агрегатора цен hotline.ua. Данный парсер собирает по ключевым словам информацию из прайсов hotline.ua: имя, описание, цены, изображения и т.д.
* Парсер переписан на TypeScript
* Исправлен сбор данных
* Обновлен набор собираемых данных

Парсинг подсети и организации по IP
Пресет для парсинга подсети и организации по IP
* Исправлена ошибка 403, из-за которой парсер не собирал результаты

Парсер отзывов Wildberries Reviews
Сбор отзывов по товарам с wildberries.ru в csv таблицу. Собираются следующие данные: артикул товара, имя того кто оставил отзыв, дата, количество звёзд, текст отзыва.
* Обновление в связи с изменениями в выдаче

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

1.2.2014 - множество улучшений и исправлений во встроенных парсерах




Улучшения
* В SE::Yandex добавлена поддержка новой каптчи Яндекса
* Net::Whois - обновлены whois сервера, добавлены новые опции, реализована обработка статуса "Rate Limited"
* Rank::KeysSo - обновлен список регионов
* Shop::Yandex::Market - добавлена поддержка редиректа с cvredirect=1
* Maps::Google - улучшение Collect full region, добавлена опция OSM Mode и парсинг точки, добавлен новый собираемый результат $timestatus
* В SE::Yahoo добавлена возможность парсить рекламную выдачу
* Добавлена переменная $data в Telegram::GroupScraper
* SE::Bing - обновлены регионы и языки
* JS парсеры: добавлена возможность делать запросы к другим парсерам в пакетном режиме

Исправления в связи с изменениями в выдаче
* В SE::Google исправлен сбор $corrected и $misspell
* Частично исправлена работа SE::Bing, на данный момент все еще могут наблюдаться проблемы в некоторых случаях
* Исправлена работа всех парсеров Ahrefs
* Исправлена регистрация Яндекс аккаунтов через Chrome ( SE::Yandex::Register)
* В парсерах SE::Google::KeywordPlanner::* исправлена авторизация по cookie
* Shop::Yandex::Market, SE::Ask, Check::RosKomNadzor, Shop::Wildberries::ProductInfo

Исправления
* Исправлена ошибка при объявлении JS модуля в $tools.js

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг вопросов и ответов из выдачи Bing

Пресет для сбора вопросов и ответов из поисковой выдачи Bing. Используется стандартный парсер SE::Bing, в результат выводятся вопросы и ответы на них.
* Обновлено регулярное выражение в связи с изменениями в выдаче

Парсим Google новости с датой и преобразуем ее

Пример парсинга Google новостей с датой и преобразованием ее к одному формату
* Обновление в связи с изменениями в выдаче

Периодический мониторинг цен с уведомлением в Telegram

В качестве запросов принимаются ссылки на товары, а в результате формируется таблица и отправляются сообщения в подключенный чат Telegram. Детальное описание в статье: https://a-parser.com/resources/367/
* Обновлены сайты примеров

Парсер подсказок Яндекс.Маркет

Парсинг подсказок Яндекс.Маркет с частотой и категориями
* Парсер переписан на JS API v2
* Исправлена работа с каптчами (полностью наследуется из SE::Yandex)
* Исправлено регулярное выражение для хлебных крошек

Скачивание картинок

Пример скачивания картинок с определением их размеров
* Парсер переписан на JS API v2
* Оптимизированы импорты
* Добавлена возможность сортировать картинки по каталогам в зависимости от ориентации
* Добавлена возможность фильтровать картинки по размеру файла

Парсер Github

Парсер поиска по репозиториям на Github по ключевому слову
* Парсер полностью переписан с использованием JS API v2 и адаптацией к изменениям на источнике

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

1.2.2062 - парсер профилей Tiktok, поддержка click каптч Яндекса, улучшения и исправления




Улучшения
* Добавлен парсер Social::TikTok::Profile
* SE::Yandex - добавлен парсинг быстрых ответов
* Добавлена поддержка новых каптч Яндекса (click captcha) в парсерах SE::Yandex::ByImage, SE::Yandex::Images, SE::Yandex::SQI, Shop::Yandex::Market
* В Util::AntiGate изменился набор доступных опций, подробнее здесь
* В SE::Yandex добавлена опция AntiGate preset for old captcha. С ее помощью можно выбрать пресет антигейта для обычных (старых, в виде одной картинки) каптч. Рекомендации по парсингу Яндекса описаны тут.
* В SE::Yandex::Translate добавлена возможность подключать разгадывание каптч
* В SE::Bing улучшена скорость, уменьшено количество ошибок Short output, добавлены сессии
* В SE::YouTube добавлена опция Advanced filters (param sp=), с помощью которой можно указать сложные комбинации фильтров
* Rank::KeysSo - добавлена возможность парсить с авторизацией, актуализированы собираемые данные
* В парсерах OpenAI добавлена возможность указывать несколько API ключей
* Парсеры WordStat: адаптация к изменениям в авторизации, максимальное кол-во страниц увеличено до 50
* JS парсеры: добавлена опция skipProxySettingsInheritance для parser.request()

Исправления в связи с изменениями в выдаче
* SE::Google - исправлен парсинг PAA, парсинг выдачи адаптирован к изменениям в верстке
* SE::Yandex - адаптация к изменениям в верстке
* Исправлен Safe search в SE::Google::Images, SE::Google
* Исправлено авторазгадывание Turnstile (опция Provider=Auto (using Chrome) в Util::Turnstile)
* Исправлен проход по страницам в SE::Yahoo
* В SE::YouTube исправлена работа всех фильтров, исправлен парсинг мобильной выдачи
* Maps::Google, SE::YouTube, SE::Yahoo - исправлен обход соглашения с политикой кук
* SE::Google::ByImage, SE::Dogpile, SE::DuckDuckGo

Исправления
* Исправлена работа HTML::EmailExtractor в некоторых случаях
* Исправлен обход CF в Net::HTTP при Engine=HTTP
* Исправлена работа SE::Google::Translate при Device=Desktop
* Исправлены ошибки в работе SecurityTrails::Domain, Cloudflare::Radar, Rank::MOZ, Rank::CMS, Net::Whois
* Устранены падения при использовании прокси из отключенного проксичекера

Видео урок: Поиск статей внутри сайта

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ поиска статей внутри сайта с использованием 2-х встроенных парсеров.




Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

1.2.2106 - обновленный SE::Rambler, лимит при парсинге в глубину в LinkExtractor и другие улучшения




Улучшения
* В HTML::LinkExtractor добавлена возможность указания лимита количества ссылок при парсинге в глубину
* В Util::AntiGate добавлена поддержка Capsola, capmonster.cloud
* В Util::Turnstile добавлена поддержка captcha.guru
* В Rank::MajesticSEO добавлена возможность указывать собственные юзер-агенты для повышения успешности парсинга
* В парсерах Rank::Ahrefs::* добавлена экспериментальная опция Do not search for sitekey, которая отключает поиск sitekey, что в свою очередь ускоряет запуск задания
* SE::Rambler полностью переписан:[list]* обновлен список языков
* добавлена возможность указывать регион
* добавлен выбор десктопной или мобильной выдачи
* обновлена работа с каптчами
* JS парсеры: добавлена поддержка тегов для сессий

Исправления в связи с изменениями в выдаче
* SE::Bing - уменьшено кол-во ошибок Short output detected
* Адаптация к изменениям в верстке для SE::Google и SE::Yandex
* Исправлен сбор flat переменных в Social::Instagram::post
* Исправлен сбор $location в Social::Instagram::profile
* Исправлен поиск sitekey в Rank::Ahrefs::*
* Исправлена работа SE::YouTube при Result type = Movie
* Исправлен сбор $author_link в GooglePlay::Apps
* SE::Bing::position, SE::Google::ByImage, SE::DuckDuckGo, SE::Google::Images, Shop::Wildberries::productInfo

Исправления
* Исправлены ошибка в Rank::CMS, из-за которой в некоторых случаях он не работал
* Исправлена ошибка использования SE::Yahoo через Redis API
* Исправлена работа SE::YouTube при запросах из JS парсеров
* Исправлена работа Net::Whois с доменами .se
* Исправлено ошибочное определение запроса неудачным в Shop::eBay
* Исправлено заполнение результатов в Rank::KeysSo

Обновленные пресеты в каталоге A-Parser + новый парсер тегов из сервиса Rapidtags

Обновление пресетов в Каталоге примеров A-Parser

Парсер переводчика Reverso
Переводчик текста через сервис reverso.net
* Исправлена ошибка при отсутствующих $examples или $variants
* Поправлено логирование

JS::MailValidator
Проверка существования e-mail адресов
* Исправлена проверка почт на protonmail

Сокращатель ссылок
Парсер для массового сокращения ссылок с возможностью выбирать используемый сервис
* Удалены неработающие сервисы (cleanuri.com, gotiny.cc, shrtco.de)
* Добавлено 2 новых сервиса: gg.gg и urlshort.dev

Парсер тегов для YouTube и TikTok из сервиса Rapidtags
Новый пример в Каталоге: пресет для сбора тегов для YouTube и TikTok из сервиса Rapidtags.io.
* можно задать тип: YouTube или TikTok
* в качестве запросов можно использовать ключевые слова или ссылки на видео на Youtube

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!