Сборник рецептов #61: сбор характеристик сайтов, парсер архива Telegram ботов и парсер Lalafo

61-й сборник рецептов, в котором содержатся: парсер для сбора характеристик сайтов, парсер архива телеграм ботов и парсер объявлений из Lalafo.

Анализ сайта с помощью be1.ru
Парсер для сбора характеристик сайтов из сервиса be1.ru. Сервис предоставляет отчет по около 60-ти характеристикам.



Парсер архива Телеграм ботов
Парсинг информации о Telegram ботах из сервиса BOTSARCHIVE. Для парсинга используется официальное API.



Парсер объявлений сайта Lalafo
Парсер крупнейшего сайта для размещения бесплатных объявлений Lalafo по поисковому (ключевому) запросу. Возможности: сбор номеров телефонов с объявлений, выбор количества страниц результатов, выбор домена, сбор результатов сразу в CSV таблицу.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser
Скриншоты выдачи поисковой системы

Демонстрация возможности делать скриншоты страниц, получаемых другими парсерами
* Добавлена возможность выбирать из нескольких поисковиков (Google/Яндекс/Bing, по аналогии можно добавить остальные)
* Все результаты, получаемые от парсера поисковика, теперь перемещены в объект $p1.results (для примера реализован вывод $serp)
* Небольшие изменения логики работы
Парсер изображений с Flickr

Парсинг картинок из Flickr по ключевому слову
* Пресет переделан в JS парсер на TypeScript
* Добавлен выбор параметров поиска: Sort, License, Color, Style
* Добавлен параметр выбора количества страниц
* Для каждой картинки реализована возможность парсить ссылку, заголовок, описание, владельца, количество добавлений в избранное и количество комментариев
Анализ скорости загрузки и юзабилити сайтов

Измерение скорости загрузки страниц, их юзабилити, получение скриншотов сайтов
* Парсер переписан на JS API v2 (TypeScript)
* Добавлена возможность указывать ключ API
* Адаптация к изменениям на источнике
NeuralWriter - перефразирование, генератор промптов, резюмирование

Парсер сервиса neuralwriter.com
* Добавлена поддержка разгадывания каптчи Cloudflare Turnstile - опция Util::Turnstile preset. Разгадывание капчи теперь обязательно, если тип запроса не Prompt Generator
Google Indexing API

Добавление или удаление страниц сайта в Google Indexing API
* Парсер переписан на TypeScript (JavaScript API v2)
* Добавлена возможность использовать несколько ключей
Генерация картинок ruDALL-E

Напишите текстовый запрос — получите сгенерированную ИИ картинку в rudalle.ru
* Исправлена генерация с помощью старой модели (ruDALL-E Malevich)
* Для генерации картинки старой моделью теперь не требуется подключение Util::AntiGate
* Добавлен выбор модели, которая будет генерировать изображения, добавлена новая модель Kandinsky 3.0 (new)
* В моделе Kandinsky 3.0 есть возможность выбрать стиль генерации изображения, доступны все стили
Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

1.2.2228 - 2 новых парсера, множество улучшений и исправлений




Улучшения
* Добавлен парсер геолокации IP/домена - IP::Geo
* Добавлен парсер для разгадывания RotateCaptcha - Util::RotateCaptcha
* В SE::Yandex добавлен параметр Serp time
* В парсерах OpenAI::Completions и OpenAI::ChatGPT обновлены модели
* В парсеры SE::Google::KeywordPlanner::* добавлен флаг, указывающий на точность данных
* В SecurityTrails::IP добавлена возможность парсинга с авторизацией
* В Shop::Aliexpress добавлена возможность парсить старую цену и валюту
* В SE::Youtube::Video добавлена возможность собирать данные о Shorts
* Добавлено информационное сообщение при ошибке импорта JS парсера

Исправления в связи с изменениями в выдаче
* Адаптация к изменениям в верстке поисковой выдачи Google
* Исправлена ошибка при парсинге быстрых ответов в SE::Yandex
* Исправлен парсинг нескольких страниц в Shop::eBay при максимальном количестве результатов на страницу
* Исправлена работа Net::Whois с некоторыми доменными зонами
* Исправлен парсинг постов в Social::Instagram::Profile
* Исправлена подстановка переменных в Конструкторе результатов
* SE::Bing, Rank::MajesticSEO, SE::Ask, SE::Baidu, SE::AOL, SE::DuckDuckGo, Shop::eBay, SE::Seznam, SE::Google::ByImage, Reddit::Posts

Исправления
* Исправлена логика работы SE::Dogpile
* Исправлена работа Maps::Yandex с разгадыванием каптч
* Исправлена проблема с интерфейсом при сохранении региона в SE::Yandex
* SE::YouTube - устранено игнорирование рязрядов в $views при Device = Mobile
* Shop::Ebay - исправлены ошибки в парсинге цифровых значений
* Shop::Aliexpress - исправлены ошибки парсинга $shipping_price и $sold_count
* Исправлена работа tools.task.id в формате результата
* Исправлена ошибочная возможность перезаписать default пресет настроек
* Исправлена проблема зависания регулярных выражений в Parse custom result
* Исправлена ошибка вызова Social::TikTok::Profile в JS парсере

Сборник рецептов #62: проверка текстов, Markdown разметка, простой файловый сервер на базе A-Parser

62-й сборник рецептов, в котором содержатся: парсер сервиса zerogpt для проверки текстов, пример использования Markdown разметки для генерации HTML страниц и альтернативный метод получения файлов результатов работы А-Парсера.

ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта
Парсер сервиса zerogpt.com. Поддерживается выбор режима работы с текстом: проверка грамматики и орфографии или детект искусственного интеллекта, т.е. был ли проверяемый текст сгенерирован с помощью ИИ.




Парсер перевода Markdown разметки в HTML
Парсер собирает выдачу Google встроенным парсером. Далее, используя заготовленный Markdown шаблон template.md, который можно легко редактировать по своему усмотрению, переводит Markdown разметку в HTML с учетом собранных результатов.




Альтернативный метод получения файлов результатов
Реализация простого файлового сервера на базе A-Parser. Суть примера заключается в том, чтобы по запросу на заранее известный url получить любой файл из папки results.
В качестве кейсов применения можно рассматривать любые задачи, в которых требуется получать прямой доступ к файлам результатов и при этом имена файлов заранее известны. Например: с помощью Планировщика периодически запускаются несколько заданий, которые пишут результаты в файлы со статическими именами. И с помощью данного пресета можно легко и в любое время получить эти файлы.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

1.2.2262 - новые опции во встроенных парсерах, адаптация к изменениям на источниках данных




Улучшения

* В SE::Google:
- добавлен параметр Empty totalcount is error, детальнее тут
- добавлен сбор тегов (массив $tags.$i.tag)
* SE::Yandex - улучшен парсинг сниппета генеративного ответа
* В парсере OpenAI::ChatGPT обновлены модели и добавлен параметр Another model name
* В SE::Yandex::WordStat добавлена опция Wordstat 2 parse all table data, детальнее тут
* В SE::YouTube::Video расширен перечень собираемых данных, детальнее тут
* В SE::You добавлена возможность задавать кол-во страниц для парсинга ссылок
* Следующие настройки перенесены из опций в параметры парсера:
SE::Google: Parse people also ask
SE::Yandex: Parse Quick answers и Parse generative answer

Исправления в связи с изменениями в выдаче

* В SE::Yandex исправлена работа с каптчами
* Исправлен парсинг дат в SE::Google
* Исправлен парсинг быстрых ответов в SE::Yandex
* В SE::Yandex::WordStat исправлены ошибки в работе с WordStat 2
* Исправлена работа Shop::Wildberries::ProductsList с некоторыми запросами
* Исправлен сбор $related в SE::Yahoo
* В SE::Yandex::Direct исправлен парсинг доменов для некоторых случаев
* Исправлена ошибка Unexpected token в Social::TikTok::Profile
* Исправлен сбор $views в SE::Bing::Video
* В SE::You исправлен парсинг ссылок на превью
* В Shop::Yandex::Market исправлен парсинг $products.$i.imagelink, $products.$i.rating, $products.$i.commentscount
* Исправлена ошибка при парсинге больше 5-ти страниц в SE::Ask
* Адаптация к изменениям на источниках: Shop::Amazon, Shop::AliExpress, Shop::Yandex::Market, SecurityTrails::IP

Исправления

* Исправлена проблема с отображением сохраненных заданий
* Исправлена работа опции Collect full region в Maps::Google

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Генерация картинок ruDALL-E
Генерация картинок по текстовым запросам через нейросеть ruDALL-E. Присутствует возможность выбирать модель и стиль генерации.
* Добавлена опция Save image, позволяет отключить сохранение изображения в файл, по-умолчанию включена
* Изображение теперь доступно в переменной $data

Парсинг отзывов Google Play Market
Данный парсер собирает комментарии (ссылка на аватар, рейтинг и имя юзера, а также текст отзыва) к приложению в Google Play Market.
* Исправлен парсинг
* Парсер переписан на TS (API v2)
* Добавлена возможность указания количества страниц парсинга
Naver Ads
Парсер рекламных объявлений из Naver по ключевым словам с возможностью указать количество страниц парсинга.
* Исправлен сбор всех результатов
* Адаптация к изменениям на источнике

JS::TextFromSE
Объединение парсера поисковой выдачи и парсера текста в одном JS парсере на примере решения задачи по парсингу текстов.
* Парсер переписан на TypeScript API v2

Парсер Aliexpress товаров
Парсер, позволяющий получить информацию о товаре на Aliexpress, подавая на запрос ссылку на товар.
* Адаптация к изменениям на источнике
* $delivery теперь массив
* $formattedQuery был удален
* Вместо $html исходный код страницы сохраняется в $data

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

1.2.2306 - новый парсер подсказок Google Trends, новые опции в существующих парсерах, исправления



Улучшения
* Добавлен новый парсер SE::Google::Trends::Suggest - сбор подсказок Google Trends
* Улучшена очистка ссылок в SE::Bing
* В парсер DeepL::Write добавлен выбор стиля и тональности, а также возможность использовать режим исправления
* В SE::Yandex добавлен вывод "пропущенных слов"
* В Rank::MajesticSEO добавлен параметр Additional headers for requests without Chrome, который позволяет задать заголовки для запросов без без браузера
* В SE::Yandex::WordStat::ByDate добавлена поддержка нового Wordstat 2
* В SE::Yandex::Register добавлена новая опция OnlineSIM domain которая дает возможность указать домен который будет использоваться в API запросах к OnlineSIM
Исправления в связи с изменениями в выдаче
* Rank::KeysSo - исправлена ошибка заполнения некоторых результатов
* Исправлен парсинг $owner_link и $owner_name в парсере Social::Instagram::Post
* Исправлен парсинг $thumb в Social::Instagram::Profile
* Исправлен парсинг $serp.$i.social в Maps::Yandex
* Исправлен парсинг комментариев в SE::YouTube::Video
* Парсер Rank::Ahrefs::KeywordGenerator адаптирован к изменениям на источнике
* SE::Yahoo, Shop::Wildberries::ProductInfo, SE::Google::Images, Rank::MajesticSEO, SE::Dogpile::Images, SE::DuckDuckGo, Cloudflare::Radar
Исправления
* Исправлены падения парсера при использовании определенных запросов в HTML::EmailExtractor
* Исправлена работа повторных попыток для получения robots.txt в Check::BackLink
* Исправлен режим Bulk mode в парсерах SE::Google::KeywordPlanner::*