Сборник рецептов #64: скачивание видео из Instagram, проверка e-mail и переводчик Libre Translate

64-й сборник рецептов, в котором представлены парсер для скачивания видео из Instagram, пресет для проверки e-mail в сервисе EmailRep и парсер переводчика Libre Translate.

Instagram Reels Downloader
Парсер для скачивания видео из Instagram. Работает на основе встроенного парсера
Social::Instagram:: Post и в качестве запросов принимает ссылку на пост типа Video/Reel.



Проверка e-mail адресов в сервисе EmailRep
EmailRep - это система парсеров, сканеров и дополнительных сервисов, которая собирает данные об адресах электронной почты, доменах и интернет-персонах. Сервис использует сотни точек данных из профилей социальных сетей, профессиональных сетевых сайтов, утечек учетных данных в Darknet, утечек данных, наборов для фишинга, фишинговых писем, списков спама, открытых почтовых ретрансляторов, спам-ловушек, возраста и репутации домена, доставляемости и многого другого для оценки адреса электронной почты.



Парсер переводчика Libre Translate
Бесплатный API машинного перевода с открытым исходным кодом. В отличие от других API, он не полагается на проприетарных поставщиков, таких как Google или Azure. Вместо этого его механизм перевода основан на библиотеке Argos Translate с открытым исходным кодом.




Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Сборник статей #19: проверка наличия контента на странице и уведомления в Telegram

Представляем 19-й сборник статей, в котором содержатся две статьи от нашего пользователя @Reset: определение наличия контента на странице с выводом в таблицу и уведомление о выполненном задании в Telegram.

Как определить наличие контента в теле страницы и вывести в таблицу
В качестве примера рассмотрено определение наличия некоторых модулей на сайтах Wordpress и его легко можно адаптировать под аналогичные задачи.




Уведомление об выполненном задании в Telegram
Ранее мы уже публиковали способ получения уведомлений о завершении работы задания через Цепочку заданий. А в этой статье показано как это можно сделать через PHP скрипт.




Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

Дайджест новостей A-Parser

Парсинг блока "Интересно узнать" из поисковой выдачи Яндекс

Новый пресет для получения данных из блока "Интересно узнать" поисковой выдачи Яндекса.




Парсер новостей с newsapi.org

Новый парсер в Каталоге для парсинга новостей с newsapi.org по ключевым словам через официальное API.




Подсказки amazon.com

Обновление парсера подсказок торговой площадки amazon.com.

* Обновлен url запроса
* Обновлена обработка результата




Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Дайджест новостей A-Parser

Парсер t-online
Парсер для сбора результатов выдачи и связанных ключевых слов из поисковой системы t-online.



Проверка категории сайтов через сервис cyren.com
Обновление парсера для проверки категории сайтов через сервис cyren.com
* Адаптация к изменениям на источнике



Парсер copart.com
Обновление парсера аукциона автомобилей copart.com
* Добавлена возможность парсить изображения



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки [img]styles/default/xenforo/clear.png[/img] ) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Дайджест новостей A-Parser

Парсим базу для GSA SER
Новая статья от нашего пользователя @Reset о сборе баз для GSA Search Engine Ranker.



A-Parser и CapMonster Cloud: Как быстро и эффективно решать капчи при парсинге
Статья об интеграции A-Parser и Capmonster Cloud.



Парсер prom.ua
Обновление парсера товарных позиций prom.ua
* Парсер переписан на API v2
* Исправлена ошибка TypeError: Cannot read properties of undefined (reading 'company')
* Исправлен проблема, что переменные $contactemail, $contactperson и $image всегда были none

Парсинг объявлений из olx.ua/olx.pl/olx.kz
Обновление парсера обьявлений из сайтов olx
* Добавлена возможность парсить olx.kz

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

1.2.2414 - новый парсер Reddit, улучшения встроенных парсеров, вебинар ZennoPoster + A-Parser




Улучшения
* Добавлен новый парсер Reddit::PostInfo
* В SE::Bing добавлена поддержка блока связанных ключевых слов справа
* В SE::YouTube::Video добавлена опция Login required is error
* Улучшена работа HTML::TextExtractor, некоторые текстовые блоки пропускались
* Улучшен поиск почт в HTML::EmailExtractor, не собирались почты у которых имя состоит из одного символа
* Обновлены заголовки запросов в Rank::MajesticSEO
* В Net::HTTP добавлена обработка бана IP при обходе CF
* В Net::HTTP добавлена опция Try use HTTP/1.1 for Protocol error, которая указывает парсеру повторить запрос с HTTP/1.1 если был включен HTTP/2 и получена ошибка протокола

Исправления в связи с изменениями в выдаче
* Исправлена работа с каптчей в SE::Google::Images
* Исправлен проход по пагинации в SE::Bing в некоторых случаях
* Исправлен парсинга subdomains в SecurityTrails::Domain, теперь требуется авторизация
* В Shop::Wildberries::ProductsList дополнительно исправлено получение $totalcount
* Адаптированы к изменениям на источниках: SE::DuckDuckGo, SE::Bing, SE::You, Shop::Yandex::Market

Исправления
* Исправлена ошибка при повторном разгадывании каптчи в Check::RosKomNadzor
* В Util::SMS убрано ошибочное сообщении о плохом конфиге
* В DeepL::Translator добавлен русский язык, ошибочно был удален в предыдущих версиях
* В SE::Yandex::WordCraft исправлены ошибки в логике работы и исправлена работа с каптчей
* В Shop::Wildberries::ProductsList исправлено заполнение $pages

Вебинар «Автоматизация SEO с помощью ZennoPoster: совместная работа с A-Parser»



Приглашаем вас на бесплатный вебинар, который проведет опытный пользователь ZennoPoster Astraport.
Когда: 3 октября в 19:00 по московскому времени
Спикер: Astraport

Этот вебинар предназначен для всех, кто хочет разобраться в актуальных тенденциях SEO, в каких задачах получения трафика на сайт поможет ZennoPoster.
Краткий план вебинара:
* Общие тенденции SEO.
* В каких задачах получения трафика на сайт поможет ZennoPoster:
- Парсинг ключей с сервисов и исходного текста с сайтов конкурентов с помощью А-parser.
- Генерация контента через нейросети (текст, картинки, видео).
- Постинг на сайты или создание HTML.
- Продвижение ссылочным и ведением своих соц. сетей.
* Вопросы и ответы.

Зарегистрируйтесь сейчас и присоединяйтесь к бесплатному вебинару, чтобы научиться работать с ZennoPoster совместно с A-Parser.

Дайджест новостей A-Parser

Генератор картинок BlinkShot

Парсер для сервиса BlinkShot, который генерирует изображений почти в реальном времени с минимальными задержками и без цензуры.




Парсер tgstat.ru

Парсер информации из tgstat.ru. Состоит из 2-х пресетов: парсер ссылок из категорий tgstat.ru и парсер информации со страниц каналов и чатов.




Парсер habr.com

Парсер постов на habr.com. Собирает информацию о постах по ключевым словам с проходом по пагинации и возможностью сортировки.




Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.