Сборник статей #11: анализ содержимого картинок, добавление ссылок в индекс Google и поиск RSS лент

11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

Фильтрация картинок по их содержимому

В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.




Инструкция по использованию Google Indexing API

В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.




Поиск и сбор rss лент

В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.




Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

Парсинг booking.com с помощью A-Parser

В этом видео уроке рассмотрен парсинг ресурса booking.com, получение результатов поиска квартир и отелей на сайте. Подробную информацию о них будем получать при помощи парсера
Net::HTTP





В видео рассмотрено

* Пользование разделом тестового парсинга
* Переход по страницам пагинации
* Проверка наличия определенного контента на странице сайта
* Использование регулярных выражений
* Применение конструктора результатов (декодирование HTML сущностей)
* Применение шаблонизатора Template Toolkit в формате результата:
* Использование инструмента $tools.CSVline
* Циклическая обработка директивой FOREACH
* Виртуальный метод .match
* Фильтры: .remove, .collapse, .replace

Полезные ссылки

* Net::HTTP - https://a-parser.com/wiki/net-http/
* Тестовый парсинг - https://a-parser.com/wiki/test-parsing/
* Template Toolkit - https://a-parser.com/wiki/template-toolkit/
* tools.CSVline - https://a-parser.com/wiki/template-tools/#tools-csvline-простое-создание-csv-файлов
* Готовый пресет: https://a-parser.com/resources/383/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Видео урок: Именование файлов результатов

Мы начинаем публикацию серии коротких видеоуроков, каждый из которых будет посвящен какому-то одному функционалу.
И в этом уроке будут рассмотрены варианты формирования имени файла результата.




В видео рассмотрено:

* Нумерация файла результата в соответствии с запросами
* Нумерация файла результата + часть имени запроса
* Именование файла результата по запросу, если запрос линк

Полезные ссылки:

* Формат результата - https://a-parser.com/wiki/tips-v1-1-0/#Формат-результата
* Шаблонизатор Template Toolkit - https://a-parser.com/wiki/template-toolkit/
* Метод replace - http://template-toolkit.ru/Manual/VMethods.html

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Сборник рецептов #40: посещаемость организаций, SSL сертификаты, ikea и анализ доменов

Представляем вашему вниманию 40-й сборник рецептов, в который вошли:

* парсер данных о посещаемости организаций
* парсер данных о SSL сертификатах
* парсер товаров на ikea.com
* комплексный пресет для анализа доменов по ряду характеристик
* способ извлечения доменов из ссылок без фактического захода на страницу


Посещаемость в Google Maps

В поисковой выдаче Google для определенных запросов отображается расширенный сниппет с информацией об организации из Google карт. В частности, обычно отображается информация о посещаемости в разрезе дней недели.
Представляем парсер, который собирает данные о посещаемости.




Данные по SSL сертификату

Данный парсер собирает информацию о SSL сертификате сайта. В качестве источника данных используется сторонний ресурс.




Парсер ikea.com

Парсер данных из ikea.com, который позволяет собирать различную информацию о товарах. Согласно данным из Википедии, ikea - это одна из крупнейших в мире торговых сетей по продаже мебели и товаров для дома.




Кроме этого:

* Получение доменов из ссылок без захода на страницу
* Информация о сайте (домене)


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Разработчикам A-Parser огромный респект! Пользуюсь сервисом уже несколько месяцев, заменяет мне кучу других сервисов, которыми я раньше пользовался. Снимаю позиции по сайтам, качаю вордстат в больших объёмах и паршу магазины! И всё это в одном сервисе! Очень доволен.

1.2.912 - обновление NodeJS, повышение производительности, адаптация к изменениям в рекаптчах




Мы завершили переход на NodeJS в качестве основного движка для парсеров и представляем новую стабильную версию 1.2.912 с поддержкой NodeJS 14.2.0. Данное обновление сочетает в себе множество улучшений, включая повышение производительности, уменьшение потребления памяти, полностью новый сетевой стек, а также поддержку нативных NodeJS модулей, позволяющую использовать всю мощь каталога npmjs в A-Parser'е

Также в данное обновление включены изменения по работе с ReCaptcha2 в парсере Google, наша команда одна из первых нашла решение по обходу новой версии рекаптчи и протестировала его совместно с сервисом RuCaptcha, за что им отдельный респект. На данный момент корректный обход каптчи протестирован с RuCaptcha, Anti-Captcha, XEvil и CapMonster.

Помимо этого было произведено множество оптимизаций в ядре A-Parser'а, значительно увеличилась производительность при использовании большого числа заданий или больших списков прокси. Парсер Rank::CMS был полностью переписан и стабилизирован, добавлена поддержка нового формата apps.json и поддержка пользовательских правил.

Улучшения
* NodeJS обновлен до v14.2.0, v8 до 8.1
* Добавлена поддержка параметра data-s в рекаптчах для SE::Google, также добавлена опция ReCaptcha2 pass proxy
* Увеличен лимит потоков до 10000 для OS Windows
* Значительно улучшена производительность при большом числе активных прокси и/или заданий, полностью переписан стек по работе с прокси, оптимизирована работа с большими списками
* Добавлен новый парсер Rank::KeysSo
* Полностью переписаны на JS SE::Yahoo::Suggest, Rank::Alexa::API и Rank::Archive
* Улучшена производительность при использовании регулярных выражений, а также улучшена совместимость
* В SE::Google::KeywordPlanner добавлено автоматическое получение токена
* В SE::Bing добавлена возможность парсить ссылки на кэшированные страницы, а также добавлена возможность парсить мобильную выдачу
* В парсере Util::ReCaptcha2 при выборе провайдера Capmonster или Xevil теперь необязательно указывать Provider url
* В SE::Google::Trends добавлена возможность указывать произвольный диапазон дат
* В Rank::CMS добавлен выбор движка регулярок и поддержка собственного файла с признаками
* В SE::Yandex::ByImage добавлена опция Don't scrape if no other sizes, которая позволяет отключить сбор результатов, если искомой картинки нет в других размерах
* [NodeJS] Добавлена защита от бесконечных циклов и долгих регулярок
* [NodeJS] Исправлена работа this.cookies.getAll()
* [JS парсеры] Добавлена опция follow_meta_refresh для this.request
* [JS парсеры] Добавлена опция bypass_cloudflare для this.request
* [JS парсеры] Underscore заменен на Lodash
* [JS парсеры] В логе добавлена пометка при вызове других парсеров
* [JS парсеры] Использование предыдущего прокси после запроса к другому парсеру
* [JS парсеры] Добавлен метод destroy()
Исправления в связи с изменениями в выдаче
* Множество исправлений в SE::Google
* Исправлен SE::Youtube, в т.ч. парсинг по тегам
* Исправлен сбор ссылок в Shop::eBay
* Исправлен парсинг телефонов в Maps::Google
* Исправлена работа с каптчами в SE::Yandex::ByImage
* В Rank::Social::Signal удалена переменная $facebook_comment в связи с неактуальностью
* SE::Startpage, Rank::Linkpad, Social::Instagram::post, SE::Yandex::Translate
Исправления
* Исправлен баг, из-за которого игнорировался выбранный проксичекер
* Исправлена работа функций Decode HTML entities и Extract domain в Конструкторе результатов
* Исправлена проблема с определением кодировки
* Исправлена ошибка использования $tools.query
* Исправлен баг в Rank::MajesticSEO при котором использовались все попытки при отсутствии результатов
* Исправлена работа http2
* Исправлена ошибка, когда парсер падает из-за невозможности писать в alive.txt
* Исправлено разгадывание каптч в SE::Yandex::Register и Check::RosKomNadzor
* Исправлена разница в запросах, отправляемых через Net::HTTP и JS
* Исправлен баг в SE::Yahoo
* Исправлены ошибки в Rank::CMS при выборе приложения без категории
* [NodeJS] Исправлен подсчет времени исполнения кода парсера
* [JS парсеры] При пустом body не передавался заголовок content-length при post запросе
* [JS парсеры] Исправлена работа CloudFlare bypass
* [JS парсеры] Исправлена работа с сессиями
* [JS парсеры] Исправлена работа с overrides для this.parser.request
* [JS парсеры] Исправлена ошибка определения кодировки в JS парсерах