Видео урок: Работа с API, часть 2
Вторая часть из цикла уроков о работе с API A-Parser. В видео на реальных примерах показана работа с методами addTask, getTaskState, getTaskConf и getTaskResultsFile.



В этом уроке рассмотрены:
* методы API для постановки длительных задач, а также для просмотра информации о задании
* составление JSON для используемых API запросов
* функция Получить API запрос
* демонстрация работы с API, используя Postman[/LIST]
Документация по API: https://a-parser.com/wiki/user-api/

Также рекомендуем статью с несколькими интересными кейсами использования A-Parser от руководителя оптимизаторов в «Ашманов и партнёры» Никиты Тарасова: https://vc.ru/seo/61162-pravilno-sobrat-semanticheskoe-yadro-dlya-prodvizheniya-sayta

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Сборник рецептов #31: скидка -50% на XEvil, скриншоты страниц, подсказки Я.Маркета и правописание
31-й сборник рецептов. В нем будет показан способ создания скриншотов веб-страниц, парсинг подсказок Яндекс Маркета, а также проверка правописания в Google. Кроме этого, только до конца апреля доступна возможность купить XEvil со скидкой. Далее обо всем по порядку.

Скидка -50% на покупку XEvil для существующих и новых пользователей A-Parser
Для всех существующих и новых пользователей A-Parser действует скидка на покупку XEvil -50%!
XEvil - это простая, быстрая и удобная программа для полностью автоматического распознавания и обхода подавляющего числа капч и рекапч, без необходимости подключения каких-либо сторонних сервисов. Использование XEvil в связке с A-Parser позволяет значительно удешевить парсинг ресурсов, где необходимо разгадывать капчи/рекапчи, при этом практически не теряя в скорости.
Акция действует до конца апреля. Количество промокодов ограничено, поэтому не упустите возможность воспользоваться скидкой!
Для получения промокода на покупку XEvil пишите в тикеты.



JS::Chrome::ScreenshotsMaker
Возможность загружать страницы с полной обработкой всех скриптов, аналогично браузеру - это один из самых популярных фичреквестов для A-Parser. Поэтому буквально недавно была добавлена поддержка Node.js модуля puppeteer, с помощью которого теперь можно получать полностью отрендеренные страницы. И мы публикуем первый пример по работе с ним - парсер для создания скриншотов веб-страниц. Больше информации, пример работы и готовый парсер - все это доступно по ссылке выше.



Парсер подсказок Яндекс.Маркет
Еще один парсер подсказок, на этот раз из Яндекс Маркета. Собираются подсказки, их популярность (частота), тип, а также, опционально, категория (включая полный путь родительских категорий). Готовый парсер, как обычно, доступен в нашем Каталоге по ссылке выше.



Проверка правописания в Google
Данный парсер позволяет проверить ключевые слова через поиск Google на предмет опечаток и получить исправленные варианты. Готовый пресет доступен по ссылке выше.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Сборник рецептов #32: Yahoo Answers, контакты фрилансеров и оценка ключевых слов

32-й сборник рецептов, в котором подобраны 3 JS парсера для парсинга Yahoo Answers, оценки ключевых слов и сбора контактных данных фрилансеров.

Парсер Yahoo Answers
Полноценный парсер сервиса Yahoo Answers, который по ключевым словам позволяет собирать непосредственно вопросы, ответы, а также их категории, дату создания и ссылки на страницы обсуждений.



Парсинг контактов фрилансеров
Парсер, который ищет по ключевым словам фрилансеров и собирает их контакты. Данные собираются с сервиса fl.ru.



Анализ ключевых слов
Парсер для сервиса seranking.com. Кейворды оцениваются по 4-м показателям: частотность, стоимость клика (CPC), стоимость трафика и KEI. Также есть возможность собирать похожие, релевантные и подсказки к начальному запросу вместе с их показателями.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Видео урок: Получение уведомлений в Telegram об окончании срока регистрации доменов
В этом видеоуроке будет показано, как настроить периодическую проверку окончания срока регистрации доменов, и получать уведомления в телеграм, если он меньше заданного количества дней.

В уроке рассмотрено:
* использование tools.js для написания собственных функций
* работа с шаблонизатором Template Toolkit
* проверка доменов через WHOIS
* цепочки заданий
* отправка сообщений в Telegram с помощью бота
Полезные ссылки:
* https://a-parser.com/threads/4316/ - статья о создании бота и группы для получения уведомлений в Telegram
* https://a-parser.com/resources/304/ - видеоурок по созданию Телеграм канала на базе A-Parser
* https://a-parser.com/resources/287/ - готовые для импорта пресеты
* https://core.telegram.org/bots/api - документация по Telegram Bot API
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Сборник рецептов #33: парсинг Google карт, сбор вопросов из поиска, перевод текстов целиком
33-й сборник рецептов, в котором мы будем собирать данные из Google maps в указанной местности, спарсим блок вопросов и ответов в поиске Гугла и научимся использовать файлы целиком в качестве запросов. Поехали!

Сбор всех организаций в определенной местности
Начиная с версии 1.2.482 в A-Parser появились парсеры карт Google и Яндекс. Принцип работы обоих одинаков - в настройках указываются координаты точки и зум, парсер собирает результаты поиска по ключевым словам в этой точке и области вокруг нее, ограниченной зумом. Но если стоит задача собрать данные, например, со всего города, то для ее решения нужно указывать диапазон координат и "заставить" парсер пройтись по ним. Как это сделать, а также пример пресета - все это показано по ссылке выше.



Парсер собирающий вопросы и ответы из выдачи Google
Google по некоторым запросам показывает в поисковой выдаче блок вопросов и ответов People also ask (Похожие запросы). Наши пользователи периодически интересуются, как можно парсить этот блок, получая отдельно вопросы и ответы на них. Поэтому мы публикуем в нашем каталоге пример такого парсера, а забрать его можно по ссылке выше.



Использование файлов целиком в качестве запросов
Общеизвестно, что в А-Парсере каждая строка в исходном файле - это отдельный запрос. Но существуют задачи, когда необходимо использовать все содержимое файла как один запрос, игнорируя разбивку на строки. Благодаря JavaScript парсерам такая возможность есть и по ссылке выше опубликован пример парсера, который получает все содержимое файла, переводит его на заданный язык и сохраняет в новый файл.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

1.2.534 - 6 новых парсеров, поддержка Node.js в tools.js, множество исправлений в парсерах


Улучшения

* Добавлено 4 новых парсера Instagram
- Social::Instagram::Post - парсинг данных о постах, в т.ч. комментарии и пользователей, которые лайкнули пост
- [URL=https://a-parser.com/wiki/social-instagram-profile/]Social::Instagram::Profile - парсинг данных о профилях и списка постов
- Social::Instagram::Tag - парсинг постов по тегах
- Social::Instagram::Geo - парсинг постов в определенной локации

* Добавлено 2 новых парсера SerpStat
- Rank::SerpStat::Keyword - парсинг данных по ключевому слову
- Rank::SerpStat:: Domain - парсинг данных по доменам/ссылкам
* Добавлена поддержка дробных чисел в макросе подстановок {num}
* Добавлена поддержка Node.js в tools.js, теперь можно использовать возможности Node.js (включая модули) в обычных пресетах во всех полях кроме Parse custom results, фильтров и Конструкторов результатов
* Шаблоны Template Toolkit в настройках парсеров теперь работают для всех запросов
* Стабилизирована работа SE::Google::Modern после изменений со стороны Google, благодаря чему несколько уменьшилось количество рекаптч
* Улучшена проверка ответа в Maps::Yandex, улучшен сбор картинок, а также добавлена возможность собирать ссылки на страницу организации
* API: для oneRequest/bulkRequest добавлен параметр needData, указывающий, передавать ли в ответе data/pages, используется для экономии памяти, по умолчанию отключен
* Обновлены apps.json и user-agents.txt, при установке обновления также рекомендуется обновить эти файлы

Исправления в связи с изменениями в выдаче

* Исправлена ситуация, при которой в SE::Google::Modern выдавался 597 код ответа
* В SE::Yandex исправлена ситуация, при которой в результатах появлялись "пустые" ссылки, а также исправлен парсинг сниппетов в мобильной выдаче
* Исправлена редко встречающаяся проблема с SE::Google::Translate, когда парсер получал в ответ 403 статус
* Исправлено определение языка запроса в SE::Google::Translate
* Исправлена работа SE::YouTube, а также исправлен сбор $title
* В Rank::Social::Signal удалена переменная $linkedin_share в связи с прекращением поддержки со стороны LinkedIn
* В Shop::Yandex::Market исправлен парсинг $features для некоторых видов запросов
* Исправлен урл запроса в ]SE:: DuckDuckGo

Исправления

* Исправлен баг в
Rank::Bukvarix:: Domain, из-за которого в некоторых случая парсинг завершался с ошибкой
* В парсерах Maps::* исправлена работа с отрицательными координатами
* В
Rank::SEMrush исправлена ошибка определения "удачности" запроса
* Исправлен баг в tools.js, возникший после обновления V8
* API: исправлена работа метода getAccountsCount
* JS парсеры: исправлен баг со слэшем в check_content