1.2.1604 - парсинг Google People also ask, новые методы в JS парсерах, адаптация к изменениям




Улучшения
* В SE::Google добавлен парсинг People also ask
* В Rank::Ahrefs добавлен новый метод парсинга, данные, получаемые старым способом немного отличались от таковых в браузере
* Реализована защита от gzip bomb
* В SE::Yandex::Register улучшена работа с номерами и оптимизирован процесс регистрации
* Улучшена работа с сессиями в SE::Yandex::WordStat
* Для парсеров Яндекс добавлена возможность использовать аккаунты на своих доменах
* Во всех парсерах Яндекса работа со smart captcha адаптирована к изменениям на источниках
* JS парсеры: добавлен метод this.puppeteer.logScreenshot(), он позволяет логировать скриншот текущей страницы
* JS парсеры: добавлены методы this.isContextAlive(), this.console.log, this.console.setPrefix и .setGlobalConsolePrefix, подробнее здесь и здесь
* В SE::Yandex::WordStat::ByDate добавлена корректная обработка ситуаций, когда по запросу нет результатов
* HTML::TextExtractor - оптимизирована скорость обработки

Исправления в связи с изменениями в выдаче
* Адаптация к изменениям в верстке Google и Яндекс
* SE::Yandex::Register адаптирован к изменениям на источнике
* Исправлена авторизация по логин/паролю в SE::Google::KeywordPlanner
* SE::Google::SafeBrowsing, Telegram::GroupScraper, SE::Baidu, Rank::MajesticSEO, Shop::Wildberries::Suggest, Social::Instagram::Tag, Social::Instagram::Profile

Исправления
* Исправлена проблема с зависанием HTML::TextExtractor::LangDetect на некоторых запросах
* Исправлена работа методов tools.task.* в JS API v2
* Исправлена ошибка кодировки в Net::HTTP
* Исправлена работа с прокси в Puppeteer, проблема появилась в одной из предыдущих версий
* Исправлена ошибка со сбором title в Shop::Wildberries::ProductInfo в некоторых случаях
* В Shop::Wildberries::ProductsList исправлен парсинг тегов
* Исправлена работа SE::Bing::Translator в некоторых случаях
* Исправлена некорректная инициализация Node на лицензии Enterprise
* В SE::Bing - исправлена ошибка с выводом $pages

Автоматизация в SEO: как заменить отдел джунов парсером?

Совсем недавно прошла юбилейная десятая онлайн-конференция по интернет-маркетингу Baltic Digital Days. Специалист по SEO Георгий Шилов выступил с докладом на тему "Автоматизация в SEO: как заменить отдел джунов парсером?"

В докладе содержится много полезной информации по использованию A-Parser. Вы узнаете:
- Что такое парсер
- Сколько стоит джун в SEO
- Проблемы в SEO
- Автоматизация рутинных задач
- Кластеризация
- Мониторинг позиций
- Комбинируем пресеты для решения любых задач
- Тех. анализ и мониторинг

и другие решения с помощью A-Parser

Смотреть видео на YouTube

Курс "Специалист по дропам и PBN с нуля до профи" используя A-Parser (+включает лицензию)




Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Старт - 26 сентября.

Что это за обучение?
Практический курс, после которого вы научитесь и узнаете:

— какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится
— как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло
— как строить PBN, что с ними делать дальше и как на них зарабатывать
— как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики

Для кого это обучение?
— Для seo-мастеров, которые хотят продвигать сложные ниши в различных гео. Для тех, кто ищет новые методы линкбилдинга. Для тех, кто хочет в текущей компании повысить компетенции и доход
— Для тех, кто хочет освоить в новом году новую профессию. И стать специалистом в PBN

Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
И на FB странице Николая - https://www.facebook.com/nkodiy/posts/5305252276258938

Сборник статей #16: вывод результатов в JSON, синхронизации файлов и SEO кейс продвижения сайта

Представляем 16-й сборник статей, в который вошли статья о вариантах вывода результатов в JSON виде, статья о синхронизации А-Парсеров на разных ПК с помощью Google Диск и SEO кейс продвижения сайта с выходом на иностранный рынок.

Обзор вариантов вывода результатов в JSON виде
Полный обзор всех возможных способов вывода результатов в JSON виде с примерами: вывод в JSON для одиночных запросов, формирование JSON построчно, формирование объекта в памяти и вывод результатов в JSON в конце работы задания.




Синхронизация А-Парсеров на разных ПК с помощью Google Диск (Google Drive)
В этой статье описывается как синхронизировать файлы А-Парсера, конфиги, все настройки которые вы сделали на одном ПК, с другим ПК.
В качестве инструмента будет использоваться простой и бесплатный Google Диск (Google Drive) с помощью которого вы можете хранить и передавать коллегам файлы и папки, а также работать над ними вместе с другими пользователями на компьютере или мобильном устройстве.




Как мы потратили 1 млн рублей для выхода на иностранный рынок SEO: кейс с расходами и результатами
Статья на vc.ru о том, как мы за 3 месяца вывели сайт с нуля в топ по Южной Африке. Делимся готовой пошаговой схемой быстрого вывода сайта на иностранный рынок, с данными по нагрузке сотрудников, расходами, таблицами и примерами ТЗ.
Для массовой проверки выдачи Google использовался Python и парсер A-Parser.
Кейсы по применению нашего парсера Google и его описание:
https://a-parser.com/docs/parsers/se-google





Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

1.2.1683 - новый парсер Cloudflare::Radar, поддержка сервиса CaptchaAI, исправления ошибок




Улучшения
* Добавлен новый парсер Cloudflare::Radar, определяет категории доменов
* В парсеры Util::ReCaptcha2, Util::ReCaptcha3, Util::hCaptcha добавлена поддержка сервиса CaptchaAI
* В Rank::Ahrefs добавлен сбор рейтинга страницы (URL rating)
* Обновлен список языков в DeepL::Translator

Исправления в связи с изменениями в выдаче
* Адаптация к изменениям в верстке Google и Яндекс
* Исправлен сбор totalcount в SE::Yandex для некоторых запросов
* Исправлен выбор региона в SE::Yandex::Direct
* Исправлена работа Rank::Ahrefs::KeywordGenerator c Country - United Kingdom
* В Shop::Yandex::Market по некоторым запросам не было результатов
* SE::Google::Images, Rank::Ahrefs::KeywordGenerator, Shop::Yandex::Market

Исправления
* Исправлено лишнее использование сессии на последней попытке в SE::Google
* Исправлен парсинг поисковой выдачи Яндекс, когда в выдаче только 1 результат
* Исправлена ошибка в Telegram::GroupScraper, из-за которой парсились не все имена и ссылки на логины
* Исправлен баг в SE::Yandex::Position, из-за которого ошибочно осуществлялся поиск по запросу вместе с искомым доменом
* Исправлена проблема в Check::RosKomNadzor, из-за которой при массовом парсинге иногда не менялась прокси
* В HTML::LinkExtractor исправлен сбор внутренних ссылок после редиректа
* Puppeteer: улучшена работа с сайтами, запрашивающими доступ в модальном диалоге

Видео урок: Сбор форм комментариев с помощью A-Parser

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан сбор форм комментариев.



Данный видео урок показывает, как собрать сайты, где можно оставить свой комментарий в форму комментирования статей.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!