Сборник рецептов #48: скорость загрузки сайтов, парсер SocialBlade и определение категорий сайтов

48-й сборник рецептов, в котором собраны пресеты для сбора данных о скорости загрузки сайтов, парсинга статистики из SocialBlade и определения категорий сайтов.

Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool
Пресет для сбора данных о скорости загрузки сайтов/страниц с возможностью выбрать платформу (Desktop/Mobile/All). С его помощью можно массово измерить скорость по большим спискам сайтов и сравнить их производительность.



Парсинг статистики с Social Blade
Парсер для сбора данных из сервиса socialblade.com. С его помощью по ключевому слову, имени, бренду можно найти пользователей по социальным платформам, собрать количества подписчиков и спарсить теги твича.



Проверка категории сайтов через сервис cyren.com
Парсер сервиса cyren.com. С его помощью можно определить категорию сайта, а также собрать Alexa rank и некоторые Whois данные.




Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

1.2.1353 - Обновление NodeJS, поддержка Windows 11 и Windows Server 2022




Улучшения
* NodeJS обновлен до версии 16.11.0
* Добавлена полная поддержка ОС Windows 11 и Windows Server 2022
* В SE::Google::Translate добавлена опция Device, которая позволяет переключаться между mobile и desktop версиями переводчика
* Улучшена работа с очень большими запросами в DeepL::Translator
* Улучшен алгоритм разделения запросов на части в SE::Yandex::Translate, теперь он максимально приближен к оригиналу
* В SE::Google::Cache добавлена переменная $link, содержащая ссылку из тулбара
* В Shop::Amazon добавлена возможность парсить ASIN товаров
* В Rank::MajesticSEO добавлена возможность собирать Incoming Languages и Site Languages

Исправления в связи с изменениями в выдаче
* Исправлен парсинг рекламы в SE::Google
* Исправлен парсинг $related в desktop выдаче SE::Yandex
* Исправлен парсинг сниппетов в desktop выдаче и парсинг mobile выдачи в целом в SE::Bing
* Исправлена работа парсеров Rank::Ahrefs и Rank::Ahrefs::KeywordDifficulty
* Rank::LinkPad удален из сборки в связи с закрытием доступа к данным
* Исправлен парсинг $totalcount в SE::Yahoo

Исправления
* Исправлена ошибка с символом $ в DeepL::Translator
* Исправлена работа прокси при использовании движка Chrome в Net::HTTP
* Исправлена проблема стабильности при использовании в некоторых случаях HTML::TextExtractor и HTML::TextExtractor::LangDetect
* Исправлена проблема из-за которой SE::Youtube иногда завершался с ошибкой
* Исправлен вывод исходников страниц в SE::Google::ByImage

Релиз 1.2.1403 и Курс по заработку на дропах и PBN используя A-Parser (+включает лицензию)




Команда A-Parser поздравляет всех с Новым годом 2022! ​

В преддверии наступающего года, хочется выразить благодарность за проявление доверительного отношения к нам и пожелать всем огромных успехов в новом году. Пусть этот год станет стартовой площадкой для новых взлётов, достижений, открытий, побед! Желаем Вам интересных, успешных новых проектов и надежных партнеров. Пусть осуществится все задуманное и запланированное! С Новым годом! ​

Релиз стабильной сборки А-Парсера - 1.2.1403 ​
Улучшения
[list]
- В парсеры позиций добавлена возможность искать позиции по части ссылки или по вхождению подстроки (Match type - By substring)
- В SE::Youtube добавлена возможность выбирать тип выдачи (Desktop/Mobile)
- Добавлен парсинг альтернативных переводов в DeepL::Translator
- Улучшен алгоритм авторизации по email:password в SE::Google::KeywordPlanner
- Реализована корректная обработка редиректа robots.txt в парсере Check::BackLink
- JS парсеры: в this.request добавлена опция follow_common_redirects, работает аналогично соответствующей настройке в Net::HTTP
- В связи с неактуальностью удалены следующие парсеры: SE::Bing::LangDetect, Rank::Linkpad, Rank::SEMrush. Также удален SE::Google::Modern, вместо него нужно использовать SE::Google

Исправления в связи с изменениями в выдаче
- Адаптация к изменениям в верстке Google и Yandex
- Исправлен парсинг мобильной верстки в SE::Bing
- Исправлен выбор дат в SE::Google::KeywordPlanner
- SE::Yandex::ByImage, SE::Yahoo, SE::Yandex::Translate, SecurityTrails::Domain, Shop::Yandex::Market

Исправления
- Исправлена работа авторизации в SE::Google::KeywordPlanner
- Исправлено использование прокси в Net::HTTP при Engine = Chrome
- Исправлена проблема в SE::Google::Translate, из-за которой не менялись прокси при переборе попыток
- В Net::HTTP исправлена ошибка, из-за которой не завершался поток, появилась в одной из предыдущих версий
- Исправлена работа функции Bypass CloudFlare на некоторых сайтах
- Исправлен режим работы -foreground

График работы поддержки на праздники: https://a-parser.com/threads/7214/







Курс по заработку на дропах и PBN используя A-Parser (+включает лицензию)




Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Старт - 17 января.

Что это за обучение?
Николай научит и покажет на реальных кейсах и примерах:
- какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится.
- как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло,
- как строить PBN, что с ними делать дальше и как на них зарабатывать.
- как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики.

Для кого это обучение?
1. Для владельцев агентств, которые хотят выходить на заказы для буржа и открывать отдел pbn. Для тех, кто хочет нанимать подрядчиков для построения pbn, понимать процесс и контролировать качество работы.
2. Для частных и работающих в найме seo-мастеров, которые хотят оказывать услугу по поиску дропов и построению сеток.
3. Для тех, кто ищет новые методы линкбилдинга.
4. Для тех, кто хочет освоить в новом году новую профессию. И стать специалистом в PBN.

Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
И на FB странице Николая - https://www.facebook.com/nkodiy/

1.2.1432 - многоядерная обработка заданий, парсеры Wildberries, оптимизация производительности




В версии 1.2.1432 добавлена долгожданная возможность обработки разных заданий на нескольких ядрах процессора, что многократно увеличивает производительность заданий, требовательных к CPU. Данная возможность доступна только для лицензии Enterprise, успейте сделать апгрейд до повышения цен

Улучшения
* Добавлены новые парсеры:
- Shop::Wildberries::ProductsList - парсер списка товаров Wildberries по ключу, бренду или категории
- Shop::Wildberries::ProductInfo - парсер данных о товаре на Wildberries
- Util::hCaptcha - парсер для разгадывания hCaptcha с помощью сервисов разгадывания
* Добавлена поддержка обработки заданий на разных ядрах процессора, данная возможность доступна только для лицензии Enterprise и многократно ускоряет обработку нескольких заданий в очереди
* Оптимизация скорости начальной загрузки и общей производительности JS парсеров, скорость загрузки A-Parser выросла на 30-50%
* В интерфейсе добавлен выбор версии API при создании парсеров
* Улучшена работа опции Detect charset on content
* В SE::Google обновлен список доменов
* В SE::Yandex::Direct обновлен список регионов
* В Check::BackLink добавлена возможность проверки ссылки без указания протокола в режиме поиска по подстроке

Исправления в связи с изменениями в выдаче
* Исправлена работа SE::Yandex
* Исправлено получение $commentscount в Shop::Amazon
* Исправлен сбор $number_sales в Shop::eBay
* Исправлена работа SE::Yandex::Direct
* Исправлена работа парсеров Bukvarix

Исправления
* Исправлена работа SE::Google с доменом google.com.bd
* Исправлен сбор ссылок в HTML::LinkExtractor в некоторых случаях
* Исправлен баг интерфейса, из-за которого в Планировщике была скрыта кнопка удаления заданий

Напоминаем, вы можете успеть купить A-Parser по старой цене. Новые тарифы вступят в силу 15 Февраля 2022

Сборник статей #15: разработка TypeScript парсеров и массовая индексация в Google

Представляем 15-й сборник статей, в который вошли статья о разработке TypeScript парсера для генерации картинок с помощью нейросети и статья об опыте массовой индексации страниц в Google.

Генерация картинок ruDALL-E. Мануал по созданию TS парсера
В прошлом сборнике рецептов мы опубликовали парсер для генерации картинок ruDALL-E. Сегодня же мы представляем вам развернутую статью, где подробно рассказано об общем подходе к написанию таких парсеров и описан процесс разработки.
Ознакомиться с функционалом данного парсера можно в обзорном видео от нашего партнера DIM STUDIO:




Как проиндексировать сайт в Google и повысить видимость
Статья на vc.ru о том, как за 10 дней было проиндексировано более чем 30 000 страниц сайта в Google.
Для массовой индексации в Google использовался скрипт на Python и Google Indexing API.
Для проверки индексации использовался A-Parser, в нашем Каталоге есть пример такого пресета: https://a-parser.com/resources/160/





Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

XEvil 5.0: лучший в мире софт для решения капч. СКИДКИ!

Рады представить вам разработку нашего партнёра:
XEvil 5.0 - известную во всём мире программу для решения большинства существующих капч, самую быструю и точную по сравнению с аналогами.

Программа полностью совместима с A-Parser, прекрасно справляется с капчами Yandex, Rambler, Google, BING и тысячами других.




[list][*]Решение свыше 12.000 типов капч, в том числе ReCaptcha v.2 и v.3, Yandex, Google, Microsoft (Bing), SolveMedia, BicoinFaucet, Gosuslugi и множества других.
Подготавливаемый к релизу XEvil 6.0 также будет поддерживать решение hCaptcha, ReCaptcha Enterprize и FunCaptcha.
[/LIST][list][*]никаких лимитов на число распознаваний и число потоков! можете решать хоть миллионы капч в день, это ничего не будет стоить - достаточно лишь один раз купить лицензию (она пожизненная)
[/LIST][list][*]гибкий API, совместимость с сотнями программ (A-Parser, GSA, XRumer, ZennoPoster, BAS, FaucetCollector, Key Collector и др.),
в комплекте также идет браузерный плагин XEvil Solver Plugin
[/LIST][list][*]оперативные доработки по пожеланиям клиентов, дообучение новым капчам
[/LIST][list][*]простой и понятный интерфейс, разберется даже школьник!
[/LIST]
Всем нашим клиентам мы предлагаем набор купонов,
дающих скидку 60% на покупку любой лицензии XRumer + XEvil:
при покупке лицензии Стандарт вы экономите более 7000 рублей (купоны действуют до 15-го июня):

APXEVIL-60-220616-ga5zoamjuon9jb5y
APXEVIL-60-220616-ga5zoamjuoy8kx4k
APXEVIL-60-220616-ga5zoamjuoun97t4

За дополнительными купонами вы можете обратиться в техническую поддержку A-Parser

Официальный сайт программы:
http://botmasterru.com/

Спасибо за внимание!