A-parser 1.1 - продвинутый парсер поисковых систем, suggest, pr, dmoz, whois, etc

Сборник статей #18: вывод в CSV, парсинг номеров телефонов, обзор Collect full region в Maps::Google

Представляем 18-й сборник статей, в который вошли статья о выводе результатов в CSV таблицы, статья об универсальном парсинге номеров телефонов и статья с обзором функции Collect full region парсера Google Maps.

Всё о выводе результатов в CSV (табличное представление результатов)
Табличное представление результатов - это очень популярный вид форматирования данных, собираемых А-Парсером. И чаще всего для этого используется именно формат CSV. В этой статье описаны все варианты и нюансы работы с CSV в контексте A-Parser. А также рассказано чем и как правильно обрабатывать CSV файлы.


Универсальный парсер телефонов
Как известно, номера телефонов проблематично парсить из-за отсутствия единого формата их записи. В этой статье мы поделимся одним из методов универсального парсинга номеров телефонов, а также заодно покажем как можно использовать npm модули без написания JS парсеров.


Детальный обзор Collect full region в Maps::Google
Детальное описание функции Collect full region в парсере Google Карт, варианты ее настройки, рекомендации для наибольшей производительности и сравнение скорости работы парсера на разных прокси.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 

1.2.2306 - новый парсер подсказок Google Trends, новые опции в существующих парсерах, исправления



Улучшения

• Добавлен новый парсер SE::Google::Trends::Suggest - сбор подсказок Google Trends
  
• Улучшена очистка ссылок в SE::Bing
• В парсер DeepL::Write добавлен выбор стиля и тональности, а также возможность использовать режим исправления
  
• В SE::Yandex добавлен вывод "пропущенных слов"
• В Rank::MajesticSEO добавлен параметр Additional headers for requests without Chrome, который позволяет задать заголовки для запросов без без браузера
• В SE::Yandex::WordStat::ByDate добавлена поддержка нового Wordstat 2
• В SE::Yandex::Register добавлена новая опция OnlineSIM domain которая дает возможность указать домен который будет использоваться в API запросах к OnlineSIM

Исправления в связи с изменениями в выдаче

• Rank::KeysSo - исправлена ошибка заполнения некоторых результатов
  
• Исправлен парсинг $owner_link и $owner_name в парсере Social::Instagram:: Post
• Исправлен парсинг $thumb в Social::Instagram:: Profile
  
• Исправлен парсинг $serp.$i.social в Maps::Yandex
  
• Исправлен парсинг комментариев в SE::YouTube::Video
• Парсер Rank::Ahrefs::KeywordGenerator адаптирован к изменениям на источнике
• SE::Yahoo, Shop::Wildberries:: ProductInfo, SE::Google::Images, Rank::MajesticSEO, SE:: Dogpile::Images, SE:: DuckDuckGo, Cloudflare::Radar

Исправления

• Исправлены падения парсера при использовании определенных запросов в HTML::EmailExtractor
• Исправлена работа повторных попыток для получения robots.txt в Check::BackLink
  
• Исправлен режим Bulk mode в парсерах SE::Google::KeywordPlanner::*

 

Видео урок: поиск Телеграм каналов через Google и их сортировка

2 новых видео урока по работе с A-Parser от DIM STUDIO в которых показан способ поиска Телеграм каналов через поиск в Google и сортировка собранных каналов.


View: https://youtu.be/3Czb5SuKztY



View: https://youtu.be/39ViWwp3ot8


Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Google Indexing API
Парсер для добавления или удаления страниц сайта в Google через Indexing API

• Исправлена ошибка "Cannot init Parser: Error: EISDIR: illegal operation on a directory, read at Object.readSync"
  
• Изменения в логике обработки запросов

JS::MailValidator
Проверка существования e-mail адресов

• Исправлена проверка Icloud

Парсинг istio.com
Анализ текстов на сервисе istio.com (тошнота, водность, словари, тематика, статистика...)

• Исправлено получение информации
• Добавлена возможность выбора способа получения текста со страниц: HTML::TextExtractor или HTML::ArticleExtractor
• Небольшая оптимизация кода

Парсер отзывов Wildberries Reviews
Сбор отзывов по товарам с wildberries.ru в csv таблицу

• Обновление в связи с изменениями на ресурсе

Проверка категории сайтов через сервис cyren.com
Проверка категории сайтов через сервис https://www.cyren.com/

• Адаптация к изменениям на источнике
• Вместо Util::ReCaptcha2 теперь Util::ReCaptcha3

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

Сборник рецептов #64: скачивание видео из Instagram, проверка e-mail и переводчик Libre Translate

64-й сборник рецептов, в котором представлены парсер для скачивания видео из Instagram, пресет для проверки e-mail в сервисе EmailRep и парсер переводчика Libre Translate.

Instagram Reels Downloader
Парсер для скачивания видео из Instagram. Работает на основе встроенного парсера Social::InstagramPost и в качестве запросов принимает ссылку на пост типа Video/Reel.


Проверка e-mail адресов в сервисе EmailRep
EmailRep - это система парсеров, сканеров и дополнительных сервисов, которая собирает данные об адресах электронной почты, доменах и интернет-персонах. Сервис использует сотни точек данных из профилей социальных сетей, профессиональных сетевых сайтов, утечек учетных данных в Darknet, утечек данных, наборов для фишинга, фишинговых писем, списков спама, открытых почтовых ретрансляторов, спам-ловушек, возраста и репутации домена, доставляемости и многого другого для оценки адреса электронной почты.


Парсер переводчика Libre Translate
Бесплатный API машинного перевода с открытым исходным кодом. В отличие от других API, он не полагается на проприетарных поставщиков, таких как Google или Azure. Вместо этого его механизм перевода основан на библиотеке Argos Translate с открытым исходным кодом.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

1.2.2347 - 2 новых парсера WordCraft и Instagram Search, поддержка puzzle каптчи в Яндексе



Улучшения

• Добавлены новые парсеры:
  • SE::Yandex::WordCraft - это часть сервиса Яндекс Вебмастер, с помощью которого вы можете подобрать целевые запросы для продвижения и рекламы, учитывая популярность и конкурентную среду
  • Social::Instagram::Search - поиск профилей, тегов, локаций по ключевым словам в Instagram
• Изменения в SE::Yandex:
  • добавлена поддержка новой puzzle каптчи, подробнее здесь и здесь
  • реализована возможность парсить через браузер, подробнее здесь
• В Social::Instagram:ost добавлен сбор ссылок на видео
• В Maps::Yandex добавлен вывод статуса закрытия организации
• В Check::RosKomNadzor добавлена поддержка реестра nap.rkn.gov.ru

Исправления в связи с изменениями в выдаче

• Исправлено получение картинки каптчи в Check::RosKomNadzor, а также в целом исправлена его работа
• Исправлена ошибка SC parameter was found в SE::Startpage
• Исправлена работа SE::Yandex::Video
• Исправлена ошибка определения регистрации доменов .au в Net::Whois
• Shop::Yandex::Market, SE::Google::Images, SEDuckDuckGo

Исправления

• Исправлено авторазгадывание в Util::Turnstile

 

Сборник статей #19: проверка наличия контента на странице и уведомления в Telegram

Представляем 19-й сборник статей, в котором содержатся две статьи от нашего пользователя @Reset: определение наличия контента на странице с выводом в таблицу и уведомление о выполненном задании в Telegram.

Как определить наличие контента в теле страницы и вывести в таблицу
В качестве примера рассмотрено определение наличия некоторых модулей на сайтах Wordpress и его легко можно адаптировать под аналогичные задачи.


Уведомление об выполненном задании в Telegram
Ранее мы уже публиковали способ получения уведомлений о завершении работы задания через Цепочку заданий. А в этой статье показано как это можно сделать через PHP скрипт.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 

Дайджест новостей A-Parser + акция на Premium прокси

Парсим базу для XRumer: медленно, но верно
Новая статья от нашего пользователя @Reset о сборе базы форумов для Хрумер.


Парсер всех видео с Youtube канала
Новый парсер в Каталоге, позволяющий собирать списки видео (с их характеристиками) из Youtube каналов.


Анализ скорости загрузки и юзабилити сайтов
Обновление парсера для измерения скорости загрузки страниц с помощью сервиса PageSpeed Insights.


Акция на Premium прокси
Только до конца июля 20% скидка на все пакеты премиум прокси от 20 до 500 гигабайт

• Proxies Premium 20 Gb / 1 week - $34 $27.20
• Proxies Premium 50 Gb / 1 week - $75 $60
• Proxies Premium 100 Gb / 1 week - $140 $112
• Proxies Premium 200 Gb / 1 week - $260 $208
• Proxies Premium 500 Gb / 1 week - $600 $480
• Proxies Premium 50 Gb / 1 month - $95 $76
• Proxies Premium 100 Gb / 1 month - $170 $136
• Proxies Premium 300 Gb / 1 month - $450 $360
• Proxies Premium 500 Gb / 1 month - $650 $520

Premium прокси - это возможность быстрого парсинга без бана IP и каптч, с возможностью выбора гео из любой точки мира!

Для оплаты используйте промокод PREMIUM-PROXY-JULY-20%-OFF в Личном кабинете на a-parser.com


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Дайджест новостей A-Parser

Парсинг блока Интересно узнать из поисковой выдачи Яндекс
Новый пресет для получения данных из блока Интересно узнать поисковой выдачи Яндекса.


Парсер новостей с newsapi.org
Новый парсер в Каталоге для парсинга новостей с newsapi.org по ключевым словам через официальное API.


Подсказки amazon.com
Обновление парсера подсказок торговой площадки amazon.com.

• Обновлен url запроса
• Обновлена обработка результата

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Видео урок: парсер новостей с newsapi.org

Новое видео по работе с A-Parser от DIM STUDIO в котором показан обзор парсера новостей с newsapi.org.


View: https://youtu.be/06MW0R1AFKU?si=ZinYZGjzGiG9C1C8


Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

Дайджест новостей A-Parser

Парсер t-online
Парсер для сбора результатов выдачи и связанных ключевых слов из поисковой системы t-online.


Проверка категории сайтов через сервис cyren.com
Обновление парсера для проверки категории сайтов через сервис cyren.com

• Адаптация к изменениям на источнике

Парсер copart.com
Обновление парсера аукциона автомобилей copart.com

• Добавлена возможность парсить изображения

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

1.2.2396 - новый парсер Util::SMS, улучшения во встроенных парсерах + акция на Premium прокси

Улучшения

• Добавлен новый парсер Util::SMS - парсер для получения кодов из смс
• В Util::AntiGate добавлена возможность остановки всего задания при получении сообщения о низком балансе на сервисе разгадывания каптч
• В HTML::EmailExtractor добавлен параметр Search URL encoded e-mails
• В парсерах OpenAI::* добавлена опция API domain, которая позволяет задать свой домен для API запросов
• В Shop::Amazon добавлен сбор количества продаж
• В Maps::Google добавлен сбор booking link (данные о сервисе записи)
• В HTML::ArticleExtractor теперь доступно больше переменных, они полностью наследуются из Net::HTTP
• Обновлен список яыков в DeepL::Translator
• Обновлен список моделей в OpenAI::ChatGPT
• Добавлен инструмент tools.task.stop(), который позволяет останавливать выполнение задания в любой момент
• CapSolver для каптч Turnstile теперь не требует передачи прокси
• Добавлена поддержка сервиса botlab.me в Util::AntiGate

Исправления в связи с изменениями в выдаче

• Изменения в SE::Yandex::Register, подробнее тут
• В парсерах SE::Google::KeywordPlanner::* исправлена авторизация по логин-паролю
• Исправлена работа Rank::MOZ
• Исправлена работа Util::Turnstile в режиме Auto
• В Shop::Wildberries:roductInfo исправлена работа с некоторыми видами запросов
• Исправлен парсинг People also ask и Related keywords в SE::Google
• Частично исправлено получение количества товаров в Shop::Wildberries:roductsList

Исправления

• Исправлен обход защиты Cloudflare
• Исправлено произвольное зависание в Maps::Yandex
• В Shop::Wildberries:roductInfo переменная $data теперь корректно заполняется
• В SE::Yandex::WordCraft переименован результат $query в массивах $uqa и $uqg
• Исправлен баг из-за которого в Общем формате результатов не происходил сброс результатов при нажатии кнопки сброса
• Исправлена работа с прокси в связке Util::SMS + SE::Yandex::Register

Акция на Premium прокси
20% скидка на все пакеты премиум прокси от 20 до 500 гигабайт

• Proxies Premium 20 Gb / 1 week -$34 $27.20
• Proxies Premium 50 Gb / 1 week - $75 $60
• Proxies Premium 100 Gb / 1 week - $140 $112
• Proxies Premium 200 Gb / 1 week - $260 $208
• Proxies Premium 500 Gb / 1 week - $600 $480
• Proxies Premium 50 Gb / 1 month - $95 $76
• Proxies Premium 100 Gb / 1 month - $170 $136
• Proxies Premium 300 Gb / 1 month -$450 $360
• Proxies Premium 500 Gb / 1 month - $650 $520

Premium прокси - это возможность быстрого парсинга без бана IP и каптч, с возможностью выбора гео из любой точки мира!
Для оплаты используйте промокод PREMIUM-PROXY-20%-OFF в Личном кабинете на a-parser.com

 

Дайджест новостей A-Parser
Парсим базу для GSA SER
Новая статья от нашего пользователя @Reset о сборе баз для GSA Search Engine Ranker.

A-Parser и CapMonster Cloud: Как быстро и эффективно решать капчи при парсинге
Статья об интеграции A-Parser и Capmonster Cloud.

Парсер prom.ua
Обновление парсера товарных позиций prom.ua

• Парсер переписан на API v2
• Исправлена ошибка TypeError: Cannot read properties of undefined (reading 'company')
• Исправлен проблема, что переменные $contactemail, $contactperson и $image всегда были none

Парсинг объявлений из olx.ua/olx.pl/olx.kz
Обновление парсера обьявлений из сайтов olx

• Добавлена возможность парсить olx.kz

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Дайджест новостей A-Parser
Sensor Tower
Новый парсер в Каталоге для сбора данных о мобильных приложениях из сервиса Sensor Tower

Парсер Aliexpress товаров
Обновление парсера, позволяющего получить информацию о товаре на aliexpress

• Адаптация к изменениям на источнике
• $delivery теперь нету
• Теперь работает только с доменом https://aliexpress.ru

Анализ скорости загрузки и юзабилити сайтов
Обновление парсера для измерения скорости загрузки страниц и получения скриншотов сайтов

• Исправлен парсинг результатов $mobile_speed и $desktop_speed
• Добавлен парсинг новых результатов (Производительность) $mobile_performance и $desktop_performance

Pananames - доступность, цена домена
Обновление парсера, позволяющего проверить доступен ли домен и его цену

• Обновление в связи с усилением защиты на сервисе

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

1.2.2414 - новый парсер Reddit, улучшения встроенных парсеров, вебинар ZennoPoster + A-Parser

Улучшения

• Добавлен новый парсер Reddit:ostInfo
• В SE::Bing добавлена поддержка блока связанных ключевых слов справа
• В SE::YouTube::Video добавлена опция Login required is error
• Улучшена работа HTML::TextExtractor, некоторые текстовые блоки пропускались
• Улучшен поиск почт в HTML::EmailExtractor, не собирались почты у которых имя состоит из одного символа
• Обновлены заголовки запросов в Rank::MajesticSEO
• В Net::HTTP добавлена обработка бана IP при обходе CF
• В Net::HTTP добавлена опция Try use HTTP/1.1 for Protocol error, которая указывает парсеру повторить запрос с HTTP/1.1 если был включен HTTP/2 и получена ошибка протокола

Исправления в связи с изменениями в выдаче

• Исправлена работа с каптчей в SE::Google::Images
• Исправлен проход по пагинации в SE::Bing в некоторых случаях
• Исправлен парсинга subdomains в SecurityTrails:omain, теперь требуется авторизация
• В Shop::Wildberries:roductsList дополнительно исправлено получение $totalcount
• Адаптированы к изменениям на источниках: SE:uckDuckGo, SE::Bing, SE::You, Shop::Yandex::Market

Исправления

• Исправлена ошибка при повторном разгадывании каптчи в Check::RosKomNadzor
• В Util::SMS убрано ошибочное сообщении о плохом конфиге
• В DeepL::Translator добавлен русский язык, ошибочно был удален в предыдущих версиях
• В SE::Yandex::WordCraft исправлены ошибки в логике работы и исправлена работа с каптчей
• В Shop::Wildberries:roductsList исправлено заполнение $pages

Вебинар «Автоматизация SEO с помощью ZennoPoster: совместная работа с A-Parser»

Приглашаем вас на бесплатный вебинар, который проведет опытный пользователь ZennoPoster Astraport.
Когда: 3 октября в 19:00 по московскому времени
Спикер: Astraport
Этот вебинар предназначен для всех, кто хочет разобраться в актуальных тенденциях SEO, в каких задачах получения трафика на сайт поможет ZennoPoster.
Краткий план вебинара:

• Общие тенденции SEO.
• В каких задачах получения трафика на сайт поможет ZennoPoster:
  • Парсинг ключей с сервисов и исходного текста с сайтов конкурентов с помощью А-parser.
  • Генерация контента через нейросети (текст, картинки, видео).
  • Постинг на сайты или создание HTML.
  • Продвижение ссылочным и ведением своих соц. сетей.
• Вопросы и ответы.

Зарегистрируйтесь сейчас и присоединяйтесь к бесплатному вебинару, чтобы научиться работать с ZennoPoster совместно с A-Parser.

 

Дайджест новостей A-Parser
Norton SafeWeb
Новый парсер в Каталоге примеров, позволяет проверять насколько безопасны сайты для посещения по данным компании Norton.

Google Finance
Еще одна новинка в Каталоге примеров: парсер для поиска акций, биржевых фондов и других активов через сервис Google Finance.

Парсер vseinstrumenti.ru
И еще один новый парсер в Каталоге - парсер для сбора данных о товарах на сайте vseinstrumenti.ru.

Обновление ранее опубликованных примеров

• Парсер prom.ua: адаптация к изменениям на ресурсе
• Сбор ссылок с GET параметрами: актуализация пресета, SE::Google::Modern заменен на SE::Google

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Дайджест новостей A-Parser

Генератор картинок BlinkShot
Парсер для сервиса BlinkShot, который генерирует изображений почти в реальном времени с минимальными задержками и без цензуры.


Парсер tgstat.ru
Парсер информации из tgstat.ru. Состоит из 2-х пресетов: парсер ссылок из категорий tgstat.ru и парсер информации со страниц каналов и чатов.


Парсер habr.com
Парсер постов на habr.com. Собирает информацию о постах по ключевым словам с проходом по пагинации и возможностью сортировки.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Дайджест новостей A-Parser

Sucuri sitecheck
Парсер для проверки безопасности сайта через сервис Sucuri. В качестве запросов принимает домены, а в результат по-умолчанию выводит рейтинг, список черных списков, в которых числится домен, информацию о сертификате, список IP, CDN и конечный URL редиректа.


Разбивка результата по времени
Пример шаблона для Формата имени файла результата, который создает новый файл результата каждые N секунд.


Парсер prom.ua
Обновление парсера для парсинга товарных позиций prom.ua. Исправлены следующие ошибки:

• Когда парсер находит 0 товаров, он идет на новую попытку
• Когда доходит до последней страницы, парсинг останавливается

Генератор картинок BlinkShot
Обновление парсера для сервиса blinshot.io. Реализованы следующие изменения:

• Добавлен Consistency mode
• API запрос адаптирован к изменениям

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Видео урок: разбивка результата по времени и числу строк

Новые видео по работе с A-Parser от DIM STUDIO:

В первом видео показано, как использовать A-Parser для разбивки результата по времени. Готовый пресет доступен здесь.


View: https://youtu.be/wzic_RQvDfk


Второе видео демонстрирует метод разбивки результата по числу строк. Готовый пресет доступен здесь.


View: https://youtu.be/hOHoCidLPkE


Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

1.2.2502 - множество багфиксов, добавлена поддержка нового сервиса разгадывания каптч

Улучшения

• В парсерах Rank::Ahrefs::* добавлен параметр Additional headers, с его помощью можно добавлять заголовки к запросу
• Добавлена поддержка сервиса NextCaptcha в парсеры Util::* Сервис поддерживает работу с hCaptcha, ReCaptcha2 и ReCaptcha3
• В Rank::CMS теперь по-умолчанию RegExp engine = RE2
• В Rank::Ahrefs добавлена обработка доменов, по которым нету информации

Исправления в связи с изменениями в выдаче

• Shop::Amazon некорректно выводил количество продаж
• Исправлена ошибка App ID not found в Social::Instagram::Tag
• В SE::Google исправлен парсинг при Serp type = News, а также в целом парсер адаптирован к изменениям в выдаче
• Исправлена работа SE::Startpage
• Исправлена работа SecurityTrails:omain с опцией Mode = DNS Records
• В Shop::Yandex::Market исправлен проход по пагинации и парсинг наименований товаров
• В SE::Google::Images исправлены проход по пагинации и ошибка при парсинге с выбором размера

Исправления

• В парсерах SE::Google::KeywordPlanner::* исправлена авторизация в некоторых случаях
• Исправлена логика выбора прокси после подзапросов к парсерам (например, при обращении к парсеру каптч из основного парсера)
• Исправлена ошибка при работе с капчей в SE::Yandex, которая появилась из-за изменений в API одного из используемых в Util::AntiGate модулей
• Исправлена загрузка больших списков прокси
• Исправлена работа опции Collect full region в Maps::Google
• Исправлена работа Rank::CMS в некоторых случаях