A-parser 1.1 - продвинутый парсер поисковых систем, suggest, pr, dmoz, whois, etc

Кейсы с использованием A-Parser от Ant-Team.ru

Представляем вашему вниманию несколько кейсов от Ant-Team.ru в которых был использован A-Parser.

Что влияет на позиции сайта в Google? Кейс по работе с PBN: растем в 3 раза по трафику и на 345% по позициям



Статья посвящена опыту продвижения сайта в поисковой системе Google работая с PBN (Private Blog Network). В статье представлена детальная инструкция, рассмотрены трудозатраты и показаны скриншоты по позициям и трафику. Также пошагово описан подход к работе со ссылками, показано как собиралась сетка PBN и какие результаты это принесло.

Понятно, что они пишут в большей степени клиентские кейсы, где технической стороне уделяется не так много внимания. Но всё, что они сделали, основано на А-Парсере. Все дропы, которые они собирают, проверяют и агрегируют у себя в базе для последующей обработки, они получают с помощью нашего парсера.

Рекомендуем ознакомиться со статьей и понять, каких результатов можно достичь, используя A-Parser.


ТОП-10 в Google за 35 дней: опыт работы с PBN и подклейкой доменов



Еще один интересный кейс, но уже не по аукционникам, а по реальным дропам, которые можно найти с помощью A-Parser.

Здесь описывается опыт работы с PBN и приводятся советы по использованию этого инструмента для создания качественных обратных ссылок на сайт. Также рассказывается о том, как автор использовал подклейку доменов для улучшения авторитета своего сайта и приводятся советы по выбору подходящих доменов. Кроме того приведены примеры использования A-Parser для автоматизации поиска доменов. А-Parser собирает все внешние ссылки с указанного домена и используется для массовой проверки доступности доменов и получения информации о них.

В статье, как обычно, минимум технической информации, но они активно отвечают на вопросы в комментариях. Если интересно, то спрашивайте, как искать подобные дропы и что для этого нужно. А зачем вообще это делать? Ответ очевиден: взять топ Гугла за 35 дней способен не каждый.

Если вы занимаетесь продвижением сайтов и хотите узнать больше о PBN и подклейке доменов, мы рекомендуем вам прочитать данную статью.

 

Курс по PBN от Ant-Team.ru



Ребята из Ant-Team.ru запустили курс по PBN

Курс полностью основан на A-Parser и разбит на две части: проф. и стандартная.

В профессиональной версии все процессы парсинга полностью автоматизированы и не требуют каких-либо доработок, вплоть до дашбордов с дропами и статистикой по ним.

В стандартной версии Ant-Team научат вас настраивать A-Parser и парсить дропы в ручном режиме.

Набор на курс продлится до 30 марта, но начать обучение можно уже сегодня.

Программа и регистрация по ссылке: https://pbn-course.ru/

 

1.2.1848 - 2 новых парсера, множество улучшений и исправлений во встроенных парсерах



Улучшения

• Добавлены новые парсеры:
  • SE::YouTube::Video - позволяет парсить данные о видео на Youtube (включая субтитры)
  • Rank::BingAnalytics - парсер данных из аналитики Bing в боковой панели Edge
• В связи с неактуальностью удалены следующие парсеры: Rank::Alexa, Rank::Alexa::API, SE::MailRu, SE::MailRu:: Position
  
• Исправлен парсинг вопросов-ответов (PAA) в SE::Google
• Улучшена обработка 404-го кода ответа в Rank::KeysSo
• В Rank::Ahrefs::KeywordDifficulty в переменные добавлен shortage
  
• В Util::Turnstile добавлен провайдер CapSolver
• Во всех парсерах Ahrefs добавлена опция Turnstile pass proxy, подробнее здесь
  
• В парсерах Bukvarix добавлена возможность использовать свой API ключ, дополнительная информация здесь
  
• В Maps::Google добавлена возможность получать ссылку на "Я владелец компании"
  
• В SE::Google::KeywordPlanner добавлена возможность парсить тренды поисковых объёмов, дополнительная информация здесь
  
• Обновлен список языков в DeepL::Translator
• В Social::Instagram:: Profile добавлена возможность парсить с авторизацией
• Улучшено определение наличия кеша в SE::Google::Cache
  
• В Net::Whois добавлен новый метод обработки результатов для некоторых доменных зон
• Продолжается миграция встроенных парсеров на JS APIv2, в этом релизе переписано 10 парсеров

Исправления в связи с изменениями в выдаче

• Исправлена работа SE::Yandex::Register через Chrome, дополнительная информация здесь
• В SE::Google не собирались результаты при типе News, также исправлено получение $totalcount при отсутствии результатов
• Исправлена работа SE::Yandex:: Position при выборе Search sites from (rstr=)
• В Shop::Yandex::Market исправлен парсинг цен
• Исправлены и адаптирован к изменениям на источниках: SE::Google, SE::Yandex::SQI, Rank::KeysSo, Cloudflare::Radar, SE::Quora, SE::Yandex::Translate, Shop::AliExpress, SE::Startpage, Rank::Ahrefs

Исправления

• Исправлено зависание задания во время повторного запуска
  
• Исправлена ошибка с отправкой сообщения о неверно разгаданной каптчи в Util::AntiGate
• В CoinMarketCap::LastPrice был пустой $data
• Rank::Ahrefs::KeywordGenerator не переходил к решению каптчи при определенном формате результата
  
• Исправлена ошибка в SE::Yandex:: Direct::Frequency, из-за которой при использовании аккаунтов все запросы были неудачные
• Исправлен SEO:: Ping
• Исправлено декодирование сущностей в Rank::MOZ
• JS парсеры: исправлен this.utils.urlFromHTML(), не все сущности корректно декодировались

Артур Корсаков запускает мастер-группу по Техническому SEO​

Курс состоит из 3х частей:

• Блок 1
  • Технический аудит сайта,
  • Исследование кода Яндекса,
  • Скрытие ссылок от различных сервисов,
  • Клоакинг для серых ниш.
• Блок 2
  • Парсинг структуры конкурентов,
  • Работа с Chat GPT,
  • Работа с релевантностью.
• Блок 3
  • Настройка программы A-Parser,
  • Создание собственных пресетов,
  • Парсинг тематических дропов с ссылками из Википедии,
  • Работа с ссылочным профилем.

Тем, кто присоединится до пятницы, 31 марта (включительно), получат доступ до июля к эксклюзивной бета-версии закрытого инструмента ГАР (Гибридный анализ релевантности).

В которую уже входят следующие функции:

• Анализ на основе формулы SWBM25 (хитрый BM25 в скользящем окне),
• Рекомендации по микроразметке,
• Семантические Коконы.

Старт планируется 3 апреля!

Подробности по ссылке:
Мастер-группа по Техническому SEO

Чтобы присоединиться нужно написать лично Артуру по любому из контактов:
https://artur2k.ru/about/

 

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг поиска ВК
Сбор результатов поиска в социальной сети Вконтакте.

• Добавлен Check content
• Адаптация к изменениям на источнике

Получение списка пользователей, которые поставили у заданного объекта отметку «Нравится» в VK
Парсер для парсинга списка пользователей, которые лайкнули пост во Вконтакте.

• Переделан в JS парсер
• Адаптация к изменениям на источнике
• Поддержка фото и видео
• Поддержка API: вместо куки remixstid теперь следует использовать ваш ключ доступа (access_token)
• Мелкие правки

Подсказки pornhub
Парсер подсказок сайта для взрослых pornhub.com

• Переделан в JS парсер
• Адаптация к изменениям на источнике

Парсер Яндекс Кью
Парсер для сервиса Яндекс Кью, позволяющий собрать списки вопросов и ответов к ним

• Добавлен парсинг страницы ответов
• Адаптация к изменениям на источнике
• Рефакторинг

JS::Chrome::ScreenshotsMaker
Парсер для создания скриншотов сайтов с использованием puppeteer(Chrome)

• Поддержка pdf формата (возможность сохранять страницы в PDF)

Фильтрация по множеству признаков
Пример фильтрации страниц по большому количеству признаков

• Парсер переписан на JS APIv2
• Исправлен баг с дублированием сигнатур

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

Сборник рецептов #54: Google Shopping, Циан и парсер новостей с автоматическим переводом

54-й сборник рецептов, в котором представлены парсер Google Shopping, парсер базы недвижимости Циан и парсер новостей с автоматическим переводом контента на указанный язык.

Google Products
Парсер товаров по ключевым словам из выдачи Google Shopping


Парсер Циан
Парсер результатов поиска (с возможностью задать любые фильтры) на cian.ru


Парсер новостей inshorts.com с переводом контента
Парсер новостей inshorts.com с переводом контента через переводчик Deepl


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

1.2.1886 - обновление компонентов, новые возможности в работе с аккаунтами Яндекса, фиксы парсеров



Улучшения

• Обновление NodeJS до 18.15, Puppeteer до версии 19.11.0 и Chrome до 112-й версии
• Добавлен обход CloudFlare в Net::HTTP при Engine = Chrome
  
• Добавлены новые возможности в работе с аккаунтами Яндекса:
  • SE::Yandex::Register теперь сохраняет использованный прокси и ответ на секретный вопрос
    
  • SE::Yandex::WordStat использует для логина сохраненный прокси и умеет при необходимости отвечать на секретный вопрос
• В SE::Yandex добавлена возможность указывать id региона в обход существующего списка
  
• Улучшена работа NetDNS, добавлена совместимость с некоторыми серверами
  
• Улучшен парсинг анкоров беклинков в Rank::Ahrefs

Исправления в связи с изменениями в выдаче

• SE::Google - адаптация к изменениям в верстке
• Исправлена работа с каптчами в SE::Yandex и SE::Yandex::WordStat
• Исправлена работа Shop::Yandex::Market при запросах в виде ссылки
• Исправлен парсинг фото в Shop::WildberriesProductInfo
  
• Исправлена ошибка при обработке каптчи в SE::Yandex::ByImage
  
• SE::Yandex, SE::Bing, SE::Seznam, SE::Baidu, SE::Google::Images, Rank::KeysSo, Rank::MajesticSEO, Rank::Ahrefs::KeywordDifficulty, Maps::Yandex, Shop::WildberriesProductInfo, SE::Yandex::ByImage

Исправления

• Исправлено использование переменных из Конструктора запросов в Начальном тексте
• Исправлена работа Net::Whois с доменами зоны .it, а также исправлено определение незарегистрированных доменов
  
• В SE::Yandex::WordStat исправлена ошибка, из-за которой парсер повторно не авторизовался

 

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг данных о Youtube канале
Парсер собирающий информацию со страницы о канале, кроме email который виден после авторизации. Так же собирает email из описания канала.

• Добавлено: парсинг ника канала, который начинается на @, кол-во видео

Парсер Google Places
Получение результатов поиска на Google Places

• Переписан на TypeScript
• Адаптация к изменениям на источнике

Парсинг Авито
Парсинг объявлений на avito.ru

• Запрос для получения номера теперь отправляется только в том случае, если в формате результата задан вывод номера

Анализ ключевых слов на seranking.com
Парсер для анализа ключевых слов с помощью сервиса seranking.com

• Переписан на TypeScript
• Добавлена поддержка разгадывания капчи - опция Util::ReCaptcha2 preset. Разгадывание капчи теперь обязательно
• Добавлена опция Currency с значением по умолчанию EUR
• Полностью переработаны собираемые результаты, они немного отличаются от предыдущих и их стало больше

Парсинг пользователей из группы ВК
Парсинг всех пользователей из любой группы Вконтакте через API

• Адаптация к изменениям на источнике

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

Сборник рецептов #55: сокращатель ссылок и парсер сервиса статистики и аналитики HypeStat

55-й сборник рецептов, в котором представлены парсер для сокращения ссылок с возможностью выбрать из 6-ти сервисов сокращения и парсер HypeStat - бесплатного сервиса статистики и аналитики.

Сокращатель ссылок
Данный парсер позволяет массово сокращать ссылки. На данный момент поддерживается 6 сервисов сокращения, можно выбрать любой из них, а также присутствует режим случайного выбора.


Парсер HypeStat
HypeStat - это бесплатный сервис статистики и аналитики, где вы можете найти информацию о каждом веб-сайте. Данный парсер собирает следующие данные: Technologies Summary, Traffic Summary, Traffic Sources, Competitive Data (SEMrush), Reputation Ratings (MyWot.com), DNS Lookup, Whois Lookup.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

1.2.1930 - 3 парсера для AI контента, обход каптчи Turnstile без сервисов, Instagram с авторизацией



Улучшения

• Добавлены новые парсеры:
  • OpenAI::ChatGPT - парсер ChatGPT
  • OpenAI::Completions - парсер OpenAI Completions
    
  • SE::You - парсер выдачи you.com
• В Util::Turnstile добавлена возможность разгадывания каптчи без использования сервисов
  
• В SE::Google::KeywordPlanner добавлена поддержка мультиаккаунтов, а также реализован пакетный парсинг
  
• В Social::InstagramPost и Social::Instagram::Geo добавлена возможность парсить с авторизацией
  
• В SE::Bing добавлена возможность парсить рекламную выдачу
  
• Добавлен выбор метода получения данных в SecurityTrails::IP
• В SE::Google::Images добавлен сбор тегов
• Улучшена работа SEDuckDuckGo
• В Shop::WildberriesProductsList добавлена возможность парсить категории

Исправления в связи с изменениями в выдаче

• SE::Google - множество адаптаций к изменениям в верстке на источнике
• Rank::KeysSo - исправлены парсинг невалидных результатов и ссылки в Organic pages
  
• Shop::WildberriesProductInfo - исправлен парсинг категории
  
• SE::YandexDirect - исправлен проход по пагинации
  
• SE::Seznam, SEDogpile, SE::Ask, Rank::Ahrefs::TrafficChecker, GooglePlay::Apps, SE::Google::Images, CoinMarketCap::LastPrice, SEDuckDuckGo::Images, SE::Google::ByImage, SecurityTrailsDomain

Исправления

• Исправлен обход Cloudflare
• Исправлена ошибка в Rank::CMS, из-за которой не определялись некоторые движки
• Исправлена работа SE::Yandex::Suggest при выборе 2-го метода
• Исправлена работа Net::Whois с некоторыми доменными зонами
• Исправлен выбор региона в SE::YandexDirect
• JS парсеры: исправлена работа threadDestroy()

Ребята из Ant-Team рассказывают про аукционы освобождающихся доменов в РФ: практическое применение на примерах и аналитика.

• Зачем SEO-специалисты или крупные компании приобретают виртуальную недвижимость.
• Кто являются вашими конкурентами по аукционам.
• Какого размера выделять бюджет на аукционы доменов в России.

➡️ Читайте статью по ссылке: Кто и зачем покупает аукционные домены? — SEO на vc.ru

И до 15 июня вы еще можете попасть на второй поток курса по PBN от А до Я: https://pbn-course.ru/.

 

Видео урок: Сокращатель ссылок

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан пример работы с парсером для массового сокращения ссылок.


View: https://www.youtube.com/embed/XhHUbw4nAvM


Оригинальный парсер в Каталоге: Сокращатель ссылок

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!



Промо от нашего партнера



Leadgid — топовая международная финансовая партнёрская сеть.

Найдётся всё, что нужно новичку и профи:

• выбор из 500+ офферов по 30+ ГЕО
• личная поддержка для каждого вебмастера
• бесплатная платформа LeadCore со всеми инструментами
• регулярные конкурсы с крутыми призами и поездками.

А ещё в Leadgid постоянно проходят разные ивенты, оффлайн-встречи и онлайн-вебинары, обучения, акции и многое другое.

Присоединиться просто — переходи на сайт, регистрируйся и жди волшебное письмо с инструкцией

 

Сборник рецептов #56: Instagram Direct, переводчик Reverso, рекламные объявления из Naver

56-й сборник рецептов, в котором собраны: парсер для рассылки сообщений в Instagram Direct, парсер переводчика Reverso и парсер для сбора рекламных объявлений по ключевым словам из Naver.

Instagram Direct

Парсер для автоматической отправки сообщений указанным пользователям в Instagram.

Парсер переводчика Reverso

Парсер для перевода текстов через сервис reverso.net. Кроме непосредственно перевода на выбранный язык, умеет определять язык исходного текста, собирает варианты перевода, примеры в контексте, а также перефразирования и альтернативные переводы исходного текста.

Naver Ads

Парсер для сбора рекламных объявлений по ключевым словам из Naver. Собирает заголовок, описание, ссылка, сайт и картинку-превью.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

1.2.1958 - 5 новых парсеров, улучшения интерфейса, новые опции в существующих парсерах



Улучшения

• Добавлено 3 новых парсера:
  • DeepL::Write - проверка и редактирование текстов через одноименный сервис
  • Reddit::Comments - парсер комментариев на Reddit
    
  • Reddit:: Posts - парсер сообщений на Reddit
• SE::Google::KeywordPlanner теперь разделен на 2 независимых парсера:
  • SE::Google::KeywordPlanner::Ideas
  • SE::Google::KeywordPlanner::SearchVolume
• В парсеры KeywordPlanner добавлен параметр authuser, он теперь обязателен при способе авторизации через куки
  
• В SE::Google добавлена информация о флагах результатов
  
• В SE::Yandex:: Direct::Frequency добавлен обход каптчи для запросов без использования аккаунтов
• В SE::Google::Images добавлена возможность управлять параметром Safe search
  
• В Net::Whois добавлена опция Checking by DNS record, которая проверяет на существование IP по домену
• Улучшено взаимодействие со всплывающей подсказкой с переменными выбранного парсера:
  • добавлен вывод полного названия выбранного парсера
  • добавлена ссылка на описание выбранного парсера
  • подсказку теперь можно прокручивать
  • данные теперь можно копировать
• При раскрытии выпадающего меню выбора парсера теперь названия парсеров видно целиком
• В настройках задания добавлена опция остановки задания при неудачном запросе
• В настройки потоков добавлена опция Proxy strategy, она позволяет управлять стратегией использования прокси

Исправления в связи с изменениями в выдаче

• SE::Google - адаптация к изменениям в верстке
• Исправлен парсинг related в SE::Yandex
  
• Исправлен Cloudflare::Radar
• Парсер SE::Quora адаптирован к изменениям в выдаче
• Исправлена работа Net::Whois с некоторыми доменными зонами, а также ряд других ошибок
• Shop::eBay

Исправления

• Исправлено ошибочное заполнение неудачными при паузе/остановке задания
• Исправлено игнорирование опции Extra query string в Maps::Yandex

 

Сборник рецептов #57: пересылка сообщений из Telegram каналов, скорость сайтов, проверка текстов

57-й сборник рецептов, в котором представлены: парсер для агрегации сообщений из нескольких Telegram каналов в один; парсер для анализа скорости работы сайта; парсер для анализа текстов на предмет их генерации сервисами ИИ.

Автоматическая пересылка сообщений из нескольких Telegram каналов в один



Представляем пример парсера для мониторинга Telegram каналов и автоматической пересылки сообщений в свой собственный канал. Код парсера как всегда открыт, поэтому есть возможность настроить нужный вид сообщений и редактировать логику работы.

Core Web Vitals


Парсер для анализа скорости сайта. Отчет о скорости сайта основан на реальных данных о просмотре сайтов пользователями Google Chrome, полученных из отчета Chrome User Experience Report (CrUX). Используя сервис calibreapp.

AI content detector



Парсер для анализа текстов на предмет их генерации сервисами ИИ. Определяется вероятность того, что текст был написан человеком, а не искусственным интеллектом. Используется сервис writer.com.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Проверка текста на уникальность
Парсер для проверки текста на уникальность через онлайн сервис. Собираются данные об уникальности, а также список сайтов, на которых есть совпадения и процент совпадения на них.

• Парсер переписан на TypeScript
• Добавлена поддержка запросов в виде ссылок: парсер автоматически определяет тип запроса и если это ссылка - сначала парсит текст выбранным парсером

Парсер hotline.ua
Парсер для агрегатора цен hotline.ua. Данный парсер собирает по ключевым словам информацию из прайсов hotline.ua: имя, описание, цены, изображения и т.д.

• Парсер переписан на TypeScript
• Исправлен сбор данных
• Обновлен набор собираемых данных

Парсинг подсети и организации по IP
Пресет для парсинга подсети и организации по IP

• Исправлена ошибка 403, из-за которой парсер не собирал результаты

Парсер отзывов Wildberries Reviews
Сбор отзывов по товарам с wildberries.ru в csv таблицу. Собираются следующие данные: артикул товара, имя того кто оставил отзыв, дата, количество звёзд, текст отзыва.

• Обновление в связи с изменениями в выдаче

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

Видео урок: Telegram канал - агрегатор сообщений из других каналов

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ создания телеграм канала агрегатора постов с других каналов.


Оригинальный парсер в Каталоге: Автоматическая пересылка сообщений из нескольких Telegram каналов в один
Плейлист со всеми видео уроками от DIM STUDIO
Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

1.2.2014 - множество улучшений и исправлений во встроенных парсерах



Улучшения

• В SE::Yandex добавлена поддержка новой каптчи Яндекса
• Net::Whois - обновлены whois сервера, добавлены новые опции, реализована обработка статуса "Rate Limited"
• Rank::KeysSo - обновлен список регионов
• Shop::Yandex::Market - добавлена поддержка редиректа с cvredirect=1
• Maps::Google - улучшение Collect full region, добавлена опция OSM Mode и парсинг точки, добавлен новый собираемый результат $timestatus
• В SE::Yahoo добавлена возможность парсить рекламную выдачу
• Добавлена переменная $data в Telegram::GroupScraper
• SE::Bing - обновлены регионы и языки
• JS парсеры: добавлена возможность делать запросы к другим парсерам в пакетном режиме

Исправления в связи с изменениями в выдаче

• В SE::Google исправлен сбор $corrected и $misspell
• Частично исправлена работа SE::Bing, на данный момент все еще могут наблюдаться проблемы в некоторых случаях
• Исправлена работа всех парсеров Ahrefs
• Исправлена регистрация Яндекс аккаунтов через Chrome ( SE::Yandex::Register)
• В парсерах SE::Google::KeywordPlanner::* исправлена авторизация по cookie
• Shop::Yandex::Market, SE::Ask, Check::RosKomNadzor, Shop::Wildberries:: ProductInfo

Исправления

• Исправлена ошибка при объявлении JS модуля в $tools.js

 

Скидка 10% на покупки с оплатой USDT TRC20

При оплате A-Parser и других продуктов или услуг у нас, вы получаете возможность приобрести их со скидкой 10% – оплачивая через USDT TRC20!

1. Переходите на сайт A-Parser
2. Выбирайте подходящий продукт или услугу
3. Оплачивайте через USDT TRC20 и получите 10% скидку

Предложение действует ограниченное время!

Если у вас возникли вопросы или вам нужна дополнительная информация, наша команда поддержки всегда готова помочь. Свяжитесь с нами для получения консультации.

Сборник рецептов #58: обработка текстов с помощью ИИ, цены на крипту, поиск сообщений в ТГ-каналах

58-й сборник рецептов, в котором собраны: парсер для сервиса по обработке текстов с помощью ИИ (перефразирование, резюмирование...), парсер для проверки цен на криптовалюты с возможностью выбора из 5 бирж, а также парсер для поиска сообщений по ключевым словам в Telegram каналах.

NeuralWriter - перефразирование, генератор промптов, резюмирование

Парсер сервиса neuralwriter.com. С его помощью можно перефразировать текст (включая перевод на нужный язык), сформировать краткое резюме для большого текста, а также генерировать промпты для моделей ChatGPT и GPT. Парсер имеет возможность читать тексты из файлов.



CryptoExchanges - одновременная проверка цены на криптовалюту на нескольких биржах

Парсер, позволяющий одновременно проверить цену на нескольких крипто биржах по тикеру. Поддерживается 5 бирж.



Парсер поиска Телеграм постов по ключевым словам с tgdev.io/tme

Возможность парсить сообщения из Telegram каналов по ключевым словам. Собираются дата поста, ссылка на пост и его текст.




Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг вопросов и ответов из выдачи Bing
Пресет для сбора вопросов и ответов из поисковой выдачи Bing. Используется стандартный парсер SE::Bing, в результат выводятся вопросы и ответы на них.

• Обновлено регулярное выражение в связи с изменениями в выдаче

Парсим Google новости с датой и преобразуем ее
Пример парсинга Google новостей с датой и преобразованием ее к одному формату

• Обновление в связи с изменениями в выдаче

Периодический мониторинг цен с уведомлением в Telegram
В качестве запросов принимаются ссылки на товары, а в результате формируется таблица и отправляются сообщения в подключенный чат Telegram. Детальное описание в статье: Периодический мониторинг цен с уведомлением в Telegram

• Обновлены сайты примеров

Парсер подсказок Яндекс.Маркет
Парсинг подсказок Яндекс.Маркет с частотой и категориями

• Парсер переписан на JS API v2
• Исправлена работа с каптчами (полностью наследуется из SE::Yandex)
• Исправлено регулярное выражение для хлебных крошек

Скачивание картинок
Пример скачивания картинок с определением их размеров

• Парсер переписан на JS API v2
• Оптимизированы импорты
• Добавлена возможность сортировать картинки по каталогам в зависимости от ориентации
• Добавлена возможность фильтровать картинки по размеру файла

Парсер Github
Парсер поиска по репозиториям на Github по ключевому слову

• Парсер полностью переписан с использованием JS API v2 и адаптацией к изменениям на источнике

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

Если у вас возникли вопросы или вам нужна дополнительная информация, наша команда поддержки всегда готова помочь. Свяжитесь с нами для получения консультации.

 

Видео урок: Сбор WordPress сайтов

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан один из вариантов сбора сайтов на движке Wordpress.


View: https://www.youtube.com/watch?v=ckEg75JKVnM


Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

1.2.2062 - парсер профилей Tiktok, поддержка click каптч Яндекса, улучшения и исправления



Улучшения

• Добавлен парсер Social::TikTok:: Profile
• SE::Yandex - добавлен парсинг быстрых ответов
• Добавлена поддержка новых каптч Яндекса (click captcha) в парсерах SE::Yandex::ByImage, SE::Yandex::Images, SE::Yandex::SQI, Shop::Yandex::Market
• В Util::AntiGate изменился набор доступных опций, подробнее здесь
• В SE::Yandex добавлена опция AntiGate preset for old captcha. С ее помощью можно выбрать пресет антигейта для обычных (старых, в виде одной картинки) каптч. Рекомендации по парсингу Яндекса описаны тут.
• В SE::Yandex::Translate добавлена возможность подключать разгадывание каптч
• В SE::Bing улучшена скорость, уменьшено количество ошибок Short output, добавлены сессии
• В SE::YouTube добавлена опция Advanced filters (param sp=), с помощью которой можно указать сложные комбинации фильтров
• Rank::KeysSo - добавлена возможность парсить с авторизацией, актуализированы собираемые данные
• В парсерах OpenAI добавлена возможность указывать несколько API ключей
• Парсеры WordStat: адаптация к изменениям в авторизации, максимальное кол-во страниц увеличено до 50
• JS парсеры: добавлена опция skipProxySettingsInheritance для parser.request()

Исправления в связи с изменениями в выдаче

• SE::Google - исправлен парсинг PAA, парсинг выдачи адаптирован к изменениям в верстке
• SE::Yandex - адаптация к изменениям в верстке
• Исправлен Safe search в SE::Google::Images, SE::Google
• Исправлено авторазгадывание Turnstile (опция Provider=Auto (using Chrome) в Util::Turnstile)
• Исправлен проход по страницам в SE::Yahoo
• В SE::YouTube исправлена работа всех фильтров, исправлен парсинг мобильной выдачи
• Maps::Google, SE::YouTube, SE::Yahoo - исправлен обход соглашения с политикой кук
• SE::Google::ByImage, SE:: Dogpile, SE:: DuckDuckGo

Исправления

• Исправлена работа HTML::EmailExtractor в некоторых случаях
• Исправлен обход CF в Net::HTTP при Engine=HTTP
• Исправлена работа SE::Google::Translate при Device=Desktop
• Исправлены ошибки в работе SecurityTrails:: Domain, Cloudflare::Radar, Rank::MOZ, Rank::CMS, Net::Whois
• Устранены падения при использовании прокси из отключенного проксичекера