A-parser 1.1 - продвинутый парсер поисковых систем, suggest, pr, dmoz, whois, etc

Видео урок: установка A-Parser на Linux с использованием Docker

В этом видео рассмотрено установку A-Parser на Linux с использованием Docker.



Содержание:

• Действия перед установкой
• Установка Docker
• Загрузка и распаковка дистрибутива A-Parser
• Запуск с логом и в фоне
• Просмотр файла лога
• Запуск используя docker-compose

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

Дайджест новостей A-Parser

Проверка наличия сайта на Miralinks
Новый пример в Каталоге: пресет для проверки доменов на наличие на бирже Miralinks, который проверяет, есть ли домен на Miralinks, выгружает его стоимость и ссылку на профиль на бирже.


Парсер Aliexpress товаров
Обновление парсера, позволяющего получать информацию о товаре на AliExpress, подавая в качестве запроса ссылку на товар.

• Адаптация к изменениям на ресурсе

JS::TitleParser
Обновление базового примера для парсинга HTML тега title на произвольной странице.

• Парсер переписан на JS API v2
• Добавлено поле для указания юзер-агента

Парсинг данных о Youtube канале
Обновление парсера данных о Youtube каналах.

• Исправлен сбор данных
• Адаптация к изменениям в верстке
• Убран сбор данных о монетизации, т.к. известный метод определения больше не работает

Google Products
Обновление парсера товаров из Google выдачи.

• Ссылка на сайт теперь берется из названия магазина

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Дайджест новостей A-Parser

ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта
Обновление парсера сервиса zerogpt.com. С помощью него можно проверять грамматику и орфографию, а также определять использование ИИ в текстах.

• Добавлено использование браузера при Mode = AI Grammar Spell Checker
• Добавлена опция Browser Headless которая включает и отключает отображение интерфейса браузера

Парсер HypeStat
Обновление парсера сервиса статистики и аналитики веб-сайтов HypeStat.

• Исправлен сбор результатов
• Некоторые результаты вынесены из массивов в обычные (плоские) результаты

Сокращатель ссылок
Обновление парсера для массового сокращения ссылок с возможностью выбирать используемый сервис.

• Исправлены: 1pt.co, clck.ru, urlshort.dev
• Отключен gg.gg, т.к. сервис не работает

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

1.2.2573 - новый парсер отзывов из Google карт, оптимизации работы встроенных парсеров, багфиксы

Улучшения

• Добавлен новый парсер Maps::Google::Reviews, который позволяет парсить отзывы к местам на Google картах
• Парсер SE::Bing полностью переписан, полный список изменений тут
• Добавлены альтернативные сервера авторизации для пользователей из РФ
• Улучшена работа Shop::Amazon: значительно снижена вероятность бана
• Улучшена работа Util::Antigate: теперь манипуляции с картинками каптч занимают меньше времени и потребляют меньше ресурсов
• Улучшена работа HTML::TextExtractor::LangDetect: обновлен модуль определения языка и оптимизирован алгоритм работы
• SE::Yandex::Speller теперь может принимать на вход как ссылки, так и ключевые слова (тексты)
• В Reddit:osts добавлена опция Use HTTP/2 transport
• Улучшение скорости работы parser.request и API::Server::Redis (будет заметно при большой интенсивности запросов и большом размере самих запросов(от 10кб))

Исправления в связи с изменениями в выдаче

• Social::Instagram::Geo - исправлена проблема Content mismatch при определенных запросах
• Shop::Amazon - адаптация к изменениям в верстке, исправлена работа при Domain=United Kingdom
• Social::Instagram:ost - исправлена ошибка при сборе $video_link
• Исправлена работа SE::Quora, теперь требуется указывать куки авторизованного аккаунта, подробнее тут
• Исправлена работа Social::TikTok:rofile
• Исправлен SE:uckDuckGo

Исправления

• SE::Yandex - исправлена поддержка puzzle каптчи при Engine=Browser
• Rank::CMS - исправлена ошибка, возникающая для некоторых технологий
• Исправлен Cloudflare::Radar

 

1.2.2596 - обход новой проверки Google, несколько других исправлений

Примерно с вечера 15 января Google поиск начал требовать в обязательном порядке включенный JavaScript и включил дополнительную проверку. Из-за это перестали работать существующие парсеры Google, проблема затронула даже такие крупные сервисы, как Similarweb.
Мы также начали получать множество сообщений о проблеме с парсером Google, и сразу взялись за ее решение. Первый, временный, фикс был выпущен уже на следующий день. После этого было еще несколько исправлений, а финальное решение стало доступным 20 января.
После нескольких дней тестирования было решено сделать внеочередной релиз, чтобы у пользователей на stable канале обновлений также возобновилась возможность парсить Google.
Кроме этого в релиз вошли следующие изменения:

• В парсерах OpenAI::* теперь можно указывать API domain с протоколом (http/https)
• Исправлена ошибка инициализации Util::AntiGate в некоторых окружениях
• Исправлена работа Social::Instagram::Search
• Исправлена проблема, из-за которой в Social::Instagram::Geo собиралось только 24 поста

 

Дайджест новостей A-Parser

Выгрузка кликов из GSC

Новый парсер от пользователя @seohive. С его помощью можно выгружать из Google Search Console статистику по кликам в проекте. Выгружает брендовые и все клики. Можно отдельно указать маску url и выгрузить клики определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.

Выгрузка поискового трафика из Яндекс Метрики

Еще один новый парсер от пользователя @seohive. С его помощью можно выгружать из Яндекс Метрики статистику по трафику из поисковых систем. Выгружает трафик из Яндекс, Google и небрендовый из Яндекс. Можно отдельно указать маску url и выгрузить трафик определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.

Выгрузка данных по позициям из Topvisor

И еще один новый парсер от @seohive. С его помощью можно выгружать из проекта в Topvisor статистику по позициям в проекте. Выгружает по группам и конкурентам количество запросов всего, в ТОП 3, ТОП 10 и ТОП 30 по датам. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.

Работа парсера SE::Google

Напоминаем, что недавно Google ввел дополнительную проверку на включенный JS в поиске, из-за чего нарушилась работа многих парсеров и сервисов. Мы оперативно выпустили обновление для SE::Google и постоянно продолжаем отслеживать изменения. После выпуска stable версии у гугла были еще изменения, поэтому (на момент публикации новости) для корректной работы парсера Google нужно обновиться на последнюю beta версию.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.


Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Видео урок: вывод результатов в CSV, JSON и HTML

Новое видео по работе с A-Parser от DIM STUDIO в котором показаны способы форматирования результатов в CSV, HTML и JSON.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

Дайджест новостей A-Parser

Meta Ad Library
Новый парсер в каталоге: парсер библиотеки рекламы Meta (Facebook, Instagram, Whatsapp...). Позволяет собирать количество рекламных объявлений по ключевому слову с учетом заданных фильтров и массив рекламных объявлений.

Парсер поиска Телеграм постов по ключевым словам с tgdev.io/tme
Обновление одноименного парсера.

• Убраны не актуальные опции, убрано решение каптчи
• Исправлен сбор результатов

Парсинг объявлений из olx.ua/olx.pl/olx.kz
Обновление парсера данных из объявлений на OLX

• Исправлен парсинг номеров телефонов
• Исправлен парсинг кол-ва просмотров

JS::SE::Yandex:: Position::ByRegion
Обновление парсера для проверки позиций сайтов в поисковой выдаче Яндекс сразу по нескольким регионам

• Парсер переписан на JS API v2 (TS)
• Вместо выбора пресета настроек теперь используется наследование от SE::Yandex:osition
• В парсере теперь используется новый, более полный и актуальный справочник регионов

Подсказки Google Play
Обновление парсера подсказок магазина Google Play

• Адаптация к изменениям на источнике

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

1.2.2640 - новый парсер скриншотов, оптимизации и исправления встроенных парсеров, интерфейса и API

Улучшения

• Добавлен новый парсер - Browser::ScreenshotsMaker
• Исправлен и улучшен парсинг генеративных ответов в SE::Yandex
• В SE::Google::Translate улучшен перевод в Desktop режиме
• В SE::Bing добавлена возможность указывать язык результатов
• В Net::HTTP для Engine=Chrome добавлен $response.Time
• IP::Info - добавлена переменная $ip
• Обновлен список стран в парсерах Ahrefs
• На карточках заданий в очереди даты теперь выводятся с годом

Исправления в связи с изменениями в выдаче

• Окончательно реализован обход проверки на JS в SE::Google
• Исправлена ситуация когда в SE::Yandex при Engine=Browser выдача ошибочно определялась как каптча
• Исправлено авторазгадывание в Util::Turnstile
• Исправлен парсинг PAA в SE::Google
• Исправлена работа Reddit: Posts
• Исправлена ситуация с попаданием рекламы в результаты Shop::Amazon, а также исправлен сбор $commentscount
• Исправлен сбор некоторых данных в Social::Instagram: Post

Исправления

• SE::Google - исправлена проблема утечки памяти связанной с использованием Playwright
• SE::Google::KeywordPlanner::SearchVolume - исправлено определение $volume_type
• Maps::Google - исправлена работа с опцией Collect full region в некоторых случаях
• Исправлена ситуация, когда в пресете настроек SE::Yandex не сохранялся Region of serp
• API: исправлена работа метода changeProxyCheckerState
• API: исправлена ошибка из-за которой при использовании метода getAccountsCount парсер падал, если аккаунтов 0

 

Дайджест новостей A-Parser

Парсинг расшифровки Youtube видео
Новый пресет в Каталоге, в котором показан способ парсинга расшифровки Youtube видео с использованием встроенного парсера SE::YouTube::Video. Решение основано на выводе собираемых результатов в том виде, в котором они отображаются в браузере.

Парсер всех видео с Youtube канала
Обновление парсера для сбора списка видео (с их характеристиками) из Youtube каналов
]Исправлена работа с каналами, у которых всего 1 вкладка
Добавлена обработка Shorts, если они выдаются вместе с видео (или вместо видео)
Добавлена обработка случаев, когда канал не существует
Исправлен обход окна соглашения, которое появляется при запросах с IP некоторых стран
Исправлена логика повторных попыток, в некоторых случаях парсер их не делал
Парсинг популярных запросов за сутки Google Trends
Обновление парсера для сбора трендовых поисковых запросов из Google Trends
Парсер полностью переписан в связи с изменениями на источнике
Изменен набор собираемых данных
Изменен список параметров
Парсинг объявлений из olx.ua/olx.pl/olx.kz
Очередное обновление парсера данных из объявлений на OLX
Исправлен парсинг номеров телефонов
Парсинг Авито
Обновление парсера объявлений Аvito
Исправлена работа парсера
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Дайджест новостей A-Parser
Для PremiumMix прокси добавлены 3 новых недельных тарифа

• Proxies PremiumMix 50 Gb / 1 week ($0.9 / Gb) - $45
• Proxies PremiumMix 100 Gb / 1 week ($0.8 / Gb) - $80
• Proxies PremiumMix 200 Gb / 1 week ($0.7 / Gb) - $140

Данные тарифы имеют все преимущества Premium тарифов, за исключением возможности гео-таргентинга:

• База более 10 миллионов резидентных (домашних) IP адресов
• Быстрое время отклика
• Настройки ротации, включая случайный IP на каждый запрос и ротацию от 1 до 60 минут, а также режим Sticky. В режиме Sticky прокси не будет менять IP максимально возможное время
• Подходит для браузинга и парсинга, с практически полным отсутствием CAPTCHA и банов

Оплата онлайн на a-parser.com. Дополнительная скидка 10% при оплате USDT/BTC/ETH/...
Парсер переводчика Libre Translate
Обновление переводчика Libre Translate, который использует API машинного перевода с открытым исходным кодом

• Адаптация к изменениям в защите

Парсинг статистики с Social Blade
Обновление парсера сервис Social Blade, который отслеживает статистику пользователей YouTube, Twitch, Instagram, Facebook и Tiktok.

• Парсер полностью переписан в связи с изменениями на источнике
• Добавлен выбор социальной сети, для которой нужно парсить данные
• Добавлена возможность указать кол-во страниц с результатами (100 результатов на страницу)
• Изменен набор собираемых данных

Парсер Яндекс Кью
Обновление парсер для сервиса Яндекс Кью, который позволяет собирать списки вопросов и ответов к ним

• Адаптация к изменениям на источнике
• Возвращен выбор типа результатов (вопросы/ответы)
• Парсер переписан на TypeScript

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.