Редактор темы

Реклама
Реклама

A-parser 1.1 - продвинутый парсер поисковых систем, suggest, pr, dmoz, whois, etc

Автор темы
Видео урок: установка A-Parser на Linux с использованием Docker

В этом видео рассмотрено установку A-Parser на Linux с использованием Docker.


Содержание:
  • Действия перед установкой
  • Установка Docker
  • Загрузка и распаковка дистрибутива A-Parser
  • Запуск с логом и в фоне
  • Просмотр файла лога
  • Запуск используя docker-compose
Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!



 
Автор темы
Дайджест новостей A-Parser

Проверка наличия сайта на Miralinks
Новый пример в Каталоге: пресет для проверки доменов на наличие на бирже Miralinks, который проверяет, есть ли домен на Miralinks, выгружает его стоимость и ссылку на профиль на бирже.
54c8347bb7ec5903f9601a76a2040361.png


Парсер Aliexpress товаров
Обновление парсера, позволяющего получать информацию о товаре на AliExpress, подавая в качестве запроса ссылку на товар.
  • Адаптация к изменениям на ресурсе
JS::TitleParser
Обновление базового примера для парсинга HTML тега title на произвольной странице.
  • Парсер переписан на JS API v2
  • Добавлено поле для указания юзер-агента
Парсинг данных о Youtube канале
Обновление парсера данных о Youtube каналах.
  • Исправлен сбор данных
  • Адаптация к изменениям в верстке
  • Убран сбор данных о монетизации, т.к. известный метод определения больше не работает
Google Products
Обновление парсера товаров из Google выдачи.
  • Ссылка на сайт теперь берется из названия магазина
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки
clear.png
) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.



 
Автор темы
Дайджест новостей A-Parser

ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта
Обновление парсера сервиса zerogpt.com. С помощью него можно проверять грамматику и орфографию, а также определять использование ИИ в текстах.
  • Добавлено использование браузера при Mode = AI Grammar Spell Checker
  • Добавлена опция Browser Headless которая включает и отключает отображение интерфейса браузера
Парсер HypeStat
Обновление парсера сервиса статистики и аналитики веб-сайтов HypeStat.
  • Исправлен сбор результатов
  • Некоторые результаты вынесены из массивов в обычные (плоские) результаты
Сокращатель ссылок
Обновление парсера для массового сокращения ссылок с возможностью выбирать используемый сервис.
  • Исправлены: 1pt.co, clck.ru, urlshort.dev
  • Отключен gg.gg, т.к. сервис не работает
Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 
Автор темы
1.2.2573 - новый парсер отзывов из Google карт, оптимизации работы встроенных парсеров, багфиксы
53d326986ea58631f636c7f3e69beb52.png

Улучшения
  • Добавлен новый парсер
    0598c41a15ba8896784b45aa62583a1c.png
    Maps::Google::Reviews, который позволяет парсить отзывы к местам на Google картах
  • Парсер
    5fca79e10d960fd4dc2fd8bff3c0b816.png
    SE::Bing полностью переписан, полный список изменений тут
  • Добавлены альтернативные сервера авторизации для пользователей из РФ
  • Улучшена работа
    957c75b68a5cf937dafc6bc54fe24b41.png
    Shop::Amazon: значительно снижена вероятность бана
  • Улучшена работа
    96f6cdc8560e8e5178125cc4cdb85e28.png
    Util::Antigate: теперь манипуляции с картинками каптч занимают меньше времени и потребляют меньше ресурсов
  • Улучшена работа
    d0827143f4394d7552f7a6077527d74d.png
    HTML::TextExtractor::LangDetect: обновлен модуль определения языка и оптимизирован алгоритм работы
  • 7c5f5514161e683aa6bf984b56487439.png
    SE::Yandex::Speller теперь может принимать на вход как ссылки, так и ключевые слова (тексты)
  • В
    b809023aa15702e053c93e69997f09b9.png
    Reddit:😛osts добавлена опция Use HTTP/2 transport
  • Улучшение скорости работы parser.request и
    2fcae2f0f28e57d068d85d270a7f5528.png
    API::Server::Redis (будет заметно при большой интенсивности запросов и большом размере самих запросов(от 10кб))
Исправления в связи с изменениями в выдаче
  • cd416fb78d2e339f60670e6bac3f3c15.png
    Social::Instagram::Geo - исправлена проблема Content mismatch при определенных запросах
  • 957c75b68a5cf937dafc6bc54fe24b41.png
    Shop::Amazon - адаптация к изменениям в верстке, исправлена работа при Domain=United Kingdom
  • b54d3d6add9f1e024e5dd1d77f3afef7.png
    Social::Instagram:😛ost - исправлена ошибка при сборе $video_link
  • Исправлена работа
    591c45ceaf69dc5db457c45a08af6cbb.png
    SE::Quora, теперь требуется указывать куки авторизованного аккаунта, подробнее тут
  • Исправлена работа
    fb11d0753f457dfd0c945bf2c7a21a42.png
    Social::TikTok:😛rofile
  • Исправлен
    36a93bf3c271b453c8e1bd64eb24e8ab.png
    SE:😀uckDuckGo
Исправления
  • ec6f5f397c1761d53be929c2c4bc4d18.png
    SE::Yandex - исправлена поддержка puzzle каптчи при Engine=Browser
  • 7d676421b17eefc4a3e8f822c44c5481.png
    Rank::CMS - исправлена ошибка, возникающая для некоторых технологий
  • Исправлен
    e225d64452894e496555a1810d06307e.png
    Cloudflare::Radar

 
Автор темы
1.2.2596 - обход новой проверки Google, несколько других исправлений
d3706e84bd5f51115dc5333b46cedcd7.png

Примерно с вечера 15 января Google поиск начал требовать в обязательном порядке включенный JavaScript и включил дополнительную проверку. Из-за это перестали работать существующие парсеры Google, проблема затронула даже такие крупные сервисы, как Similarweb.
Мы также начали получать множество сообщений о проблеме с парсером Google, и сразу взялись за ее решение. Первый, временный, фикс был выпущен уже на следующий день. После этого было еще несколько исправлений, а финальное решение стало доступным 20 января.
После нескольких дней тестирования было решено сделать внеочередной релиз, чтобы у пользователей на stable канале обновлений также возобновилась возможность парсить Google.
Кроме этого в релиз вошли следующие изменения:
  • В парсерах OpenAI::* теперь можно указывать API domain с протоколом (http/https)
  • Исправлена ошибка инициализации
    96f6cdc8560e8e5178125cc4cdb85e28.png
    Util::AntiGate в некоторых окружениях
  • Исправлена работа
    f24a11cde8cb772a47fe571d5597f894.png
    Social::Instagram::Search
  • Исправлена проблема, из-за которой в
    cd416fb78d2e339f60670e6bac3f3c15.png
    Social::Instagram::Geo собиралось только 24 поста

 
Автор темы
Дайджест новостей A-Parser

Выгрузка кликов из GSC

Новый парсер от пользователя @seohive. С его помощью можно выгружать из Google Search Console статистику по кликам в проекте. Выгружает брендовые и все клики. Можно отдельно указать маску url и выгрузить клики определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.

Выгрузка поискового трафика из Яндекс Метрики

Еще один новый парсер от пользователя @seohive. С его помощью можно выгружать из Яндекс Метрики статистику по трафику из поисковых систем. Выгружает трафик из Яндекс, Google и небрендовый из Яндекс. Можно отдельно указать маску url и выгрузить трафик определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.

Выгрузка данных по позициям из Topvisor

И еще один новый парсер от @seohive. С его помощью можно выгружать из проекта в Topvisor статистику по позициям в проекте. Выгружает по группам и конкурентам количество запросов всего, в ТОП 3, ТОП 10 и ТОП 30 по датам. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.

Работа парсера SE::Google

Напоминаем, что недавно Google ввел дополнительную проверку на включенный JS в поиске, из-за чего нарушилась работа многих парсеров и сервисов. Мы оперативно выпустили обновление для
65d863ceb0b578ac549596ea6cfbe3f9.png
SE::Google и постоянно продолжаем отслеживать изменения. После выпуска stable версии у гугла были еще изменения, поэтому (на момент публикации новости) для корректной работы парсера Google нужно обновиться на последнюю beta версию.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.


Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.



 
Автор темы
Автор темы
Дайджест новостей A-Parser

Meta Ad Library
Новый парсер в каталоге: парсер библиотеки рекламы Meta (Facebook, Instagram, Whatsapp...). Позволяет собирать количество рекламных объявлений по ключевому слову с учетом заданных фильтров и массив рекламных объявлений.

Парсер поиска Телеграм постов по ключевым словам с tgdev.io/tme
Обновление одноименного парсера.
  • Убраны не актуальные опции, убрано решение каптчи
  • Исправлен сбор результатов
Парсинг объявлений из olx.ua/olx.pl/olx.kz
Обновление парсера данных из объявлений на OLX
  • Исправлен парсинг номеров телефонов
  • Исправлен парсинг кол-ва просмотров
JS::SE::Yandex:: Position::ByRegion
Обновление парсера для проверки позиций сайтов в поисковой выдаче Яндекс сразу по нескольким регионам
  • Парсер переписан на JS API v2 (TS)
  • Вместо выбора пресета настроек теперь используется наследование от
    ce9e1119d9283cccaad5ed5f373cff14.png
    SE::Yandex:😛osition
  • В парсере теперь используется новый, более полный и актуальный справочник регионов
Подсказки Google Play
Обновление парсера подсказок магазина Google Play
  • Адаптация к изменениям на источнике
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.


 
Автор темы
1.2.2640 - новый парсер скриншотов, оптимизации и исправления встроенных парсеров, интерфейса и API
5f0f4000752ceab02004eb9a80bd30db.png

Улучшения
  • Добавлен новый парсер -
    94927d6eef3b15f6e054b2c50172190a.png
    Browser::ScreenshotsMaker
  • Исправлен и улучшен парсинг генеративных ответов в
    ec6f5f397c1761d53be929c2c4bc4d18.png
    SE::Yandex
  • В
    b773f813b87fb0beb294f416c81b72d3.png
    SE::Google::Translate улучшен перевод в Desktop режиме
  • В
    5fca79e10d960fd4dc2fd8bff3c0b816.png
    SE::Bing добавлена возможность указывать язык результатов
  • В
    58f70831e093d4fc1ed5523c87106165.png
    Net::HTTP для Engine=Chrome добавлен $response.Time
  • d4c5c6f6d6a2478e2806b45129a65fd7.png
    IP::Info - добавлена переменная $ip
  • Обновлен список стран в парсерах Ahrefs
  • На карточках заданий в очереди даты теперь выводятся с годом
Исправления в связи с изменениями в выдаче
  • Окончательно реализован обход проверки на JS в
    65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google
  • Исправлена ситуация когда в
    ec6f5f397c1761d53be929c2c4bc4d18.png
    SE::Yandex при Engine=Browser выдача ошибочно определялась как каптча
  • Исправлено авторазгадывание в
    b3d5873b00132505c22d24d8d7800c54.png
    Util::Turnstile
  • Исправлен парсинг PAA в
    65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google
  • Исправлена работа
    b809023aa15702e053c93e69997f09b9.png
    Reddit: Posts
  • Исправлена ситуация с попаданием рекламы в результаты
    957c75b68a5cf937dafc6bc54fe24b41.png
    Shop::Amazon, а также исправлен сбор $commentscount
  • Исправлен сбор некоторых данных в
    b54d3d6add9f1e024e5dd1d77f3afef7.png
    Social::Instagram: Post
Исправления
  • 65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google - исправлена проблема утечки памяти связанной с использованием Playwright
  • a4bc56b016097d80710e884aaae298b9.png
    SE::Google::KeywordPlanner::SearchVolume - исправлено определение $volume_type
  • 8a3a2303590ba57e3afc79f78c929651.png
    Maps::Google - исправлена работа с опцией Collect full region в некоторых случаях
  • Исправлена ситуация, когда в пресете настроек
    ec6f5f397c1761d53be929c2c4bc4d18.png
    SE::Yandex не сохранялся Region of serp
  • API: исправлена работа метода changeProxyCheckerState
  • API: исправлена ошибка из-за которой при использовании метода getAccountsCount парсер падал, если аккаунтов 0

 
Автор темы
Дайджест новостей A-Parser

Парсинг расшифровки Youtube видео
Новый пресет в Каталоге, в котором показан способ парсинга расшифровки Youtube видео с использованием встроенного парсера
d1b8964e293f60bd209bda1c779fe511.png
SE::YouTube::Video. Решение основано на выводе собираемых результатов в том виде, в котором они отображаются в браузере.

Парсер всех видео с Youtube канала
Обновление парсера для сбора списка видео (с их характеристиками) из Youtube каналов
]Исправлена работа с каналами, у которых всего 1 вкладка
Добавлена обработка Shorts, если они выдаются вместе с видео (или вместо видео)
Добавлена обработка случаев, когда канал не существует
Исправлен обход окна соглашения, которое появляется при запросах с IP некоторых стран
Исправлена логика повторных попыток, в некоторых случаях парсер их не делал
Парсинг популярных запросов за сутки Google Trends
Обновление парсера для сбора трендовых поисковых запросов из Google Trends
Парсер полностью переписан в связи с изменениями на источнике
Изменен набор собираемых данных
Изменен список параметров
Парсинг объявлений из olx.ua/olx.pl/olx.kz
Очередное обновление парсера данных из объявлений на OLX
Исправлен парсинг номеров телефонов
Парсинг Авито
Обновление парсера объявлений Аvito
Исправлена работа парсера
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.



 
Автор темы
Дайджест новостей A-Parser
Для PremiumMix прокси добавлены 3 новых недельных тарифа

  • Proxies PremiumMix 50 Gb / 1 week ($0.9 / Gb) - $45
  • Proxies PremiumMix 100 Gb / 1 week ($0.8 / Gb) - $80
  • Proxies PremiumMix 200 Gb / 1 week ($0.7 / Gb) - $140
Данные тарифы имеют все преимущества Premium тарифов, за исключением возможности гео-таргентинга:
  • База более 10 миллионов резидентных (домашних) IP адресов
  • Быстрое время отклика
  • Настройки ротации, включая случайный IP на каждый запрос и ротацию от 1 до 60 минут, а также режим Sticky. В режиме Sticky прокси не будет менять IP максимально возможное время
  • Подходит для браузинга и парсинга, с практически полным отсутствием CAPTCHA и банов
Оплата онлайн на a-parser.com. Дополнительная скидка 10% при оплате USDT/BTC/ETH/...
Парсер переводчика Libre Translate

Обновление переводчика Libre Translate, который использует API машинного перевода с открытым исходным кодом
  • Адаптация к изменениям в защите
Парсинг статистики с Social Blade
Обновление парсера сервис Social Blade, который отслеживает статистику пользователей YouTube, Twitch, Instagram, Facebook и Tiktok.
  • Парсер полностью переписан в связи с изменениями на источнике
  • Добавлен выбор социальной сети, для которой нужно парсить данные
  • Добавлена возможность указать кол-во страниц с результатами (100 результатов на страницу)
  • Изменен набор собираемых данных
Парсер Яндекс Кью
Обновление парсер для сервиса Яндекс Кью, который позволяет собирать списки вопросов и ответов к ним
  • Адаптация к изменениям на источнике
  • Возвращен выбор типа результатов (вопросы/ответы)
  • Парсер переписан на TypeScript
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.


 
Автор темы
1.2.2670 - адаптация встроенных парсеров к изменениям на источниках, исправление ошибок

998c9203854f0983892e48b9181ab9e1.png


Улучшения
  • Улучшена работа
    5fca79e10d960fd4dc2fd8bff3c0b816.png
    SE::Bing, на некоторых комбинациях настроек парсер зацикливался на получении Short output
  • В
    94927d6eef3b15f6e054b2c50172190a.png
    Browser::ScreenshotsMaker добавлен режим Fullscreen
Исправления в связи с изменениями в выдаче
  • 65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google - исправлен парсинг Desktop выдачи
  • 65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google - устранен пропуск ссылок на видео
  • 65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google - исправлена работа переменных $misspell и $corrected
  • 65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google - исправлен парсинг некоторых видов PAA
  • ec6f5f397c1761d53be929c2c4bc4d18.png
    SE::Yandex - адаптация к изменениям в мобильной выдаче
  • Исправлена работа
    417b7b635eb144cef35fb0eda0eac57b.png
    Social::Instagram::Tag, теперь для парсинга нужны куки
  • Исправлена работа
    b5b75fa579a79fb7ae6b9c8f0da74d45.png
    SE:😛interest
  • e80e0e3c2dad7ccb332a142fb58b598a.png
    SE::Google::Trends - минимизировано количество ошибок, парсер переписан на JS API v2
  • 5fca79e10d960fd4dc2fd8bff3c0b816.png
    SE::Bing - исправлена работа с запросами, содержащими поисковые операторы
Исправления
  • Исправлена работа
    0fe15996e76cd99d5a12158ee303f84b.png
    Net::Whois с некоторыми доменными зонами
  • В
    ec6f5f397c1761d53be929c2c4bc4d18.png
    SE::Yandex исправлен парсинг QA
  • В
    417b7b635eb144cef35fb0eda0eac57b.png
    Social::Instagram::Tag исправлена работа с кириллицей
  • Исправлена проблема с переподключением к редису в
    2fcae2f0f28e57d068d85d270a7f5528.png
    API::Server::Redis, проблема возникала при временной недоступности Redis сервера
  • Исправлена ошибка кодировки при выводе $query в Начальном тексте, проблема возникала только на Linux
  • Исправлена работа tools.js, в некоторых случаях функции с npm модулями не работали



 
Автор темы
1.2.2712 - исправления в связи с ужесточением парсинга со стороны Google
b2348b3677b1e6662ce18e6796878b93.png

Внеочередной релиз, в котором доступны все последние наработки для решения проблем, связанных с ужесточением парсинга со стороны Google.

Также в релиз вошли следующие изменения:
  • В
    e628100675f4ab45364b8f93c13a0b60.png
    SE::Yandex::Register исправлен ряд проблем и добавлена поддержка кук
  • В
    58f70831e093d4fc1ed5523c87106165.png
    Net::HTTP улучшена обработка cookies, добавлена опция Follow meta refresh
  • 8a3a2303590ba57e3afc79f78c929651.png
    Maps::Google адаптирован к изменениям в выдаче
  • Добавлена поддержка POST запросов при обходе Cloudflare
  • В парсерах Instagram добавлена возможность указания списка кук
  • Добавлен автоматический переход на http/1.1 если сервер не поддерживает http2
  • В
    94927d6eef3b15f6e054b2c50172190a.png
    Browser::ScreenshotsMaker добавлено открытие/закрытие страницы при каждом запросе вместо открытия/закрытия один раз на поток
  • Улучшена работа
    5fca79e10d960fd4dc2fd8bff3c0b816.png
    SE::Bing


 
Автор темы
Видео урок: Пробив доменов конкурентов с помощью Net::Whois

Новое видео по работе с A-Parser от DIM STUDIO в котором показано как пробить список доменов на сроки регистрации.

View: https://youtu.be/xA3IScy_TTM


Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!



 
Автор темы
Обновление цен на Proxies Premium
e9927a4becb218c9015353412d27e3af.png

Сравните старые и новые цены: чем больше объём — тем ниже цена за гигабайт.
Proxies Premium Тарифы на 1 неделю:
  • 50 ГБ Было: $75 ($1.5 / Gb) → Стало: $65 ($1.3 / Gb)
  • 100 ГБ Было: $140 ($1.4 / Gb) → Стало: $120 ($1.2 / Gb)
  • 200 ГБ Было: $260 ($1.3 / Gb) → Стало: $220 ($1.1 / Gb)
  • 500 ГБ Было: $600 ($1.2 / Gb) → Стало: $500 ($1 / Gb)
Proxies Premium Тарифы на 1 месяц:
  • 50 ГБ Было: $95 ($1.9 / Gb) → Стало: $85 ($1.7 / Gb)
  • 100 ГБ Было: $170 ($1.7 / Gb) → Стало: $140 ($1.4 / Gb)
  • 300 ГБ Было: $450 ($1.5 / Gb) → Стало: $390 ($1.3 / Gb)
  • 500 ГБ Было: $650 ($1.3 / Gb) → Стало: $550 ($1.1 / Gb)
  • 1000 ГБ Было: $1200 ($1.2 / Gb) → Стало: $1000 ($1 / Gb)
  • 3000 ГБ Было: $3300 ($1.1 / Gb) → Стало: $3000 ($1 / Gb)
  • 5000 ГБ Было: $5000 ($1 / Gb) → Стало: $4500 ($0.9 / Gb)
PremiumMix (No geo targeting) на 1 неделю:
  • 50 ГБ Было: $45 ($0.9 / Gb) → Стало: $40 ($0.8 / Gb)
  • 100 ГБ Было: $80 ($0.8 / Gb) → Стало: $70 ($0.7 / Gb)
  • 200 ГБ Было: $140 ($0.7 / Gb) → Стало: $120 ($0.6 / Gb)
PremiumMix (No geo targeting) на 1 месяц:
  • 500 ГБ Было: $300 ($0.6 / Gb) → Стало: $250 ($0.5 / Gb)
  • 1000 ГБ Было: $500 ($0.5 / Gb) → Стало: $400 ($0.4 / Gb)
  • 3000 ГБ Было: $1200 ($0.4 / Gb) → Стало: $900 ($0.3 / Gb)

 
Автор темы
Дайджест новостей A-Parser

Очистка текстов, сгенерированных ИИ

Новый парсер для удаления из текстов признаков их генерации системами ИИ
  • Поддерживает запросы в виде текстов, файлов и папок с файлами
  • Позволяет настраивать опции очистки
  • Работает без http запросов и прокси
Парсинг Авито

Обновление парсера Avito
  • Сбор телефонов теперь происходит через браузер
  • Добавлена функция Parse phone max pages, которая задает максимальное количество окон браузера для сбора телефонов.
  • Также исправлены другие проблемы, которые были со сбором: фото, просмотров и локации
Парсер Google Places

Обновление парсера Google Places
  • Добавлено получение cid компании для формирования ссылки на нее в гугл-картах

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.




 
Автор темы
1.2.2840 - обновление NodeJS, многостраничный парсинг Гугл карт, изменение таймаута в Util парсерах
b16ddb7066d3e80e5c71370fa046a173.png

Улучшения
  • NodeJS обновлен до версии 22.15.1
  • Во всех парсерах Яндекс теперь используется общий модуль авторизации (где это необходимо)
  • ec6f5f397c1761d53be929c2c4bc4d18.png
    SE::Yandex - добавлена возможность отключать сессии
  • 8a3a2303590ba57e3afc79f78c929651.png
    Maps::Google - реализована возможность многостраничного парсинга, добавлен сбор одиночного результата
  • 67f9e1374ad7f8dcb07d27353965c9d6.png
    OpenAI::ChatGPT - обновлены модели, добавлена опция Additional options для указания дополнительных параметров
  • 1e9159244312da8bfc8aa3ca26c1a0d7.png
    Check::BackLink - проверка robots.txt теперь учитывает параметр Don't verify TLS certs
  • В
    96f6cdc8560e8e5178125cc4cdb85e28.png
    Util::AntiGate добавлена поддержка Botlab для текстовых каптч
  • В Util::* парсерах изменено значение таймаута по-умолчанию:
    • для AntiCaptcha - 5 сек
    • для других провайдеров - 15 сек
    • это обновление важно для всех, кто сталкивался с блокировкой от сервисов разгадывания за слишком большое количество запросов с ошибками
Исправления в связи с изменениями в выдаче
Исправления
  • 65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google - исправлен обход редиректа на Linux

 
Автор темы
Дайджест новостей A-Parser
Парсинг популярных запросов за сутки Google Trends

Обновление парсера для сбора поисковых трендов за сутки с Google Trends.
  • Теперь в качестве запросов нужно указывать код региона, для которого нужно собрать тренды.
    Тем самым можно сразу парсить данные со всех необходимых регионов.
Rozetka - получение данных по API
Обновление парсера для сбора данных о товарах на торговой площадке Rozetka.
  • Парсер полностью переписан и адаптирован к актуальному API Rozetka
  • Изменен набор собираемых данных
Парсер постов из X (Twitter)
Обновление парсера постов из социальной сети X (Twitter).
  • Парсер переписан на TypeScript(API v2)
  • Улучшена работа с браузером
  • Полностью изменены собираемые данные
  • Вывод всех результатов в CSV таблицу
  • Убраны опции Posts count и Pages count, т.к. больше нет возможности их использовать
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.



 
Автор темы
Тестовый пакет Premium Proxy на 3 Гигабайта для всех
ec7d061f6fa4c333645057ae2903a0d3.png


Только 3 дня - тестовый пакет Premium Proxy на 3 Гигабайта для всех!
Доступно всем, даже если у вас нет лицензии на A-Parser или если вы уже использовали триал
✅ Варианты использования не ограничены, идеально подходит как для парсинга, так и для браузинга
✅ 10 миллионов IP адресов в 200 странах и 5000+ городах
Подробное описание, для активации триала перейдите в Личный кабинет



 
Автор темы
1.2.2875 - 6 новых FreeAI парсеров, парсинг ИИ ответов в Google и Яндекс, исправление ошибок
55337a071044ca7dbd085a21400a26a5.png

Улучшения
  • Добавлено 6 новых FreeAI парсеров, каждый из которых предоставляет возможность парсить ИИ ответы с соответствующих сервисов без необходимости регистрации и использования API:
  • В
    65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google добавлена возможность парсить AI Overview (ИИ ответ) вместе с массивом источников
  • В
    ec6f5f397c1761d53be929c2c4bc4d18.png
    SE::Yandex добавлена возможность парсить ответ от Алисы (ИИ ответ) вместе с массивом источников
  • В
    e41effabf18ae5127a1dab7d627646f6.png
    SE::Yandex::WordCraft добавлена опция Parse queries for Rivals pages, при включении которой собираются популярные запросы для каждой из ссылок в Rivals pages
  • В
    65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google улучшен сбор totalcount
  • В
    0fe15996e76cd99d5a12158ee303f84b.png
    Net::Whois обновлен whois сервер для зоны .in
Исправления в связи с изменениями в выдаче
  • В
    65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google исправлен парсинг ссылок и парсинг дат в сниппетах, а также исправлен парсинг выдачи при Serp type=Videos
  • В
    ec6f5f397c1761d53be929c2c4bc4d18.png
    SE::Yandex исправлено определение десктоп/мобильной выдачи
  • В
    5fca79e10d960fd4dc2fd8bff3c0b816.png
    SE::Bing исправлен парсинг анкоров и сниппетов в некоторых случаях
  • Адаптация к изменениям на источнике в
    f53f3f1baed04aaedb2a1142db109894.png
    SE::Yandex::ByImage
Исправления
  • Множество исправлений в браузерном режиме парсера
    ec6f5f397c1761d53be929c2c4bc4d18.png
    SE::Yandex
  • Исправлено декодирование некоторых ссылок в
    5fca79e10d960fd4dc2fd8bff3c0b816.png
    SE::Bing
  • В
    3a8c7dc66704a2f8a6fefc7ddacd5893.png
    Maps::Yandex исправлена проблема утечки памяти

 

Похожие темы Последние темы Популярные темы

Назад
Сверху