Редактор темы

A-parser 1.1 - продвинутый парсер поисковых систем, suggest, pr, dmoz, whois, etc

Автор темы
ссылка на чат мертвая

Ссылку исправили.

Видео урок: Сбор форм обратной связи с тематических ресурсов +200 OK

Новый видео урок по работе с A-Parser от DIM STUDIO, в котором рассмотрен способ сбора форм обратной связи с тематических ресурсов.

View: https://www.youtube.com/embed/idhtDKBrucI


В данном уроке показано как собрать формы обратной связи с тематических ресурсов с последующей проверкой на 200 OK через A-Parser для подготовки к последующему прогону через Xrumer.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 
Автор темы
1.2.1353 - Обновление NodeJS, поддержка Windows 11 и Windows Server 2022

f489d97dedc4a3da4c472dddfbe96425.png


Улучшения
  • NodeJS обновлен до версии 16.11.0
  • Добавлена полная поддержка ОС Windows 11 и Windows Server 2022
  • В
    b773f813b87fb0beb294f416c81b72d3.png
    SE::Google::Translate добавлена опция Device, которая позволяет переключаться между mobile и desktop версиями переводчика
  • Улучшена работа с очень большими запросами в
    5f543a10d0b9c5ee2ecbd8fd658801c6.png
    DeepL::Translator
  • Улучшен алгоритм разделения запросов на части в
    574148506b7f44ba83d5ce1db06619de.png
    SE::Yandex::Translate, теперь он максимально приближен к оригиналу
  • В
    873d3d4e107b9e5ea531ed7e88c7c601.png
    SE::Google::Cache добавлена переменная $link, содержащая ссылку из тулбара
  • В
    957c75b68a5cf937dafc6bc54fe24b41.png
    Shop::Amazon добавлена возможность парсить ASIN товаров
  • В
    dcf4756d2e9cd056233209a2feea80b2.png
    Rank::MajesticSEO добавлена возможность собирать Incoming Languages и Site Languages
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг рекламы в
    65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google
  • Исправлен парсинг $related в desktop выдаче
    ec6f5f397c1761d53be929c2c4bc4d18.png
    SE::Yandex
  • Исправлен парсинг сниппетов в desktop выдаче и парсинг mobile выдачи в целом в
    5fca79e10d960fd4dc2fd8bff3c0b816.png
    SE::Bing
  • Исправлена работа парсеров
    8fe6c72b255512af582deba3f0df7b57.png
    Rank::Ahrefs и
    bd5e722b54725525dda36d78e50227fb.png
    Rank::Ahrefs::KeywordDifficulty
  • Rank::LinkPad удален из сборки в связи с закрытием доступа к данным
  • Исправлен парсинг $totalcount в
    d3d85ea18c77d74807b8601453e39f4d.png
    SE::Yahoo
Исправления
  • Исправлена ошибка с символом $ в
    5f543a10d0b9c5ee2ecbd8fd658801c6.png
    DeepL::Translator
  • Исправлена работа прокси при использовании движка Chrome в
    58f70831e093d4fc1ed5523c87106165.png
    Net::HTTP
  • Исправлена проблема стабильности при использовании в некоторых случаях
    740a5ef8fe18eae4c2a73e6559116b60.png
    HTML::TextExtractor и
    d0827143f4394d7552f7a6077527d74d.png
    HTML::TextExtractor::LangDetect
  • Исправлена проблема из-за которой
    952f34b1f44b060a7d57c29953160b4e.png
    SE::Youtube иногда завершался с ошибкой
  • Исправлен вывод исходников страниц в
    3e6e0ed09b6b46f980f25a7da8c61661.png
    SE::Google::ByImage

 
Автор темы
Сборник статей #14: авторизация на сайтах, скачивание изображений и парсинг Telegram

Представляем 14-й сборник статей, в который вошли обзор вариантов авторизации на сайтах, статья о скачивании изображений из сайтов и способ получения сообщений из чатов Telegram.

Варианты авторизации на сайте с помощью A-Parser

В статье рассмотрено 3 основных варианта авторизации на сайте с использованием различного функционала A-Parser.

6e05008b6f3b2c57db84a2b0f25b6abd.gif


Скачивание всех изображений из сайта

Обзор решения задачи по скачиванию всех изображений из сайта. В статье рассмотрено 2 способа парсинга и показаны преимущества и недостатки каждого.

c58ea386ac3f33786fa2d52b0c452ee4.png


Способ получения данных с чатов Телеграм используя экспорт сообщений

Статья, посвященная вопросу парсинга данных из Telegram. В статье описаны и сравниваются между собой встроенный в клиент Telegram экспорт сообщений и парсинг с помощью A-Parser.

571d01446fe7453382e857f853610c90.png


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 
Автор темы
72ccd75c890fdf45e79af23599213eb4.png


Команда A-Parser поздравляет всех с Новым годом 2022!

В преддверии наступающего года, хочется выразить благодарность за проявление доверительного отношения к нам и пожелать всем огромных успехов в новом году. Пусть этот год станет стартовой площадкой для новых взлётов, достижений, открытий, побед! Желаем Вам интересных, успешных новых проектов и надежных партнеров. Пусть осуществится все задуманное и запланированное! С Новым годом!

Релиз стабильной сборки А-Парсера - 1.2.1403


Улучшения
  • В парсеры позиций добавлена возможность искать позиции по части ссылки или по вхождению подстроки (Match type - By substring)
  • В SE::Youtube добавлена возможность выбирать тип выдачи (Desktop/Mobile)
  • Добавлен парсинг альтернативных переводов в DeepL::Translator
  • Улучшен алгоритм авторизации по email : password в SE::Google::KeywordPlanner
  • Реализована корректная обработка редиректа robots.txt в парсере Check::BackLink
  • JS парсеры: в this.request добавлена опция follow_common_redirects, работает аналогично соответствующей настройке в Net::HTTP
  • В связи с неактуальностью удалены следующие парсеры: SE::Bing::LangDetect, Rank::Linkpad, Rank::SEMrush. Также удален SE::Google::Modern, вместо него нужно использовать SE::Google
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена работа авторизации в SE::Google::KeywordPlanner
  • Исправлено использование прокси в Net::HTTP при Engine = Chrome
  • Исправлена проблема в SE::Google::Translate, из-за которой не менялись прокси при переборе попыток
  • В Net::HTTP исправлена ошибка, из-за которой не завершался поток, появилась в одной из предыдущих версий
  • Исправлена работа функции Bypass CloudFlare на некоторых сайтах
  • Исправлен режим работы -foreground
График работы поддержки на праздники: Работа поддержки на новогодние праздники


Курс по заработку на дропах и PBN используя A-Parser (+включает лицензию)

9865df3ecfee5cb678e2515f1fd8a5f8.jpg


Наш хороший друг Николай Кодий (Дропы и PBN) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Старт - 17 января.

Что это за обучение?
Николай научит и покажет на реальных кейсах и примерах:
  • какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится.
  • как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло,
  • как строить PBN, что с ними делать дальше и как на них зарабатывать.
  • как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики.

Для кого это обучение?
  • Для владельцев агентств, которые хотят выходить на заказы для буржа и открывать отдел pbn. Для тех, кто хочет нанимать подрядчиков для построения pbn, понимать процесс и контролировать качество работы.
  • Для частных и работающих в найме seo-мастеров, которые хотят оказывать услугу по поиску дропов и построению сеток.
  • Для тех, кто ищет новые методы линкбилдинга.
  • Для тех, кто хочет освоить в новом году новую профессию. И стать специалистом в PBN.
Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
И на FB странице Николая - Nikolay Kodiy
 
Автор темы
Успей купить A-Parser по прежней цене до 15 февраля

Объявляем о первом повышении цен за 10 лет, за этот период времени мы выпустили бесчисленное количество новых версий, создав из простого парсера поисковых систем полноценную платформу по разработке парсеров любых типов данных на современном JavaScript и TypeScript.

И мы не планируем останавливаться, мы стремимся к тому, чтобы A-Parser всегда был для наших клиентов максимально полезен и эффективен, поэтому главным приоритетом для нас является разработка новых функций, добавление новых парсеров и поддержка работоспособности всех существующих.

В течение месяца вы сможете успеть купить A-Parser по старой цене. Новые тарифы вступят в силу 15 Февраля 2022



Для существующих клиентов мы сохраним цены на обновления, дополнительные IP и повышения лицензий в течении 3 месяцев, новые цены для существующих клиентов вступят в силу с 15 апреля

 
Автор темы
1.2.1432 - многоядерная обработка заданий, парсеры Wildberries, оптимизация производительности

99e3b4eeb4c286ce391df61e4253cda2.png


В версии 1.2.1432 добавлена долгожданная возможность обработки разных заданий на нескольких ядрах процессора, что многократно увеличивает производительность заданий, требовательных к CPU. Данная возможность доступна только для лицензии Enterprise, успейте сделать апгрейд до повышения цен

Улучшения
  • Добавлены новые парсеры:
  • Добавлена поддержка обработки заданий на разных ядрах процессора, данная возможность доступна только для лицензии Enterprise и многократно ускоряет обработку нескольких заданий в очереди
  • Оптимизация скорости начальной загрузки и общей производительности JS парсеров, скорость загрузки A-Parser выросла на 30-50%
  • В интерфейсе добавлен выбор версии API при создании парсеров
  • Улучшена работа опции Detect charset on content
  • В
    65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google обновлен список доменов
  • В
    ba8a0aa2aad3ed377d1b80651d16ffe4.png
    SE::Yandex:: Direct обновлен список регионов
  • В
    1e9159244312da8bfc8aa3ca26c1a0d7.png
    Check::BackLink добавлена возможность проверки ссылки без указания протокола в режиме поиска по подстроке
Исправления в связи с изменениями в выдаче
  • Исправлена работа
    ec6f5f397c1761d53be929c2c4bc4d18.png
    SE::Yandex
  • Исправлено получение $commentscount в
    957c75b68a5cf937dafc6bc54fe24b41.png
    Shop::Amazon
  • Исправлен сбор $number_sales в
    bf18ef8fee0ba69f13a785fadf65e303.png
    Shop::eBay
  • Исправлена работа
    ba8a0aa2aad3ed377d1b80651d16ffe4.png
    SE::Yandex:: Direct
  • Исправлена работа парсеров Bukvarix
Исправления
  • Исправлена работа
    65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google с доменом google.com.bd
  • Исправлен сбор ссылок в
    2dd510ecee78478c2faa07ffd46d1649.png
    HTML::LinkExtractor в некоторых случаях
  • Исправлен баг интерфейса, из-за которого в Планировщике была скрыта кнопка удаления заданий

Напоминаем, вы можете успеть купить A-Parser по старой цене. Новые тарифы вступят в силу 15 Февраля 2022


 
Автор темы
Сборник рецептов #49: генерация картинок и текстов, парсер adult ключевых слов

49-й сборник рецептов, в котором собраны парсер для генерации картинок, парсер для генерации текстов и парсер ключевых слов адалт тематики.

Генерация картинок ruDALL-E

Парсер, позволяющий автоматически массово генерировать уникальные изображения по списку ключевых слов с помощью нейросети ruDALL-E.

f2d9a664710edfea0ab82b7075a1d5ed.png


Яндекс Балабоба - генератор текстов от Яндекс

Данный парсер использует сервис Яндекс Балабоба для генерации коротких текстов по списку ключевых слов или предложений. Также возможна генерация текстов рекламных объявлений для доменов.

e4a3185577977e820500228c7be4cd7f.png


Подсказки NudeVista

Парсер адалт подсказок из сайта nudevista.com. Может использоваться для парсинга списков ключевых слов adult тематики.

1753a0aa8817a90bfcd421261aa98b5a.png


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов



Напоминаем, вы можете успеть купить A-Parser по старой цене. Новые тарифы вступят в силу 15 Февраля 2022

 
Автор темы
Сборник статей #15: разработка TypeScript парсеров и массовая индексация в Google

Представляем 15-й сборник статей, в который вошли статья о разработке TypeScript парсера для генерации картинок с помощью нейросети и статья об опыте массовой индексации страниц в Google.

Генерация картинок ruDALL-E. Мануал по созданию TS парсера
В прошлом сборнике рецептов мы опубликовали парсер для генерации картинок ruDALL-E. Сегодня же мы представляем вам развернутую статью, где подробно рассказано об общем подходе к написанию таких парсеров и описан процесс разработки.
Ознакомиться с функционалом данного парсера можно в обзорном видео от нашего партнера DIM STUDIO:

View: https://www.youtube.com/embed/qmN33G-l34U


Как проиндексировать сайт в Google и повысить видимость
Статья на vc.ru о том, как за 10 дней было проиндексировано более чем 30 000 страниц сайта в Google.
Для массовой индексации в Google использовался скрипт на Python и Google Indexing API.
Для проверки индексации использовался A-Parser, в нашем Каталоге есть пример такого пресета: Пресет проверки индексации страниц

166d6d2d70199645d5c094b1142a3df0.jpg


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 
Автор темы
1.2.1511 - улучшение работы с Chrome и обхода защит, обновление NodeJS, парсер подсказок Wildberries

3acf230b8012adbd26e6ed3276ed4142.png


Улучшения
  • Реализован обход защит по TLS отпечаткам, теперь запросы A-Parser на 100% выглядят как Chrome
  • NodeJS обновлен до 16.15.0
  • В
    65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google добавлен параметр Narrow results by region, который позволяет сузить поиск до конкретной страны
  • В парсере
    8a3a2303590ba57e3afc79f78c929651.png
    Maps::Google добавлен автоматический обход координат в заданном регионе, детальнее здесь
  • В
    7e161f82a7bce7ce0d62d261c69ac71b.png
    Telegram::GroupScraper добавлена опция Start message number, которая позволяет задать с какого номера собирать сообщения в телеграм чате
  • В
    952f34b1f44b060a7d57c29953160b4e.png
    SE::YouTube добавлен сбор количества подписчиков канала
  • В
    e80e0e3c2dad7ccb332a142fb58b598a.png
    SE::Google::Trends добавлен сбор id тем для related topics
  • В парсере
    27bde6debffdda15f115a3f04a0cc15e.png
    Shop::Wildberries:: ProductsList добавлен сбор ключей из "Еще ищут" и "Возможно вам понравится"
  • Добавлен парсер подсказок Wildberries:
    3a835136799d9cbf7cf376fd778f5657.png
    Shop::Wildberries::Suggest
  • В
    225ddd83c270a41c27dccc95cce50678.png
    Shop::Wildberries:: ProductInfo добавлен сбор дополнительных данных
  • В
    cdc65496915691d6c695bd88472d36e2.png
    SE::Google::Images добавлены новые типы в Usage rights
  • Добавлена возможность выводить исходные данные (raw data) в парсерах Ahrefs
  • В
    58f70831e093d4fc1ed5523c87106165.png
    Net::HTTP и JS парсерах добавлена опция Randomize TLS Fingerprint
  • Улучшена работа с Chromium из JavaScript парсеров
  • В
    58f70831e093d4fc1ed5523c87106165.png
    Net::HTTP и this.request() теперь по-умолчанию используется user-agent последнего Chrome
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена ошибка в
    27bde6debffdda15f115a3f04a0cc15e.png
    Shop::Wildberries:: ProductsList, из-за которой с некоторыми запросами не выводился $totalcount
  • Исправлена загрузка каптч в
    300a25a2dc73b2271828d9cd5f705913.png
    SE::Yandex::Images
  • Устранена утечка памяти в парсере
    5f543a10d0b9c5ee2ecbd8fd658801c6.png
    DeepL::Translator, а также другие ошибки
  • Исправлена работа проксичекера с socks5 IPv6 прокси
  • Исправлена работа опции Don't verify TLS certs в некоторых случаях
  • Устранена утечка памяти при частом запуске заданий или использовании API, утечка была связана с внутренним багом NodeJS
  • Исправлено зависание Тестового парсинга при редактировании кода парсеров
  • Исправлен проход по редиректам в HTML::LinkExtractor
  • Исправлен выбор домена в SE::Yahoo
  • Исправлена заспамленость лога ошибками при использовании Maps::Yandex
  • Исправлен сбор результатов $records в Net:: DNS
  • Исправлена ошибка когда не находилась следующая страница опцией Check next page

 
Автор темы
Сборник рецептов #50: скриншоты выдачи Google и подсказки Авито

50-й сборник рецептов, в который вошли парсер для создания скриншотов выдачи встроенного парсера (на примере Google) и парсер подсказок Avito.

Скриншоты выдачи Google

Демонстрация способа создания скриншотов страниц, получаемых другими парсерами.
Для примера используется парсер Google. В результате формируется файл со списком спаршенных ссылок и файл со списком созданных скриншотов. Скриншоты складываются в отдельную папку. По аналогии можно делать скриншоты выдачи, получаемой другими парсерами.

3b9eb01b3276f564d5a974cc539de18b.png


Подсказки Авито

Парсер для сбора подсказок на Авито с возможностью указать локацию и парсингом в глубину.

412add0feb3f54d42d1a55a4b3c82064.png



Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 
Автор темы
Курс «Специалист по дропам и PBN», используя A-Parser (+включает лицензию)

e2cabac2459b1b91a665eb812e37678e.jpg


Наш хороший друг Николай Кодий (Дропы и PBN) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Старт - 27 июня.

Что это за обучение?
Николай научит и покажет на реальных кейсах и примерах:
  • какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится
  • как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло
  • как строить PBN, что с ними делать дальше и как на них зарабатывать
  • как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики

Для кого это обучение?
  • Для владельцев агентств, которые хотят выходить на заказы для буржа и открывать отдел pbn. Для тех, кто хочет нанимать подрядчиков для построения PBN, понимать процесс и контролировать качество работы.
  • Для частных и работающих в найме seo-мастеров, которые хотят оказывать услугу по поиску дропов и построению сеток. Или кто хочет строить сетки под свои проекты. Для тех, кто ищет новые методы линкбилдинга.
  • Для тех, кто хочет с нуля освоить в новом году новую профессию. И стать специалистом в денежной сфере — PBN.

Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Подробнее о курсе читайте на ленде курса - kurs.pbn.link
И на FB странице Николая - Facebook
 
Автор темы
1.2.1549 - новый парсер CoinMarketCap, полностью переписаны 9 парсеров и новые опции в существующих

8578c6a18f90d612451198af3f9503da.png


Улучшения
  • Добавлен новый парсер
    2e51bdd4b71e8080a0d3330cb0e56ffe.png
    CoinMarketCap::LastPrice
  • Парсер
    e628100675f4ab45364b8f93c13a0b60.png
    SE::Yandex::Register полностью переписан, восстановлена возможность регистрировать аккаунты
  • Парсеры
    8aa438b3f371f86f72942130cbb8562f.png
    SE::Yandex::WordStat,
    26d3e19cf0edc5e7f25ee88655430929.png
    SE::Yandex::WordStat::ByDate и
    d8999a631d7e94980a25bad989d12d61.png
    SE::Yandex::WordStat::ByRegion полностью переписаны, добавлен новый функционал (выбор способа авторизации, регистрация аккаунтов "на лету", сессии...), полный список изменений здесь
  • bc27f1afcdd2b1b94c895408cf2e5cda.png
    HTML::EmailExtractor полностью переписан, благодаря использованию в качестве основы
    2dd510ecee78478c2faa07ffd46d1649.png
    HTML::LinkExtractor кроме собственно парсинга почт, стали доступными множество возможностей: сбор ссылок, парсинг в глубину, использование Chrome и т.д.
  • Все парсеры Instagram переписаны на JS APIv2, а также адаптированы к изменениям на источнике, больше информации здесь
  • Увеличено максимальное кол-во страниц в
    65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google до 100
  • Добавлен сбор даты со сниппета в парсерах Google
  • В парсере
    5fca79e10d960fd4dc2fd8bff3c0b816.png
    SE::Bing добавлена опция Fix pagination bug, устраняющая баг в поиске Bing, из-за которого отдаются пустые 2-я и последующие страницы
  • В парсере
    225ddd83c270a41c27dccc95cce50678.png
    Shop::Wildberries:: ProductInfo добавлен сбор данных о продавце и возможность определять наличие товара
  • В парсере
    fc3300746bbfa4547bf64b0009c15a9d.png
    SE::Startpage добавлена опция Links per page и обновлен список доступных вариантов в существующих опциях
  • В
    36a93bf3c271b453c8e1bd64eb24e8ab.png
    SE:: DuckDuckGo добавлено опцию Use HTTP/2
  • 58f70831e093d4fc1ed5523c87106165.png
    Net::HTTP: добавлена опция Ban Proxy Code RegEx
  • Добавлена возможность задавать произвольный уровень для подзапросов (query.add)
  • Добавлена опция needResults для this.parser.request
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена работа HTTP keep-alive, в некоторых случаях сокет закрывался раньше времени
  • Исправлена ошибка в опции Follow common redirects
  • Redis API: исправлена работа некоторых парсеров, проблема возникала с парсерами, использующими оптимизацию результатов

 
Автор темы
Сборник рецептов #51: история IP-адресов и парсинг страниц контактов

51-й сборник рецептов, в котором мы делимся парсером сервиса builtwith.com и пресетом для сбора страниц контактов и контактных данных.

Парсер BuiltWith.com. История IP-адресов и взаимосвязи

Сервис builtwith.com предоставляет пользователям различные данные которые помогают в лидогенерации, аналитике продаж и информации о доле ранка передовых технологи.
Для демонстрации возможностей А-Парсера по созданию JavaScript парсеров и обхода капчи в кастомных парсерах был создан данный пример, который реализует сбор малой части возможностей сервиса builtwith.com, а именно: сбор истории IP-адресов по нужному домену и другие веб-сайты, которые имеют общие IP-адреса с введенным доменом. Полезен SEO-специалистам для поиска сайтов конкурентов, сеток конкурентов, айпи адресов в временном промежутке.

a504825b834fc2c8a909699a41b2452b.png


Парсинг страниц контактов, страниц Privacy Policy и Terms of use, email, соц. сети

При помощи данного парсера можно собрать контактные данные со страниц контактов и страниц о компании. Страницы контактов часто содержат контактную форму, поэтому ссылку на нее тоже выводим в результат. Так же парсер собирает страницы Privacy Policy и Terms of use, на страницах которых иногда есть email. Дополнительно происходит сбор соц. сетей (фейсбук и твиттер). Все это необходимо для того чтобы можно было связаться по различным каналам с владельцами или администрацией сайтов для взаимодействия и сотрудничества.

a47f504b6f48d1ea415c22546b2a07c3.png



Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 
Автор темы
1.2.1604 - парсинг Google People also ask, новые методы в JS парсерах, адаптация к изменениям

986f02dffdcda1d813a999d4839de875.png


Улучшения
  • В
    65d863ceb0b578ac549596ea6cfbe3f9.png
    SE::Google добавлен парсинг People also ask
  • В
    8fe6c72b255512af582deba3f0df7b57.png
    Rank::Ahrefs добавлен новый метод парсинга, данные, получаемые старым способом немного отличались от таковых в браузере
  • Реализована защита от gzip bomb
  • В
    e628100675f4ab45364b8f93c13a0b60.png
    SE::Yandex::Register улучшена работа с номерами и оптимизирован процесс регистрации
  • Улучшена работа с сессиями в
    8aa438b3f371f86f72942130cbb8562f.png
    SE::Yandex::WordStat
  • Для парсеров Яндекс добавлена возможность использовать аккаунты на своих доменах
  • Во всех парсерах Яндекса работа со smart captcha адаптирована к изменениям на источниках
  • JS парсеры: добавлен метод this.puppeteer.logScreenshot(), он позволяет логировать скриншот текущей страницы
  • JS парсеры: добавлены методы this.isContextAlive(), this.console.log, this.console.setPrefix и .setGlobalConsolePrefix, подробнее здесь и здесь
  • В
    26d3e19cf0edc5e7f25ee88655430929.png
    SE::Yandex::WordStat::ByDate добавлена корректная обработка ситуаций, когда по запросу нет результатов
  • 740a5ef8fe18eae4c2a73e6559116b60.png
    HTML::TextExtractor - оптимизирована скорость обработки
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена проблема с зависанием
    d0827143f4394d7552f7a6077527d74d.png
    HTML::TextExtractor::LangDetect на некоторых запросах
  • Исправлена работа методов tools.task.* в JS API v2
  • Исправлена ошибка кодировки в
    58f70831e093d4fc1ed5523c87106165.png
    Net::HTTP
  • Исправлена работа с прокси в Puppeteer, проблема появилась в одной из предыдущих версий
  • Исправлена ошибка со сбором title в
    225ddd83c270a41c27dccc95cce50678.png
    Shop::Wildberries:: ProductInfo в некоторых случаях
  • В
    27bde6debffdda15f115a3f04a0cc15e.png
    Shop::Wildberries:: ProductsList исправлен парсинг тегов
  • Исправлена работа
    4afa5aa897af7c90e098b7389b40f8f0.png
    SE::Bing::Translator в некоторых случаях
  • Исправлена некорректная инициализация Node на лицензии Enterprise
  • В
    5fca79e10d960fd4dc2fd8bff3c0b816.png
    SE::Bing - исправлена ошибка с выводом $pages

 
Автор темы
Как использовать A-Parser для крауд-маркетинга


Наши друзья из Ant-Team.ru сняли полезное видео о том, как использовать A-Parser для крауд-маркетинга.

Крауд-маркетинг использует отзывы и комментарии на сторонних ресурсах для продвижения компании.

В видео показано, как выставить настройки в A-Parser, чтобы парсить поисковую выдачу Яндекс по информационным запросам, и какие переменные нужны для парсинга. Дана подробная инструкция, как добавлять в A-Parser прокси и сервисы разгадывания капчи.

Также вы узнаете, как проверять качество ссылочной массы, рейтинг домена, беклинки и т.д.


Подписывайтесь на их телеграм-канал, там много полезной информации по SEO: SEO от Ant-Team
 
какой то стремный сайт и загружается больше минуты, картинки вообще не прогружаются! рна такие сайты подобной тематики клиенты не идут, ибо если они свой сайт не смогли оптимизировать, то что они вообще могут сделать?
 
Автор темы
Автоматизация в SEO: как заменить отдел джунов парсером?

Совсем недавно прошла юбилейная десятая онлайн-конференция по интернет-маркетингу Baltic Digital Days. Специалист по SEO Георгий Шилов выступил с докладом на тему "Автоматизация в SEO: как заменить отдел джунов парсером?"


В докладе содержится много полезной информации по использованию A-Parser. Вы узнаете:

  • Что такое парсер
  • Сколько стоит джун в SEO
  • Проблемы в SEO
  • Автоматизация рутинных задач
  • Кластеризация
  • Мониторинг позиций
  • Комбинируем пресеты для решения любых задач
  • Тех. анализ и мониторинг

и другие решения с помощью A-Parser

 
Сколько не гуглил на Джун одни корейские или китайские актеры вылазят. Что это за понятие такое? Кто или что это такое/какое?
От слова junior. В русском языке есть слово с аналогичным корнем - "юный"
 

Похожие темы Последние темы Популярные темы

Назад
Сверху