A-parser 1.1 - продвинутый парсер поисковых систем, suggest, pr, dmoz, whois, etc

A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 60 парсеров






A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:

• SEO-оптимизация сайтов и Web-аналитика
  
  • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
    
  • Оценка сайтов и доменов по множеству параметров
    
  • Мониторинг позиции любых сайтов в поисковых системах
    
  • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
    
  • Отслеживание обратных ссылок
    
  • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
    
  • Сбор и оценка ключевых слов
    
  • Сбор списка обратных ссылок
    
  • И многое другое
• Web-безопасность
  
  • Сбор и фильтрация баз ссылок по признакам
    
  • Определение CMS сайтов
    
  • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
• Сетевое администрирование
  
  • Работа с DNS службой - резолвинг доменов в IP адреса
    
  • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера

A-Parser обладает следующими преимуществами:

• Колоссальная производительность
  
  • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
    
  • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
    
  • Множественные оптимизации сложных операций
    
  • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
    
• Промышленные масштабы
  
  • Парсер разрабатывался с учетом работы с неограниченным размером данных
    
  • Способен обрабатывать сотни миллионов и миллиардов запросов
    
  • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
    
• Автономность
  
  • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
    
  • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
    
  • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
    
• Поддержка более 60 парсеров
  
  • Парсеры поисковых систем: Google, Yandex, AOL, Bing, Baidu, DuckDuckGo, QIP, Yahoo, YouTube
    
  • Парсеры подсказок поисковых систем: Google, Yandex, Bing, Yahoo
    
  • Парсеры и анализ ключевых слов: кейворды и частотность по Yandex.WordStat, в т.ч. по датам и регионам; частотность по Yandex.Direct; Google Trends
    
  • Регистрация аккаунтов: Yandex
    
  • Парсеры параметров сайтов и доменов: позиции в поисковых системах Google, Yandex, QIP; PageRank, TrustRank, Compromised, SafeBrowsing, LangDetect, LangDetect через Bing, тИЦ, Whois, DNS, CMS, Ahrefs, Alexa, Category, DMOZ, Linkpad, MajesticSEO, OpenSiteExplorer, SEMrush
    
  • Парсеры различных сервисов: Bing Translator, Google Images, Bing Images, Google Maps, Yandex.Direct, AntiGate
    
  • Парсеры контента: TextExtractor, LinkExtractor, BackLink, HTTP парсер для создания произвольных парсеров
    
• Создание собственных парсеров
  
  • Использование регулярных выражений
    
  • Поддержка многостраничного парсинга
    
  • Проверка контента и наличия следующей страницы
    
• Мощные инструменты для формирования запросов и результатов
  
  • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
    
  • Подстановки для запросов: из файла; перебор слов, символов и цифр
    
  • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
    
  • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
    
  • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
    
• Гибкость настроек
  
  • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
    
  • Настроить можно все - никаких рамок и ограничений
    
  • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
    
• Сетевые возможности
  
  • Поддержка HTTP/1.1 и HTTPS
    
  • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
    
  • Полностью асинхронная работа с сетью, в т.ч. с DNS
    
• API
  
  • Возможность интегрировать и управлять парсером из своих программ и скриптов
    
  • Полная автоматизация бизнес-процессов
    
  • Клиенты для PHP, Perl и Python
    
• Постоянные улучшения и исправления
  
  • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
    
  • С тех пор было выпущено более 70 новых версий, включающих множество улучшений и исправлений
    
  • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
    
• Техническая поддержка
  
  • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
    
  • Создана подробная документация по A-Parser'у, открыт форум для пользователей
    
  • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
    
  • Разработчик A-Parser'а готов ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера
    

Более подробно ознакомится с возможностями парсера можно в полноценной документации


A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:





Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.

Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.

Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку

 

Возможно вы и найдете бесплатный рабочий парсер, но ни один парсер не даст вам возможности собирать десятки и сотни миллионов результатов в сутки. А если вам мало парсера выдачи, то стоит обратить внимание на нашу основную версию Pro всего за $199

 

1.1.726 - новые возможности планировщика, множество исправлений





Улучшения

• В планировщик добавлена возможность ежемесячного запуска заданий, с возможностью выбрать определенный день месяца
  
• В планировщике теперь можно указать уникальность задания, если задание активно в очереди то при попытке его запуска через планировщик оно будет отложено до следующего запуска
  
• Файл логов задания теперь удаляется одновременно с удалением задания
  
• В тестовом парсинге улучшен дебагер и предпросмотр HTML кода
  

Исправления в связи с изменениями в выдачи

• SE::YouTube, Rank::DMOZ, Rank::Mustat, [noparse]SE:ogpile[/noparse], SE::Ask, SE::AOL
  

Исправления

• В парсере Net::Whois исправлен парсинг дат для множества доменных зон
  
• Функция добавления ! перед каждым словом(для снятия частотности по WordStat) в некоторых случаях работала некорректно
  
• Исправлена ошибка при работе прокси с использованием только одной попытки(Request retries)
  
• Исправлена ошибка при которой парсер падал при неверно составленном Конструкторе результатов
  
• В некоторых случаях использование XPath могло приводить к зависанию парсера
  
• В парсере SEO::Ping исправлена обработка ответов для некоторых сервисов
  
• В некоторых случаях ошибка задания могла отображаться некорректно
  

Так же, мы хотели бы ещё раз поздравить наших победителей которые получили лицензии A-Parser'a: Сергея Чернова, Романа Лисина и Илью Нечаева. Поздравляем вас ещё раз!



View: https://www.youtube.com/watch?v=a9scpRcC4q8

 

В этом видео вы узнаете как собрать тысячи и миллионы профилей в социальной сети ВКонтакте:



View: https://www.youtube.com/watch?v=GPcztcdNNmQ




В уроке рассмотрены:

• Создание парсера профилей соцсети ВКонтакте: имя, город, телефон, семейной положение, время последнего захода и ссылку на аватар(фотографию)
  
• Использование регулярных выражений для фильтрации данных результата
  
• Использование конструктора результатов для модификации результатов
  
• Использование Cookies в запросах
  

Подписывайтесь на наш канал, ставьте лайки и оставляйте в комментариях пожелания для следующих уроков!

 

1.1.743 - исправлен парсер Яндекса, множество исправлений в JavaScript парсерах





В версии 1.1.743 выпущено множество исправлений для JavaScript парсеров, а также добавлены новые примеры: определение языка страницы через Яндекс переводчик и сбор текстовки по ключевому слову одним заданием(на выбор через Google или Яндекс)


Улучшения

• В JavaScript парсерах добавлена возможность создавать новые запросы(this.query.add)
  
• В парсере SE::Yahoo теперь определяется бан прокси по IP
  
• Добавлен параметр, позволяющий A-Parser'у работать с файлами запросов и результатов вне рабочего каталога
  

Исправления в связи с изменениями в выдаче

• SE::Yandex - парсил только первую страницу выдачи
  
• SE::Google::Trends - использовал все попытки если по ключевому слову не было данных
  

Исправления

• Исправлена работа опции Max threads per proxy(максимальное число потоков на одну прокси)
  
• В парсере HTML::LinkExtractor исправлен парсинг ссылок с фрагментом(#)
  

Исправления в JavaScript парсерах

• Настройки checkbox воспринимались некорректно
  
• Исправлена ошибка в работе this.cookies.setAll
  
• В интерфейсе не отображались измененные параметры конфига
  
• Исправлены утечки памяти
  
• Исправлено игнорирование параметра success
  
• Исправлено поведение при использовании Override настроек
  
• Исправлена ошибка при получении результатов из другого парсера
  

 

1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах





В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем форуме и мы их обязательно реализуем.


Помимо встроенных парсеров вы можете создавать свои собственные парсеры на языке JavaScript - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.


Для владельцев CapMonster и XEvil - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах


Улучшения

• Новый парсер Shop::Amazon - парсит выдачу https://www.amazon.com по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию
  
• Новый парсер Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик
  
• Новый парсер SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта
  
• Новый парсер SE::IxQuick - https://www.ixquick.com - еще один поисковик, основанный на выдаче Google
  
• Добавление ссылок в индекс Бинга - SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт
  
• Новый парсер Rank::OpenSiteExplorer::Extended - расширенная версия парсера Rank::OpenSiteExplorer, собирает с https://moz.com 39 параметров по домену, сабдомену и странице
  
• JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)
  
• В парсере SE::Yandex добавлен сбор времени последнего кэширования страницы
  

Исправления в связи с изменениями в выдаче

• SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений
  
• SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта
  
• В парсере Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy
  
• SE::Google::Trends - полностью обновлен парсер и список собираемых значений
  
• Rank::LinkPad, Rank::MajesticSEO, SE::Seznam
  

Исправления

• Проблема с прокруткой в Планировщике
  
• Проблема с кодировкой в tools.parseJSON
  
• Ошибка импорта JavaScript парсеров
  

 

1.1.853 - новые парсеры и каталог пресетов





У нас появился каталог парсеров и пресетов, на данный момент он находится в процессе наполнения. Каталог полностью интегрирован с A-Parser, позволяет в один клик установить необходимый пресет и сразу его использовать. Загрузка в каталог доступна для всех пользователей A-Parser, попробуйте, это просто и удобно


Улучшения

• Новый парсер HTML::EmailExtractor - собирает адреса электронной почты с указанных страниц, поддерживает обход сайтов в глубину(парсинг соседних страниц или всего сайта)
  
• Новый парсер Rank::Social::Signal - проверяет количество социальных сигналов для указанной ссылки, возвращает число лайков, репостов и комментариев для Facebook, число лайков в Google+ и Pinterest, количество репостов Вконтакте и LinkedIn
  
• Добавлена возможность устанавливать приоритет заданиям, подробное обсуждение
  
• Оптимизирована работа при большом числе активных заданий
  
• Оптимизирована версия A-Parser для ОС Linux x64
  
• Для парсера SE::QIP добавлена опция Not found is error, призванная устранять ошибки поисковика, когда он случайным образом отдает пустые результаты
  
• В парсере SE::Google::Trends добавлен сбор данных по категориям "В тренде" и "Лидеры"
  

Исправления в связи с изменениями в выдаче

• [noparse]SE:uckDuckGo[/noparse], SE::IxQuick, SE::Bing::AddURL
  

Исправления

• В парсере SE::Google исправлена работа с каптчей при использовании языка интерфейса гугла отличного от английского
  
• В парсере Rank::SimilarWeb исправлена обработка доменов которые не существуют в статистике SimilarWeb
  
• Исправлен парсинг выдачи в SE::Bing если выбран язык отличный от английского
  
• Исправлена загрузка пресетов которые содержат удаленные(устаревшие) парсеры
  

 

1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту


В версии A-Parser 1.1.873 добавлен новый парсер SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи





Улучшения

• Новый парсер SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
  
• Новый парсер SE::Google::ByImage - парсер картинок из Google по ссылке на картинку
  
• В парсере Rank::SimilarWeb добавлена поддержка антикаптчи
  
• В парсере Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
  
• JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
  
• В инструменты tools добавлена возможность кодировать и декодировать base64
  
• Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс
  

Исправления в связи с изменениями в выдаче

• Rank::SimilarWeb, SE::Google::Images, Rank::MajesticSEO
  

Исправления

• Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
  
• Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
  
• При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
  
• Исправлена работа tools.js на ОС Linux
  
• Исправлена утечка памяти при использовании JavaScript парсеров
  
• Исправлена работа опции Динамический лимит потоков
  

 

Новый каталог парсеров и пресетов

Представляем наш новый каталог парсеров и пресетов - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик





Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш FAQ, т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера

На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:

• Парсинг текстовки по ключу одним заданием
  
• Парсер Google Translate
  
• Парсер ключевых слов и бидов из 7search

Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!

 

1.1.899 - автоматическое распознавание Яндекс каптчи и новый парсер мобильной выдачи Google



В A-Parser 1.1.899 добавлено автоматическое распознавание новой Яндекс каптчи, без использования антигейта:





Как следствие скорость парсинга Яндекса сильно выросла:





Улучшения:

• Добавлен парсер SE::Google::Mobile - парсер мобильной и современной десктоп выдачи(режим переключается в настройках)
  
• В парсере SE::Google::Translate названия языков теперь указаны на английском
  
• В парсер Shop::Amazon добавлена возможность указать домен амазона
  
• Добавлена возможность пропускать сохранение в файл указав в шаблоне пустое название файла
  
• Улучшен просмотр HTML кода в дебаг режиме - отключена возможность перезагрузки интерфейса парсера
  

Исправления в связи с изменениями в выдаче:

• SE::Google::Fast, Shop::Amazon
  
• SE::Yandex - исправлена обработка каптчи
  
• SE::Yandex - исправлен сбор рекламных блоков
  
• В парсере SE::Rambler исправлена загрузка каптчи
  

 

Видео урок по созданию парсера на языке JavaScript

Задача: Оценить страницу сайта на предмет тематики, рассчитать плотность ключевых слов на странице сайта и упорядочить результат по убыванию плотности ключевых слов.



Готовый парсер можно взять в нашем каталоге пресетов: Подсчет плотности ключевых слов

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

 

1.1.918 - улучшена работа с override и отдельные append/preppend text для каждого файла



Улучшения

• Изменена работа с override: устранена возможность их дублирования, а также улучшен выбор и добавление настроек в пресет в один клик
  
• Добавлена возможность для каждого файла результатов задавать индивидуальные Начальный/Конечный текст

Исправления в связи с изменениями в выдачи

• SE::Dogpile, Rank::MajesticSEO, SE::Google::Images, SE::Yandex

Исправления

• Исправлены падения при работе JS парсеров на Windows 10
• Исправлен баг с "белым экраном", который появился в предыдущей версии
• Парсер Rank::SimilarWeb удален в связи с требованием правообладателей
• Исправлен баг, при котором не срабатывал шаблон в Общем формате результата при пустом имени файла результата, появился в версии 1.1.896
• Исправлена работа с каптчей в SE::Google, при работе через IPv6 прокси