Кто умеет парсить статьи? есть работа!

Приветствую, форумчане! Нужно спарсить очень много контента (статьи) на определенную тематику.

Суть вопроса такая:
1. Называю тематику
2. Статьи могут быть как с одного сайта, так и с разных (их нужно будет большое количество, для начала 100мб)
3. Статьи должны быть полноценными (с подзаголовками h2/h3 и т.д), но без h1. Длинна статей должна быть от 3к.
4. Все подзаголовки должны быть обрамлены в соответствующие теги <h2/3/4>, все абзацы <p>, перечисление <ul/li> и т.д
5. Каждая статья должна быть в отдельном txt файле.
6. По цене не определилась. Предлагайте ту сумму, за которую готовы взяться за работу. Цена должна быть эквивалентна 100мб, чтобы в будущем (если сработаемся) я делала заказы на определенное количество мб исходя из цены за 100.

Что не подходит:
1. Контент из книг (нужны только спаршенные с других сайтов статьи)
2. Дубли статей
3. Мусорный контент (наличие посторонних символов и постороннего html кода)
4. Контент должен быть строго тематическим!

Это основное. По нюансам определимся в ходе работы. Так же можно обсудить ваши варианты парсинга статей.

 

А что там искать? Называю тему - формулируешь тематический запрос, если сайт узкотематический, то можно спарсить все статьи от туда , либо же все статьи из раздела. Я же не знаю каким парсером пользуетесь - CD, a-parser, x-parser или самопис. Может вы сумеете по ключам напарсить статей.

 

Я паршу CD, но эту тему создала, чтобы делегировать своё время, которое я трачу на парсинг, и за это я готова платить. Вот например x-parser умеет парсить статьи по ключам , он может и несколько гиг по одному запросу напарсить, не то что 100 метров, но проблема в том, что он вместе со статьями парсит много мусора, поэтому не подходит.

Тематика, которая мне нужна очень широкая.

 

Ну вот допустим я напарсила 10к статей и каждая в отдельном файле. Вот как в каждом из них убрать мусор. тем более, как скрипт поймет, что убирать, а что нет.

 

Это я понимаю. Просто дело в том, что парсер берет кроме статьи рандомный символьный контент, кроме мусора берет еще куски комментариев, какие-то подзаголовки, html код и т.д - мне кажется просто нереально создать какие-то определенные правила, потому что - что конкретно чистить я не знаю.

 

Я пользуюсь Content Downoader'ом, и все отлично получается, нахожу сайт, задаю границы и он сам парсит - но это все время. Поэтому и хочу, чтобы кто-то другой этим занимался за деньги.

 

Хорошо, позже скину в лс несколько статей для примера. Не дома сейчас.

 

Нашла исполнителя (тест).

Написание скриптов не интересует (можно все делать и без них - я же как-то делаю с помощью CD)

Под мусором я понимаю:
- наличие стороннего html кода, не относящегося к статье;
- наличие посторонних символов;
- посторонний текст, который захватывает парсер со страницы (например - заголовки разделов из меня, текст из рекламных блоков, комментарии, и другой текст со страницы, не относящийся к статье).