[free] парсер moonwalk, tmdb, kodik, hdvb, videocdn, rutor | dle kinocompletе

Videocdn добавим. Сейчас ждем пока в апи появится поиск по внутреннему идентификатору - ТП обещала.

При условии, что все файлы модуля присутствуют в системе, нужно перейти в Настройки модуля > Источники > Moonwalk и активировать чекбокс «Использовать источник».

Нужны подробности. Если я правильно понял, то у Вас уже есть в системе «боевики», а в источнике категория называется в ед. ч. «боевик», и в результате мы имеем обе?

 

в результате мы имеем обе?
совершенно точно
но легко поправимо удалением новых категорий с переносом в старые

и надо бы какуюто статистику (журнал обновления или добавления новостей)

 

На мой взгляд, сейчас самое важное в обновлении добавить автоматический парсинг и проставление в доп поле торрент файлов

 

если честно мне торрент постольку поскольку) ведь человек вбивая в поиск скачать торрент скачает его где угодно но не на киносайте + наличие торрента на киносайте это 100% блокировка Роскомпозора
а вот доработка и отладка парсера новостей точно самое важное
DataLife Engine - Панель управления — Яндекс.Браузер (151 kb) закачан 23 апреля 2019 г. Joxi
вот допустим как понять что загружено, что обновлено, что пропущено и почему именно так
почему из 20 000 записей процесс прошел по 3 000 новостей и закончил, при повторном запуске показывает другие значения, и каждый раз по разному даже после нажатия удалить загруженное
то есть не от начала до конца! и заметил выдает перед остановкой ошибка! произошла неизвестная ошибка
так же была бы интересна возможность проверки на дубли

 

Конкретизирую немного пожелание вышеотписавшихся:

1. Возможность назначения жанров фильмов определенным категориям при настройке модуля, чтобы самому можно было назначать, что, к примеру, жанр боевик - нужно парсить в боевики

то есть кроме автоопределения - чтобы можно было в ручную задать куда что парсить , чтобы не было дублей категорий вида "боевик" и "боевики" и ситуаций когда у меня уже есть категория Фэнтези с парой тысяч фильмов в ней, но при пользовании модулем - создается еще одна категория "Нф и фэнтези" - и все фэнтези были занесены в нее,

пока что рискованно на мой взгляд запускать т.е. автопарсинг, пока не будет возможности самому определять что и куда нужно парсить, так как, скорее всего, при каждом обходе крона будут заново создаваться не нужные категории и заноситься в них фильмы

Плюс

Хотелось бы с возможностью комбинировать для категорий так же такие значения как : год, страна, жанр, студия. То есть чтобы можно было создать категорию студии Дисней, к примеру, и в нее попадали фильмы у которых в доп. поле студия Дисней. А так же категории определенного года, "русские сериалы", "зарубежные", "индийские", "турецкие", "дорама" (сериалы японии и южной кореи)

Пример такого исполнения:

Spoiler: скриншот

Так же проверку на дубли про ид Кинопоиска - заметил, что при загрузке через модуль при уже заполненном сайте более 27К фильмов - создалось 200 с чем-то дублей,

Обновление через фиды тоже не удалось запустить - выбивает "неизвестную ошибку", возможно что сервер не позволяет (?) или из-за большого количества фильмов (мои предположения)

И еще одно от себя пожелание)

есть ли шанс парсить информацию о дате релиза в хорошем качестве на айтюнсе и Blu-ray?

 

во первых конкретизируете Вы лично себя и свою рекламу и то что выше написано не имеет никакого отношения к тому что Вы тут написали свое виденье не понятно чего хотящего человека (Вы пишете про автопарсинг и обход крона своего модуля!! которого тут нет и не надо) если Вам нравится создавать 1500 категорий подборок то не факт что это надо нам (перекрестных ссылок достаточно)
а во вторых я тоже думал что создаются дубли а потом заметил что года то разные а названия совпадают и если не указывать конкретно ID кинопоиска а только название то соответственно создаются дубли названий
в третьих никакой сложности с категориями нет - если нет полного совпадения названия категории только тогда создается новая что даже удобней у меня например не было категории Церемония а дублирующиеся категории можно удалить с переносом новостей в старые категории или переименовать старые как прописано на КП

 

Изначально там был скриншот, но я посчитал что сути он не отражает, поэтому и ссылка с просьбой перенести тот же функционал - сюда. В прочем, автор модуля и так в курсе моих пожеланий.

про "факт что это надо нам"

это вполне естественно, что у вас и у меня и другого - будут разные требования к модулю. у нас могут быть разные сервисы, заточенные под разные аудитории и нужды. вам вот например не нужны торренты, когда мне они как раз таки требуются.

 

нет проблем, если названия категорий совпадают - он просто парсит в эту же категорию и все.

но:

"а дублирующиеся категории можно удалить с переносом новостей в старые категории" - про это я и говорю,

Зачем каждый день мне делать обход сайта и удалять вновь занесенные не нужные категории, цитирую:

"Музыка
ID:138 Короткометражка
ID:140 Нф и фэнтези
ID:141 Боевик и приключения
ID:146 Война и политика
ID:139 Телевизионный фильм",

если, к примеру, Боевик и приключения - это две разные на сайте категории, так же как и Нф и фэнтези

И переносить каждый день сграббленные новые фильмы из одной категории в другую)

, ведь мы говорим об автоматизации процессов

Но, это лишь с точки зрения мого сайта, ваши запросы могут быть абсолютно другими

 

сегодня уже понятней)
я тож думаю как реализовать подборки, но средствами xfsearch дабы не засорять базу кучей дополнительных записей
и да, было бы не плохо добавить функционал из вашего модуля - можете поделиться ?)))

 

Как можно получить данный модуль? Увидел на сайте, скажите если не разу не устанавливал, то можно сразу последнюю версию поставить?

 

конечно можно!

 

то есть я сейчас могу удалить все файлы(которые весят около 120 мб) и поставить версию которая весит мб 10-20?

 

Верно. Все версии самодостаточны.

 

Как на 12.0 воткнуть? installa, как бы нет. Или я че-то не догоняю?

 

Для установки используйте руководство с сайта. Там все действия пошагово описаны для каждой версии DLE.

 

немного в ах** с даного модуля,раз получилось запарсить фильмы после второй попытки выдает ошибку Path '/report/movies' was not found in json stream.,подскажите что не так сделал?

 

В настройках модуля есть опция «Лимит чтения материалов» Какое значение было установлено в это поле?
Это нужно узнать, что бы я мог повторить проблему и исправить ее.

 

10 тыс,это я так понял количество спарсеного ставить нужно или не так?

 

Это количество материалов, которые модуль прочитает из фидов Moonwalk, что бы создать новости.
Основной смысл опции в том, что бы перед загрузкой всех фидов выполнить тестовую загрузку небольшого кол-ва материалов.
Например поставили 10, загрузили, убедились, что модуль создает новости как нам требуется, а после загружаем остальное.
- это все по желанию.

По поводу ошибки.
Модуль понял, что нужно скачать только 10к материалов из фидов, посчитал какой объем нужно скачать, а все остальное отбросил, т.к фильмов и сериалов у moonwalk гораздо больше. Так вот, отбросил от как раз на том месте, где начинается стыковка двух фидов - что и вызвало ошибку. Как доберусь до модуля, поправлю. Еще и VideoCDN обновил API, скоро добавим как источник.

 

⚫ Обновление «DLE Kinocomplete» 0.1.5

⚪ Добавлена база VideoCDN в качестве источника.
Утилита «Автокомплит» теперь предоставляет видео-плеер, постер и другие данные базы VideoCDN.

⚪ Исправлена работа опции «Лимит чтения материалов».
Некоторые значения опции могли вызывать ошибку Path '/report/movies' was not found, что было исправлено в данной версии.

⚫ Особенности обновления.

⚪ С версий 0.0.5+ обновление производится обычным способом из руководства.
⚪ Обновление с более старых версий соответствует обновлению на версию 0.0.5.