Редактор темы

Реклама
Реклама
Реклама
Реклама

[free] парсер moonwalk, tmdb, kodik, hdvb, videocdn, rutor | dle kinocompletе

Автор темы
Videocdn добавим. Сейчас ждем пока в апи появится поиск по внутреннему идентификатору - ТП обещала.
но почему то не активны кнопарики в загрузке фидоф 12.1
При условии, что все файлы модуля присутствуют в системе, нужно перейти в Настройки модуля > Источники > Moonwalk и активировать чекбокс «Использовать источник».
и в инструкции нужен перечень категорий (дословно) чтоб не было дублей боевики/боевик
Нужны подробности. Если я правильно понял, то у Вас уже есть в системе «боевики», а в источнике категория называется в ед. ч. «боевик», и в результате мы имеем обе?
 
в результате мы имеем обе?
совершенно точно
но легко поправимо удалением новых категорий с переносом в старые

и надо бы какуюто статистику (журнал обновления или добавления новостей)
 
Последнее редактирование:
На мой взгляд, сейчас самое важное в обновлении добавить автоматический парсинг и проставление в доп поле торрент файлов
 
На мой взгляд, сейчас самое важное в обновлении добавить автоматический парсинг и проставление в доп поле торрент файлов
если честно мне торрент постольку поскольку) ведь человек вбивая в поиск скачать торрент скачает его где угодно но не на киносайте + наличие торрента на киносайте это 100% блокировка Роскомпозора
а вот доработка и отладка парсера новостей точно самое важное
DataLife Engine - Панель управления — Яндекс.Браузер (151 kb) закачан 23 апреля 2019 г. Joxi
вот допустим как понять что загружено, что обновлено, что пропущено и почему именно так
почему из 20 000 записей процесс прошел по 3 000 новостей и закончил, при повторном запуске показывает другие значения, и каждый раз по разному даже после нажатия удалить загруженное
то есть не от начала до конца! и заметил выдает перед остановкой ошибка! произошла неизвестная ошибка
так же была бы интересна возможность проверки на дубли
 
Последнее редактирование:
Конкретизирую немного пожелание вышеотписавшихся:

1. Возможность назначения жанров фильмов определенным категориям при настройке модуля, чтобы самому можно было назначать, что, к примеру, жанр боевик - нужно парсить в боевики

то есть кроме автоопределения - чтобы можно было в ручную задать куда что парсить , чтобы не было дублей категорий вида "боевик" и "боевики" и ситуаций когда у меня уже есть категория Фэнтези с парой тысяч фильмов в ней, но при пользовании модулем - создается еще одна категория "Нф и фэнтези" - и все фэнтези были занесены в нее,

пока что рискованно на мой взгляд запускать т.е. автопарсинг, пока не будет возможности самому определять что и куда нужно парсить, так как, скорее всего, при каждом обходе крона будут заново создаваться не нужные категории и заноситься в них фильмы

Плюс

Хотелось бы с возможностью комбинировать для категорий так же такие значения как : год, страна, жанр, студия. То есть чтобы можно было создать категорию студии Дисней, к примеру, и в нее попадали фильмы у которых в доп. поле студия Дисней. А так же категории определенного года, "русские сериалы", "зарубежные", "индийские", "турецкие", "дорама" (сериалы японии и южной кореи)

Пример такого исполнения:
1554392808_12screenshot-4apr2019-18.26.33.png

Так же проверку на дубли про ид Кинопоиска - заметил, что при загрузке через модуль при уже заполненном сайте более 27К фильмов - создалось 200 с чем-то дублей,

Обновление через фиды тоже не удалось запустить - выбивает "неизвестную ошибку", возможно что сервер не позволяет (?) или из-за большого количества фильмов (мои предположения)

И еще одно от себя пожелание)

есть ли шанс парсить информацию о дате релиза в хорошем качестве на айтюнсе и Blu-ray?
 
Последнее редактирование:
Конкретизирую немного пожелание вышеотписавшихся:

1. Возможность назначения жанров фильмов определенным категориям при настройке модуля, чтобы самому можно было назначать, что, к примеру, жанр боевик - нужно парсить в боевики

то есть кроме автоопределения - чтобы можно было в ручную задать куда что парсить , чтобы не было дублей категорий вида "боевик" и "боевики" и ситуаций когда у меня уже есть категория Фэнтези с парой тысяч фильмов в ней, но при пользовании модулем - создается еще одна категория "Нф и фэнтези" - и все фэнтези были занесены в нее,

пока что рискованно на мой взгляд запускать т.е. автопарсинг, пока не будет возможности самому определять что и куда нужно парсить, так как, скорее всего, при каждом обходе крона будут заново создаваться не нужные категории и заноситься в них фильмы

Плюс

Хотелось бы с возможностью комбинировать для категорий так же такие значения как : год, страна, жанр, студия. То есть чтобы можно было создать категорию студии Дисней, к примеру, и в нее попадали фильмы у которых в доп. поле студия Дисней. А так же категории определенного года, "русские сериалы", "зарубежные", "индийские", "турецкие", "дорама" (сериалы японии и южной кореи)

Пример такого исполнения:
Moonwalk grabber. автонаполнение сайта dle по базе moonwalk

Так же проверку на дубли про ид Кинопоиска - заметил, что при загрузке через модуль при уже заполненном сайте более 27К фильмов - создалось 200 с чем-то дублей,

Обновление через фиды тоже не удалось запустить - выбивает "неизвестную ошибку", возможно что сервер не позволяет (?) или из-за большого количества фильмов (мои предположения)

И еще одно от себя пожелание)

есть ли шанс парсить информацию о дате релиза в хорошем качестве на айтюнсе и Blu-ray?

во первых конкретизируете Вы лично себя и свою рекламу и то что выше написано не имеет никакого отношения к тому что Вы тут написали свое виденье не понятно чего хотящего человека (Вы пишете про автопарсинг и обход крона своего модуля!! которого тут нет и не надо) если Вам нравится создавать 1500 категорий подборок то не факт что это надо нам (перекрестных ссылок достаточно)
а во вторых я тоже думал что создаются дубли а потом заметил что года то разные а названия совпадают и если не указывать конкретно ID кинопоиска а только название то соответственно создаются дубли названий
в третьих никакой сложности с категориями нет - если нет полного совпадения названия категории только тогда создается новая что даже удобней у меня например не было категории Церемония а дублирующиеся категории можно удалить с переносом новостей в старые категории или переименовать старые как прописано на КП
 
Последнее редактирование:
во первых конкретизируете Вы лично себя и свою рекламу и то что выше написано не имеет никакого отношения к тому что Вы тут написали свое виденье не понятно чего хотящего человека (Вы пишете про автопарсинг и обход крона своего модуля!! которого тут нет и не надо) если Вам нравится создавать 1500 категорий подборок то не факт что это надо нам (перекрестных ссылок достаточно)
а во вторых я тоже думал что создаются дубли а потом заметил что года то разные а названия совпадают и если не указывать конкретно ID кинопоиска а только название то соответственно создаются дубли названий
в третьих никакой сложности с категориями нет - если нет полного совпадения названия категории только тогда создается новая что даже удобней у меня например не было категории Церемония а дублирующиеся категории можно удалить с переносом новостей в старые категории или переименовать старые как прописано на КП

Изначально там был скриншот, но я посчитал что сути он не отражает, поэтому и ссылка с просьбой перенести тот же функционал - сюда. В прочем, автор модуля и так в курсе моих пожеланий.

про "факт что это надо нам"

это вполне естественно, что у вас и у меня и другого - будут разные требования к модулю. у нас могут быть разные сервисы, заточенные под разные аудитории и нужды. вам вот например не нужны торренты, когда мне они как раз таки требуются.
 
Последнее редактирование:
если нет полного совпадения названия категории только тогда создается новая что даже удобней у меня например не было категории Церемония

нет проблем, если названия категорий совпадают - он просто парсит в эту же категорию и все.

но:

"а дублирующиеся категории можно удалить с переносом новостей в старые категории" - про это я и говорю,

Зачем каждый день мне делать обход сайта и удалять вновь занесенные не нужные категории, цитирую:

"Музыка
ID:138 Короткометражка
ID:140 Нф и фэнтези
ID:141 Боевик и приключения
ID:146 Война и политика
ID:139 Телевизионный фильм",

если, к примеру, Боевик и приключения - это две разные на сайте категории, так же как и Нф и фэнтези

И переносить каждый день сграббленные новые фильмы из одной категории в другую)

, ведь мы говорим об автоматизации процессов

Но, это лишь с точки зрения мого сайта, ваши запросы могут быть абсолютно другими
 
Последнее редактирование:
Но, это лишь с точки зрения мого сайта, ваши запросы могут быть абсолютно другими
сегодня уже понятней)
я тож думаю как реализовать подборки, но средствами xfsearch дабы не засорять базу кучей дополнительных записей
и да, было бы не плохо добавить функционал из вашего модуля - можете поделиться ?)))
 
Последнее редактирование:
Как можно получить данный модуль? Увидел на сайте, скажите если не разу не устанавливал, то можно сразу последнюю версию поставить?
 
Автор темы
Привет народ!

С недавнего времени появилось множество видео-баз, которые имеют собственные решения для DLE. Действительно ли администратор должен устанавливать их по отдельности, что бы получить доступ к различным источникам из админ. панели? Этот вопрос лежит в основе модуля «Kinocomplete», главной задачей которого, является помощь веб-мастеру в наполнении киносайта, используя различные API в едином интерфейсе. Ниже представлен список некоторых возможностей модуля.
  • Автозаполнение полей новости при создании и редактировании.
  • Массовое создание и удаление новостей на основе фидов.
  • Возможность определить из каких фидов выполнять загрузку.
  • Возможность установить лимит на чтение материалов из фидов.
  • Обновление добавленных новостей на основе фидов.
  • Возможность задать какие именно поля требуется обновлять.
  • Возможность определить нужно ли обновлять дату публикации при обновлении новости.
  • Определение полей, на основе которых будет выполняться сопоставление видео и добавленной новости для обновления в ней информации.
  • Авто-загрузка изображений на свой сервер.
  • Авто-создание категорий на основе жанров и типа материала.
  • Возможность выбора регистра в названии новых категорий.
  • Шаблоны для мета полей, заголовка, краткой/полной новости.
  • Шаблон для форматирования продолжительности видео.
  • Выбор пользователя от которого выполнять действия при работе с модулем.
  • Скачивание торрент-файлов и парсинг magnet-ссылок.
  • Определение пиров раздачи.
  • Работа через прокси-сервер.
  • Поддержка сайтов с SSL.
От Вас ожидаются отзывы по функционалу, а именно о пользовательском опыте, и внимании к возможным багам, которых на данном этапе быть не должно.

- PHP 5.6+
- Веб-сервер Apache
- DLE 11.0+ (UTF-8)

Получить модуль можно на сайте kinocomplete.ws
Ознакомиться с исходниками mikeevstropov/dle-kinocomplete

Поддержать разработку:
R278650031605
Z291018217779


Посмотреть вложение 19502


Как на 12.0 воткнуть? installa, как бы нет. Или я че-то не догоняю?
 
Автор темы
Как на 12.0 воткнуть? installa, как бы нет. Или я че-то не догоняю?
Для установки используйте руководство с сайта. Там все действия пошагово описаны для каждой версии DLE.
 
немного в ах** с даного модуля,раз получилось запарсить фильмы после второй попытки выдает ошибку Path '/report/movies' was not found in json stream.,подскажите что не так сделал?
 
Автор темы
выдает ошибку Path '/report/movies' was not found
В настройках модуля есть опция «Лимит чтения материалов» Какое значение было установлено в это поле?
Это нужно узнать, что бы я мог повторить проблему и исправить ее.
 
nh1u1z
Для установки используйте руководство с сайта. Там все действия пошагово описаны для каждой версии DLE.
10 тыс,это я так понял количество спарсеного ставить нужно или не так?
 
Автор темы
nh1u1z
10 тыс,это я так понял количество спарсеного ставить нужно или не так?
Это количество материалов, которые модуль прочитает из фидов Moonwalk, что бы создать новости.
Основной смысл опции в том, что бы перед загрузкой всех фидов выполнить тестовую загрузку небольшого кол-ва материалов.
Например поставили 10, загрузили, убедились, что модуль создает новости как нам требуется, а после загружаем остальное.
- это все по желанию.

По поводу ошибки.
Модуль понял, что нужно скачать только 10к материалов из фидов, посчитал какой объем нужно скачать, а все остальное отбросил, т.к фильмов и сериалов у moonwalk гораздо больше. Так вот, отбросил от как раз на том месте, где начинается стыковка двух фидов - что и вызвало ошибку. Как доберусь до модуля, поправлю. Еще и VideoCDN обновил API, скоро добавим как источник.
 
Автор темы
video-cdn.png

⚫ Обновление «DLE Kinocomplete» 0.1.5

⚪ Добавлена база VideoCDN в качестве источника.
Утилита «Автокомплит» теперь предоставляет видео-плеер, постер и другие данные базы VideoCDN.

⚪ Исправлена работа опции «Лимит чтения материалов».
Некоторые значения опции могли вызывать ошибку Path '/report/movies' was not found, что было исправлено в данной версии.

⚫ Особенности обновления.

⚪ С версий 0.0.5+ обновление производится обычным способом из руководства.
⚪ Обновление с более старых версий соответствует обновлению на версию 0.0.5.
 

Похожие темы Последние темы Популярные темы

Назад
Сверху