DLE Dle kodik+shikimori бесплатный граббер-парсер аниме и дорам v6.6 parser-grabber с автообновлением

Kodik.zip

Контакты: вопросы и пожелания принимаются только в Телеграмм:

Телеграмм для вопросов и пожеланий: Vladimir Dogadaev
Telegram канал @codescript_shop

ДОПОЛНИТЕЛЬНО:

Сделаю автонаполняемый онлайн-кинотеатр с нуля под ключ c Вашим шаблоном. Установлю Вам хостинг/VPS (по запросу), движок DLE, выбранный Вами шаблон киносайта, и наш граббер фильмов. Настрою категории, вывод доп. полей в шаблоне и т. д. Под ключ.

Подробности и отзывы: биржа фриланса kwork (напишите в телеграм: Vladimir Dogadaev)

История выхода версий:

Спойлер: Список обновлений

• v.1 - 21.02.2020 - Релиз
• v1.1 - 14.07.2020:
  1. Добавлена связка с модулем DLE SocialPostig, для отправки публикаций автоматически в Вашу группу Telegram/ВКонтакте/Твиттер и тд. (Должен быть установлен модуль SocialPosting)
  2. Добавлены новые данные:
  
  ID Shikimori
  mpaa_rating
  продюсеры,
  писатели,
  композиторы,
  редакторы,
  дизайнеры,
  операторы
  Слоган

• v.1.1.1 - 14.07.2020:
  3. Исправлена ошибка конфликта с официальным модулем Кодика - теперь граббер не заменяет собой офф модуль.
• v2.0 - 03.09.2020:
  1. Добавлена новая информация с Shikimori:
  
  Спойлер: новые данные с Shikimori

  - Другие названия материала
  - Другие названия материала на английском
  - Другие названия материала на японском
  - Название лицензии в России
  - Тип аниме
  - Статус аниме
  - Скриншоты аниме - для типа поля "Галерея изображений"
  - Аниме жанры
  - Аниме студии
  - Рейтинг на Shikimori
  - Количество голосов рейтинга на Shikimori
  - Дата начала показа
  - Дата конца показа
  - Количество эпизодов
  - Количество уже вышедших эпизодов Shikimori
  - Общее количество эпизодов в сериале
  
  2. Добавлены новые категории для аниме с Shikimori:
  
  Спойлер: новые категории для аниме с Shikimori

  - OVA
  - ONA
  - безумие
  - боевые искусства
  - вампиры
  - гарем
  - демоны
  - дзёсей
  - игры
  - космос
  - магия
  - машины
  - меха
  - пародия
  - повседневность
  - полиция
  - психологическое
  - романтика
  - сверхъестественное
  - самураи
  - сейнен
  - супер сила
  - сёдзё
  - сёдзё-ай
  - сёнен
  - сёнен-ай
  - хентай
  - школа
  - экшен
  - этти
  - яой
  
  3. Добавлена фильтрация-ограничения по годам и странам, для парсинга, например, только азиатских дорам или только турецких сериалов
• v2.1 - 07.09.2020:
  1. Фиксы с жанрами для фильмов и сериалов с кинопоиска
• v3.0 - 12.05.2021:
  1. Крон работает теперь по новому пути:
  /engine/kodik/grab.php?
  2. Добавлен ручной парсер, для ручного поиска материалов Kodik на странице добавления/редактирования новостей:
  
  Спойлер: Скриншот

  
  3. Добавлен вывод постеров для фильма при поиске фильмов/сериалов в ручном парсере
  4. Исправлена проблема с загрузкой скриншотов
  5. Добавлены новые поля: ID Kodik и ID MyDramaList
• v3.1 - 20.05.21
  1. Сделан отдельный крон для обновлений и автоподнятий, отдельно от граббинга (/engine/kodik/grab.php?last)
  2. Добавлено автообновление фильмов/сериалов - без ID Кинопоиска, по id других баз: IMDB/MDL/Shikimori
  3. Добавлены новые фильтры
  "Поднимать фильмы / мультфильмы / аниме при смене качества"
  и "Поднимать сериалы / мультсериалы / аниме-сериалы при смене сезонов и серий"
  4. Добавлена перезапись полей при автообновлении если данные изменились "Последняя озвучка" и "Кол-во эпизодов"
• v3.2 - 05.06.2021
  1. Добавлена функция форматирования серий и сезонов - для доп. полей и метатегов:
  - Форматированная серия вида 1 серия, 2 серия, 3 серия
  - Форматированная серия вида 1 серия, 1-2 серия, 1-3 серия, 1-4 серия
  - Форматированная серия вида 1 серия, 1,2 серия, 1,2,3 серия, 1,2,3,4 серия
  - Форматированная серия + 1 вида: если 1 серия - 1,2 серия, если 2 серия - 1,2,3 серия, если 5 серия - 4,5,6 серия
  - Форматированная серия + 1 вида 1,2 серия, 1,2,3 серия, 1,2,3,4,5 серия, 1-5,6,7 серия
  - Форматированный сезон вида 1 сезон, 2 сезон, 3 сезон
  - Форматированный сезон вида 1 сезон, 1-2 сезон, 1-3 сезон
  - Форматированный сезон вида 1 сезон, 1,2 сезон, 1,2,3 сезон
  А так же функция прибавления серий и сезонов:
  - Последняя серия + 1
  - Последний сезон + 1 - в доп полях и в метатйтл
  2. Добавлена настройка сколько прибавлять к серии/сезону:
  см. вкладку сериалы (Последняя серия/сезон +1)
  3. Обновлена логика автообновления фильмов/сериалов - для материалов без ID Кинопоиска:
  - если нет id kp - то проверять по id IMDb,
  - если нет IMDb - то проверить по id MDL,
  - если нет id MDL - то проверить по World Art,
  - ну а если даже World Art нет - то проверить по Shiki
  4. Добавлены новые фильтры для сортировки по рейтингам:
  - Сортировать по рейтингу Кинопоиск
  - Сортировать по рейтингу Imdb
  - Сортировать по рейтингу shikimori
  - Сортировать по рейтингу mydramalist
  5. Добавлен фильтр "Запрещенные страны" -
  не будут добавляться публикации только определенных стран. если ничего не выбрано - то все
  6. Добавлены новые данные:
  - next_episode_at - Время выхода следующего эпизода
  - drama_genres - Жанры MyDramaList
  - mydramalist_rating - Рейтинг MyDramaList
  - mydramalist_votes - Количество голосов рейтинга на MyDramaList
  - drama_status - Статус дорамы
  - aired_at - Дата начала показа
  - released_at - Дата конца показа
  - episodes_aired - Количество уже вышедших эпизодов
• v3.3 - 07.06.2021
  1. Для сериалов - сделан fix для использования своих доп. полей для форматированных серий/сезонов
  2. Фикс проставления формат. серий/сезонов в доп. поля и тайтл - при запуске автонаполнения граббером
  3. Настройка формат. серий и сезонов - перенесена из вкладки "Сериалы" - в общую вкладку "Доп. поля"
  4. Добавлен фильтр "Максимум актеров" -
  можно указать ограничение на кол-во актеров
  5. И фильтр "Максимум режиссёров" -
  можно указать ограничение на кол-во режиссёров
  
• v4.0 - 29.06.2021
  1. Сделана возможность постраничного вывода серий и сезонов при ручном парсинге, граббинге и при автообновлении серий:
  - каждый сезон - отдельная страница
  - каждая серия - отдельная страница
  - SEO-настройка для страницы с серией
  - постеры, описание для каждой серии
  - кнопки переключение на пред. / след. страницу с серией внутри сезона
  - вывод всех сезонов - на странице сериала
  - вывод всех эпизодов, внутри одного сезона
  - Вывод всех последних добавленных серий на сайт - в любой tpl сайта, через шорт-код {serialy last="yes" limit="5"} - выведет последние пять добавленных на сайт эпизодов, например, на главной странице в main.tpl
  2. Добавлены следующие страницы для постраничного вывода серий:
  - Страница с выводом всех сезонов сериала;
  - Страница для отдельного сезона с выводом эпизодов внутри одного сезона;
  - Страница для самой серии.
  3. Добавлены новые теги модуля:
  {season} - сезон
  {episode} - серия
  {episode-title} - название эпизода
  {kadr} - постер серии *для работы тега нужно создать доп поле "kadr", тип поля "загружаемое изображение"
  [prev-episode]{prev-episode} серия[/prev-episode] - ссылка на предыдущий эпизод, внутри сезона
  [next-episode]{next-episode} серия[/next-episode] - ссылка на следующий эпизод, внутри сезона
  {story} - описание эпизода
  {season=[xfvalue_last_season]} - тег для вывода ссылок на все сезоны сериала, где [xfvalue_last_season] - это доп. поле с последним сезоном
  {serialy news-id="{news-id}" season="[xfvalue_last_season]" limit="5"} - для вывода серий из последнего сезона
  {serialy last="yes" limit="5"} - выведет последние пять добавленных на сайт эпизодов, например, на главной странице в main.tpl
  4. Сделан вывод:
  - Всех сезонов одного сериала на странице с сериалом.
  - Всех эпизодов внутри одного сезона - на странице с сезоном.
  - Вывод последних добавленных серий на сайт - в любой tpl сайта.
  5. Сделана настройка SEO для страниц с сезоном / серией , возможность вывести отдельно описание для каждой серии, название серии, а так же постер для серии
  6. На страницах просмотра серии реализована навигация на предыдущую и следующую серии внутри сезона
  7. Исправлена проблема с кириллицей при граббинге в URL
• v4.1
  1. Добавлен новый метод скачиваний материалов базы Кодик в БД сайта, в таблицу _kodik из JSON-файлов со всеми фильмами, сериалами - в новых версиях не поддерживается
  
• v4.2
  1. Сделан запуск кронов модуля - по секретному ключу. Ключ - указывается в настройках модуля, в поле "Секретный ключ для крона".
• v.4.3
  1. Переделана работа граббинга - сделан граббинг только по Kodik API, оптимизированы лимиты на переобход, упрощён сам запуск крона
  2. Добавлена кнопка очистки таблицы _kodik , внутрь модуля - "Обновить очередь", - для очистки таблицы при применении новых выставленных фильтров для граббинга
  3. Переделены след. фильтры - теперь отбор по фильтрам идет не во время граббинга - а сразу идет запрос на получение готового списка в API:
  > по странам
  > по годам
  4. Добавлены новые фильтры (с фильтрацией так же при запросе сразу в API):
  >Порядок добавления материалов (вы можете выбрать в каком порядке будут добавляться фильмы. по дате или по рейтингу. по возрастанию или убыванию)
  >Добавлен фильтр по озвучке
  >Добавлен новый фильтр по типу перевода (только голосовой перевод или только субтитры)
  >Добавлен фильтр по параметру camrip. Если указать включить, то будут выведены только материалы с качественной картинкой. Если выключить, то будут выведены все материалы.
  >Добавлен фильтр материалов по странам, в которых они не должны быть заблокированы.
  >Добавлен фильтр материалов по жанру - для ограничения грабинга, например, только мелодрам, только боевиков и тд.
  >Добавлен фильтр материалов по минимальному возрасту, с которого можно смотреть
  >Добавлен фильтр по возрастному рейтингу
  Добавлен фильтр по статусам Shikimori, MyDramaList (anons, ongoing, released)
  5. Добавлен чекбокс "Использовать посерийный модуль (ВКЛ/ВЫКЛ)" - отключить, если на сайте не используется постраничная разбивка на серии
  6. Убрана вставка названия материала в краткое/полное описание и дискрипшн при отсутствии описания у материала
  7. Добавлена новая настройка регистра и размера постера: "Размер постера": - например, можно выставить автоконвертирование в 200x160 или 120 или 0 для сохранения оригинального изображения
  8. Исправлены мелкие ошибки
• v.4.4
  - Реализована автоматическая загрузка скриншота эпизода с API базы для посерийного модуля - при автоматической разбивке на серии:
  
  Спойлер: скриншот

  
  - Переделана логика парсинга эпизодов для постраничного модуля с базы при граббинге - теперь берется не последний эпизод, а episodes_total - кол-во эпизодов в сезоне
  - Переделена так же логика парсинга эпизодов - при ручном парсинге и автоообновлении ?last - значение кол-ва серий в сезоне берется теперь из массива "episodes" - берется последняя серия
  - Добавлена поддержка указания шаблона template="abc" - для тега вывода последних добавленных на сайт эпизодов {serialy last="yes" limit="5"} - при постраничном выводе серий
  - Добавлена возможность сортировки вывода серий внутри тегов: {serialy news-id="{news-id}" season="{season}"} и {serialy news-id="{news-id}" season="[xfvalue_last_season]"}
  *sort="desc" - от последней до первой, sort="asc" - от первой до последней
  - Добавлена настройка "Загружать скриншот к эпизодам с API" - при постраничном выводе серий сериалов
  - Добавлен новый тег <a href="{first-episode-link}">Смотреть с первой серии</a> - для посерийного модуля
  - Добавлен тег [active][/active] - для подсветки текущего эпизода, который просматривает пользователь
  - Добавлена кнопка "Обновить kodik плеер" на странице добавления/редактирования новостей у соответствующего поля с плеером - для быстрого проставления плеера к материалу с базы
  - Исправлено сохранение настроек фильтра "Допустимые страны"
• v4.5
  - Сделан ручной поиск всех сезонов аниме-сериалов - через ручной парсер на странице добавления/редактирования новостей
  - Сделан граббинг всех сезонов аниме-сериалов (проверка идёт дополнительно по ID Shiki, если ID KP даже одинаковый - сравнение идет по ID Shiki ещё. ID Shiki если отличается - и добавляется материал)
  - Добавлена поддержка DLE 15
• v4.6
  - Добавлена функция "Конвертировать все загружаемые изображения в формат WebP" на DLE 15 для постеров и скриншотов
  - Исправлена настройка конвертирование регистра и размера постера на DLE v15
  - Исправлено заполнение поля shikimori_id
  - Исправлен парсинг "переводов" аниме и аниме-сериалов
  - Исправлена загрузка скриншотов на DLE 15
• С версии 4.7:
  - Исправлен вывод последних серий для постраничного вывода серий {serialy last="yes" limit="20"}
• С версии 4.8:
  - Версии модуля для DLE 13-15x - объединены в один модуль
  - Исправлена ошибка с полем shikimori_id в таблице_Kodik при запуске крона (создание поля теперь идет при установке плагина)
  - Переделана логика разбития по категориям - жанры теперь берутся только из all_genres - для распределения не только по жанрам Кинопоиска, но и по жанрам Shikimori и Mydramlist
  - Обновлена инструкция для постраничного вывода серий для DLE 15-15.1
  - Добавлена функция "Анонсы" - настройка указания ID категории трейлеров, для убирания материалов из этой категории при появлении материала в базе, через крон автоподнятия &last
  - Добавлена сортировка эпизодов сериалов по ID (sort="id") для постраничного вывода серий для тега {serialy sort="id" last="yes" limit="5" template="abc"} - для вывода именно последних добавленных на сайт эпизодов
  - Фикс сортировки эпизодов для постраничного вывода серий по возрастанию/убыванию
  
  
• С версии 4.9:
  - Добавлена функция массового проставления данных для существующих новостей на сайте - на данные с базы Кодик. Простановка идёт по ид КП, если нет - по Шикимори ид, если нет - тогда по названию материала
  * Внимание! Перезапись (простановка) идёт именно настроенных полей во вкладке "доп. поля". Перед простановкой пожалуйста заполните все предыдущие вкладки и сохраните. А так же настоятельно рекомендуем сделать бекап своей базы данных. Простановка будет происходить не зависимо от включения автодобавление и автообновления. Заполняться будут только выбраные вами категории и доп поля.
  - Добавлена функция массового разбития сериалов на отдельные страницы с сериями и сезонами (работает так же через функцию массового проставления данных, но при включенной функции "Посерийный вывод")
  - Добавлено проставление link="canonical" для отдельных страниц серий и сезонов, при постраничном выводе серий и сезонов, для ссылания именно на эту страницу серии и/или сезона
  
  С версии 5.0:
• Добавлено попадание страниц серий и сезонов для постраничного вывода серий - в sitemap сайта
  
  С версии 5.1:
• Добавлено временное разделение на +1 секунду при массовом авто-поднятии новостей, для избежания дублей при погрузке на следующей странице новостей в DLE
  
  С версии 5.2:
• Сделана защита от повторного запуска крона, во избежания дублей на сайте - если быстро дернуть файл несколько раз то сработает лишь один раз, на 3 секунды блокируется. Можно вручную увеличить время блокировки от повторного мгновенного запуска - задать не 3 секунды, а 5 или 30 дать *файл - grab.php
• Исправление НЕ оставления исходного файла jpg , при конвертации в webp для DLE 15+ *файл - func.php
• Сделана разбивка на sitemap1 sitemap2 и т д - для постраничного вывода серий и сезонов, теперь карту сайта разбивает на части, если модуль спарсено много эпизодов и сезонов на сайте *файл serialy.xml
• Исправлено попадание страниц серий и сезонов для постраничного вывода серий - в sitemap сайта
• Изменен способ временного промежутка на +1 секунду при массовом авто-поднятии новостей: добавлен в код: sleep(2); - где 2 - это кол-во секунд, на которые нужно увеличить промежуток, можно увеличить вручную на нужное кол-во времени
  
  С версии 5.3:
• Добавлена возможность выделения и удаления серий в постраничном модуле серий: отметить все / некоторые и "Удалить"
• Фикс загрузки скриншотов сериалов/аниме-сериалов при конвертации в webp на dle 15.1 *файл func.php
• Фикс для постраничного вывода серий если не заполнено поле сезона - не выводить тег {season=}
  
• Добавлена возможность исключить категории, в которых не обновлять информацию при авто-обновлении *файл grab.php
  
  v5.4
  1. Обновление до версии DLE 15.2
  2. Добавлена одновременная проверка при граббинге сразу по всем ID: ID KP, ID ShiKi, ID MDL - для избежания дублей при отсутствии какого-либо ID
  3. Добавлен mdl_id в тбл dle_kodik для проверки по ID MydramList
  4. Фикс массового проставления:

v5.5
1. Добавлена одновременная проверка сразу по всем ID: ID KP, ID ShiKi, ID MDL - при массовом проставлении данных
2. Обновление постраничного вывода серий и сезонов под DLE 15.2
3. Обновление плагина формирования метатегов у постраничного вывода серий под версию DLE 15.2
4. Добавлены реврайты для серверов на Ngnix для постраничного вывода серий и сезонов

v5.6
1. Добавлено отправление серий и сезонов сначала на модерацию, при постраничном выводе серий и сезонов (для DLE 13-0-15.1 и для DLE 15.2 - сделаны разные плагины)
2. Улучшили парсинг/граббинг серий и сезонов для постраничного вывода серий и сезонов: ранее брали только первый пришедший ответ, теперь модуль прогоняет всё, со всего массива, соответственно, разбитие на сезоны и серии идёт более точно
3. То же самое - для массовой простановки данных + ручного парсинга


v5.7
- Сделана одновременная проверка по ID KP, IMDB, MDL и Shikimori, при поиске по названию материала - для более точного поиска по материалам базы
- Сделана настройка заносить в категорию "онгоинг"
- Добавлена настройка "Убирать из категории Онгоинг", если изменился статус аниме-сериала
- Добавлена автозамена английских названий аниме-статусов с базы - на русское название, средствами модуля: 'anons' = "Анонс"; 'ongoing' "Онгоинг";'released'= "Релиз"

v5.8

- Исправлена проблема с "not found" в автоподнятии и обновлении
- В ручном парсере в "Добавить новость" и "редактировать новости"- исправлен парсинг тв-сезона аниме-сериала (Логику оставили такой: если есть id от shikimori, то тянем серию из него, игнорируя кинопоиск и остальных.
Если shikimori нет, то тянем материал из всех остальных id где есть.)

v5.9
1. Добавлен фильтр добавлять ли материалы с ЛГБТ-сценами.
2. Во вкладку "Категории" - добавлены новые категории:
- Завершён - если статус материала "released"
- ongoing - если статус материала "ongoing"
- Анонс - если статус материала "anons"
- Special - если это специальный выпуск к основному материалу
3. Добавлен выбор, добавлять ли материалы OVA, ONA, Special
4. Перенесен фильтр "добавлять камрип-качество" - под чекбокс "Добавлять материалы с LGBT-сценами"
5. Визуально понятнее сделан выбор категорий по жанрам, статусам, странам и годам

v6.0
1. Добавлена поддержка PHP 8.1
2. Добавлена функция "Перенос материала из одной категории в другую":
Если у материала статус с "anons" при запуске крона &last сменился на статус "ongoing" -то убираем из категории "Анонсы" и переносим в категорию "ongoing". Если у материала статус "ongoing" при запуске крона &last сменился на статус "released" -переносим категорию "Завершенные"
примечание: модуль так же понимает выставленные в настройках пользовательские значения для статусов (anons - "анонс", realised- "вышел")
3. Фикс занесения в категории anons, realised, ongoing и special
5. Фикс проставления значений "возрастное ограничение"

v6.1
- Добавлены два новых чекбокса: не добавлять без постеров и не добавлять без описаний.

v6.2
1. Разделили проверку при кроне автообновления &last иды кинопоиск, shikimori и mydramlist
2. Улучшена функция изменения категории материала через крон. Статус материала теперь берется не из anime_status, а из all_status. Таким образом модуль будет корректно работать не только с аниме, но и с дорамами.
3. Добавлены два новых чекбокса: не добавлять без постеров и не добавлять без описаний.

v6.3
1. Исправлена работа крона при парсинге дорам (для фильтра "Допустимые страны" - и крон &type=serial), теперь не дублирует
2. Исправление: ранее не заносило аниме в OVA и ONA при парсинге &type=anime. Следует создать категории ova и ona и указать в них соответствующее наполнение в модуле во вкладке категорий
3. Сделана настройка "Группы пользователей: кому разрешено в админке использовать модуль"
4. Перенесли engine/inc/kodik_grabber.php удалить можно. он теперь в плагине
5. Постеры теперь пишет без добавления url-сайта, начинает сразу с папки /uploads , для более удобного переноса сайтов
6. Убрали неактуальное поле "Лицензионный ключ"

v6.4
1. Поправлена работа массовой простановки на DLE 16.0 (файл rebuild.php)
2. Поправили работу модуля посерийки dle_serials - работу с COLUMN moder
3. Добавлена в модуль кнопка "Поиск точного значения для стран и жанров: если чекбокс включен: добавлять к countries и genres - приставку _and."
4. И небольшое дополнение в файл инструкции по крону - добавлен способ запуска крона автодобавления - чаще раза в минуту.
5. И добавили в инструкцию строки для хостинга Hostland
curl "https://сайт.ком/engine/kodik/grab.php?secret_key=ключ" >/dev/null 2>&

v6.5
1. Сделан вывод плеера на отдельной странице к каждой новости на сайте (папка "Вывод плеера на отдельной странице")
2.Добавлены новые доп. поля:
форматированный сезон + 1 вида: если 1 сезон - 1,2 сезон, если 2 сезон - 1,2,3 сезон, если 5 сезон - 4,5,6 сезон,
форматированный сезон + 1 вида 1,2 сезон, 1,2,3 сезон, 1,2,3,4,5 сезон, 1-5,6,7 сезон
3. Исправления ошибок.

v6.6
1. В ручной поиск выведено значение LGBT (Да/Нет) и Camrip (Да/Нет)
2. Добавлен туда же вывод значения года выхода year
3. Теперь информация о кинопоиске ($kp_id) будет выводиться только в том случае, если значение кинопоиска не пустое.

 

Модуль рекомендован Kodik на их официальном сайте: Благодарим, Kodik Dev

Спойлер: Скриншот

 

Именно для анимешников он и нужен (Кодик)

 

чуть подробнее прочитать инструкцию)

Сначала запускаем:

Сайт/engine/ajax/controller.php?mod=kodik&type=anime

потом:

Сайт/engine/ajax/controller.php?mod=kodik

вопросы пишите в телеграмме только: @ Doznet

 

Обновление- v1.1 - 14.07.2020:

1. Добавлена связка с модулем DLE SocialPostig, для отправки публикаций автоматически в Вашу группу Telegram/ВКонтакте/Твиттер и тд. (Должен быть установлен модуль SocialPosting)
2. Добавлены новые данные:

ID Shikimori
mpaa_rating
продюсеры,
писатели,
композиторы,
редакторы,
дизайнеры,
операторы
Слоган

обновление доступно к скачиванию на нашем сайте в профилях

 

v.1.1.1 update:

3. Исправлена ошибка конфликта с официальным модулем Кодика - теперь граббер не заменяет собой офф модуль. Благодарим, Kodik Dev , за сигнал

обновление доступно к скачиванию на нашем сайте в профилях