Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Список всех айдишников фильмов кинопоиска

Тема в разделе "Полезный софт", создана пользователем S37, 16 июн 2021.

16.06.21 в 08:21
S37
14.08.21 в 15:24
22
2.737
5
  1. TopicStarter Overlay
    S37

    S37 Бывалый

    Регистрация:
    31 мар 2021
    Сообщения:
    124
    Лучших ответов:
    0
    Рейтинги:
    +54 / 4 / -0
    Список всех существующих айдишников фильмов и сериалов КиноПоиска
    На данный момент 898,384 записи
    Данные в формате txt (id) и csv (id, url)
    Пригодится, например, если захотите спарсить все фильмы, добавить валидацию, проверить базу на ошибки и тд.
    В репозитории по ссылке есть также исходный код программы - github.com/dimskor/kpiddump/releases

    Список только айдишников: kp_id.txt
    Список айдишников и ссылок: kp_id_url.csv
     
    #1 S37, 16 июн 2021
    Последнее редактирование: 17 июн 2021
    • Нравится Нравится x 5
  2. byroot

    Забанен

    Регистрация:
    10 окт 2015
    Сообщения:
    12.297
    Лучших ответов:
    54
    Рейтинги:
    +5.205 / 74 / -0
    Что то нет ни одной ссылки /series/, только фильмы чтоли в списке без единого сериала? К примеру, рассказ служанки _www_kinopoisk_ru/series/1007426/
     
  3. TopicStarter Overlay
    S37

    S37 Бывалый

    Регистрация:
    31 мар 2021
    Сообщения:
    124
    Лучших ответов:
    0
    Рейтинги:
    +54 / 4 / -0
    /series/ меняется уже на бэкенде, через редирект, после перехода по основной ссылке. Даже внутри самого кинопоиска все ссылки на сериалы указаны через /film/
    Возможно, когда-нибудь, кинопоиск будет явно разделять ссылки на фильмы/серии, потому что раньше не было этого редиректа

    kp.png
     
    #3 S37, 16 июн 2021
    Последнее редактирование: 16 июн 2021
    • Нравится Нравится x 1
  4. 1080p

    1080p Местный

    Регистрация:
    20 окт 2020
    Сообщения:
    1.512
    Лучших ответов:
    3
    Рейтинги:
    +605 / 175 / -0
    Спасибо. Надеюсь вирусняк не заскриптован х)
     
  5. Korjik

    Korjik Местный

    Регистрация:
    12 авг 2019
    Сообщения:
    1.296
    Лучших ответов:
    3
    Рейтинги:
    +358 / 66 / -0

    Всё это хорошо, но нужна более подробная инструкция как этим пользоваться.
    Как эти данные добавить на сайт?
     
  6. ZerocooL

    Команда форума Администратор VIP Кинотрафик v2

    Регистрация:
    29 янв 2015
    Сообщения:
    8.679
    Лучших ответов:
    9
    Мануалы:
    31
    Рейтинги:
    +5.089 / 210 / -1
    это просто ссылки...
    В таком виде как есть. никак.
    писать парсер и по этим ссылкам парсить. потом импортировать в дле. только так
     
  7. ZerocooL

    Команда форума Администратор VIP Кинотрафик v2

    Регистрация:
    29 янв 2015
    Сообщения:
    8.679
    Лучших ответов:
    9
    Мануалы:
    31
    Рейтинги:
    +5.089 / 210 / -1
    Как бы всё намного проще...
    kinopoisk.ru/sitemaps/sitemap.xml
    видим такую конструкцию

    <loc>kinopoisk.ru/sitemaps/sitemap_film1.xml.gz</loc>
    <loc>kinopoisk.ru/sitemaps/sitemap_film10.xml.gz</loc>
    <loc>kinopoisk.ru/sitemaps/sitemap_film17.xml.gz</loc>
    <lastmod>2021-06-16</lastmod>
    </sitemap>
    качаем файлы. распаковываем. заливаем к себе на хост
    потом идем в любой сервис парсинга sitemap как вариант tools.seo-zona.ru/sitemaps.html
    и со своего хоста кидаем ссылки на сайтмапы. и вот вам все эти ссылки... зачем че парсить где то и тд. когда всё вот оно. доступно :)
    Screenshot_20.jpg

    P.S.
    если нужно просто список с айди кп
    то из полученных списков в notepad ++
    делаем массово заменить
    Код:
    https://www.kinopoisk.ru/film/
    на ничего и еше раз заменить / на ниче. в итоге останутся только цифры кп айди
     
    • Нравится Нравится x 1
    • Согласен Согласен x 1
  8. TopicStarter Overlay
    S37

    S37 Бывалый

    Регистрация:
    31 мар 2021
    Сообщения:
    124
    Лучших ответов:
    0
    Рейтинги:
    +54 / 4 / -0
    Так чтобы не тратить время, не копировать все руками, распаковывать, загружать, вставлять-заменять на сайтах - и есть парсер и этот файл, который облегчает всю работу. Запустил программу и через 5-10 секунд файл готов. Дальше уже в своей программе можно использовать (парсить кинопоиск, валидировать айдишники фильмов в формах, искать ошибки в базе и тд.)

    Если нужны только айдишники, то можно просто открыть .csv файл в экселе/гугл таблице и скопировать весь столбец
    ggg.png

    Файл в первую очередь предназначен для использования в каких-то своих программах. А практически в любом языке программирования есть работа с csv буквально в пару строчек кода. И будет проще взять готовый файл, чем возиться с эитм вручную :)
     
  9. TopicStarter Overlay
    S37

    S37 Бывалый

    Регистрация:
    31 мар 2021
    Сообщения:
    124
    Лучших ответов:
    0
    Рейтинги:
    +54 / 4 / -0
    Обновил программу, сделал генерацию дополнительного файла только с одними айдишниками
     
  10. ZerocooL

    Команда форума Администратор VIP Кинотрафик v2

    Регистрация:
    29 янв 2015
    Сообщения:
    8.679
    Лучших ответов:
    9
    Мануалы:
    31
    Рейтинги:
    +5.089 / 210 / -1
    не совсем понял о какой программе речь ? в старт посте список с урл
    я привел пример как получать актуальные свежие данные.
     
  11. wawe

    PRO Users

    Регистрация:
    23 янв 2017
    Сообщения:
    3.549
    Лучших ответов:
    6
    Рейтинги:
    +1.574 / 404 / -0
    S37
    Можно вывести список id с указанием разделов.
    Фильмы 2020 - id
    фильмы 2021 - id
     
  12. TopicStarter Overlay
    S37

    S37 Бывалый

    Регистрация:
    31 мар 2021
    Сообщения:
    124
    Лучших ответов:
    0
    Рейтинги:
    +54 / 4 / -0
    ZerocooL в первом посте есть ссылка на репозиторий с программой

    wawe в айдишниках эта информация не хранится, поэтому для этого нужно парсить конкретно инфу по фильму. А это уже совсем другая история


    Сделал проверку айдишников по балансерам, к которым есть доступ. Вот результаты со списком несуществующих айдишников:

    alloha - 13 ошибок
    Код:
    alloha;10457140
    alloha;1106570
    alloha;1200302
    alloha;1236462
    alloha;1263325
    alloha;1302464
    alloha;1330912
    alloha;1347266
    alloha;1375745
    alloha;4715652
    alloha;5697728
    alloha;927824
    alloha;95252
    
    bazon - 7 ошибок
    Код:
    bazon;1200302
    bazon;1202115
    bazon;1259454
    bazon;1289701
    bazon;1297218
    bazon;1309384
    bazon;1330912
    
    collaps - 7 ошибок
    Код:
    collaps;1106570
    collaps;1169320
    collaps;1236462
    collaps;1381262
    collaps;1408135
    collaps;34563454
    collaps;869542
    
    videocdn - 34 ошибки
    Код:
    videocdn;1001614
    videocdn;1045327
    videocdn;1058956
    videocdn;1106570
    videocdn;1141344
    videocdn;1163414
    videocdn;1169320
    videocdn;1198009
    videocdn;1200302
    videocdn;1200407
    videocdn;1207677
    videocdn;1213286
    videocdn;1236462
    videocdn;1246401
    videocdn;1289701
    videocdn;1291998
    videocdn;1297347
    videocdn;1302464
    videocdn;1302591
    videocdn;1304540
    videocdn;1330912
    videocdn;1347266
    videocdn;1366227
    videocdn;1409709
    videocdn;182487
    videocdn;1907226
    videocdn;2188362
    videocdn;3514874
    videocdn;4606210
    videocdn;840352
    videocdn;869542
    videocdn;927824
    videocdn;959566
    videocdn;991610
    
     
    #12 S37, 21 июн 2021
    Последнее редактирование: 21 июн 2021
  13. Korjik

    Korjik Местный

    Регистрация:
    12 авг 2019
    Сообщения:
    1.296
    Лучших ответов:
    3
    Рейтинги:
    +358 / 66 / -0
    Что умеет делать эта программа?
    Там парсер для DLE есть?
     
    • Смешно Смешно x 1
  14. Sultanat

    Sultanat Бывалый

    Регистрация:
    23 апр 2017
    Сообщения:
    438
    Лучших ответов:
    0
    Рейтинги:
    +53 / 24 / -0
    Как массово по этим айдишникам зикинуть все фильмы на свой сайт?
     
  15. byroot

    Забанен

    Регистрация:
    10 окт 2015
    Сообщения:
    12.297
    Лучших ответов:
    54
    Рейтинги:
    +5.205 / 74 / -0
    например граббером от псвольта, если конечно у него есть инфа по всем фильмам с кинопосика.
     
  16. tmhost

    PRO Users

    Регистрация:
    7 окт 2019
    Сообщения:
    212
    Лучших ответов:
    0
    Рейтинги:
    +67 / 11 / -0
    Граббер больше 50 айдишников не берет в граббинг.
     
  17. Sultanat

    Sultanat Бывалый

    Регистрация:
    23 апр 2017
    Сообщения:
    438
    Лучших ответов:
    0
    Рейтинги:
    +53 / 24 / -0
    может есть платные модули какие либо?
     
  18. tmhost

    PRO Users

    Регистрация:
    7 окт 2019
    Сообщения:
    212
    Лучших ответов:
    0
    Рейтинги:
    +67 / 11 / -0
    Есть модуль граббера базы videocdn, у них самая большая база на данный момент и по нему можно грабить.
     
  19. Qunaikana

    Qunaikana Зелёный

    Регистрация:
    4 авг 2021
    Сообщения:
    11
    Лучших ответов:
    0
    Рейтинги:
    +0 / 0 / -0
    Сколько в списке строк? считать лень :)
     
  20. byroot

    Забанен

    Регистрация:
    10 окт 2015
    Сообщения:
    12.297
    Лучших ответов:
    54
    Рейтинги:
    +5.205 / 74 / -0
    notepad++ покажет сколько там строк!
     
Яндекс.Метрика