Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Dle парсер кинопоиска для стола заказов(nodejs)

Тема в разделе "Модули DLE", создана пользователем iBrm1269, 13 фев 2016.

13.02.16 в 12:09
iBrm1269
16.03.16 в 11:04
iBrm1269
12
2.270
6
Ответить в теме
  1. TopicStarter Overlay
    iBrm1269

    iBrm1269 Посетитель

    Регистрация:
    10 фев 2016
    Сообщения:
    60
    Лучших ответов:
    0
    Рейтинги:
    +20 / 0 / -0
    Доброго времени суток. Сделал простенький парсер кинопоиска для модуля "Стол заказов". Может кому пригодится)

    За работой модуля можете наблюдать тут пока он все не спарсил :D

    P.S. Модуль сделан для того, что бы самому не искать базу фильмов. Он соберет основной список и вы уже из стола заказов можете сами добавлять в базу.

    Может быть попозже выкину допиленный модуль, который сразу в посты добавляет, как "Не опубликовано" и вам останется только добавить ссылку на трейлер и видео.


    P.S. Не ложите в папку с DLE, как это судя по всему хотел сделать прошлый оратор.

    Использование:

    Linux:
    1. Скачиваете архив.
    2. Скачиваете nodejs
    3. Данные их архива ложите на VDS например в папку ~/node/
    4. Заходите в папку, используя команду cd ~/node/
    5. Выполняете команду npm install
    6. Выполняете команду node kp.js(либо если установлен forever использовать команду forever start --uid="kp" -l="kp.log" -a="kp.js"

    Для Windows:
    1. Скачиваете архив.
    2. Скачиваете nodejs
    3. Данные из архива ложите в нужную вам папку
    4. Открываете командную строку из нужной вам папки
    5. Исполняете команду npm install
    6. Исполняете команду node kp.js

    За сутки выполняется 162,000 запросов(округлил в меньшую сторону)


    Скачать с Dropbox

    Ссылка для параноиков
     

    Вложения:

    • kp_parser.zip
      Размер файла:
      1,4 КБ
      Просмотров:
      30
    #1 iBrm1269, 13 фев 2016
    Последнее редактирование: 14 фев 2016
    • Нравится Нравится x 6
  2. XNTPbIY

    XNTPbIY Новичок

    Регистрация:
    6 фев 2016
    Сообщения:
    49
    Лучших ответов:
    0
    Рейтинги:
    +6 / 0 / -0
    Не совсем понял суть, и нет информации что куда и зачем.
     
    #2 XNTPbIY, 13 фев 2016
  3. PunPun

    PunPun
    VIP Кинотрафик v2

    Регистрация:
    11 июн 2015
    Сообщения:
    7.415
    Лучших ответов:
    32
    Рейтинги:
    +4.035 / 116 / -0
    воу воу воу воу. в открытом доступе показывать данные соединения с базой, да вы батюшка бог безопасности, небось икону еще вставили туда.

    используете на свой страх и риск, данные можно получить без проблем, и тогда ваши сайты будут бекапнуты
     
    #3 PunPun, 13 фев 2016
    • Нравится Нравится x 1
  4. TopicStarter Overlay
    iBrm1269

    iBrm1269 Посетитель

    Регистрация:
    10 фев 2016
    Сообщения:
    60
    Лучших ответов:
    0
    Рейтинги:
    +20 / 0 / -0
    Вытащить данные из приложения, которое не прослушивается не на каком порту? Да вы бог суждения Это вам не PHP скрипт. Так-что прежде, чем умничать узнали бы как работает nodejs. из него не вытащить данные никак, если нет callback'a на это, которого собственно и нет. и повторюсь еще раз. Приложение не использует НИКАКОЙ порт
     
    #4 iBrm1269, 13 фев 2016
  5. TopicStarter Overlay
    iBrm1269

    iBrm1269 Посетитель

    Регистрация:
    10 фев 2016
    Сообщения:
    60
    Лучших ответов:
    0
    Рейтинги:
    +20 / 0 / -0
    P.S. Не ложите в папку с DLE, как это судя по всему хотел сделать прошлый оратор.

    Использование:
    1. Скачиваете архив.
    2. Скачиваете nodejs
    3. Данные их архива ложите на VDS например в папку ~/node/
    4. Заходите в папку, используя команду cd ~/node/
    5. Выполняете команду npm install
    6. Выполняете команду node kp.js(либо если установлен forever использовать команду forever start --uid="kp" -l="kp.log" -a="kp.js"

    Для Windows:
    1. Скачиваете архив.
    2. Скачиваете nodejs
    3. Данные из архива ложите в нужную вам папку
    4. Открываете командную строку из нужной вам папки
    5. Исполняете команду npm install
    6. Исполняете команду node kp.js
     
    #5 iBrm1269, 13 фев 2016
  6. PunPun

    PunPun
    VIP Кинотрафик v2

    Регистрация:
    11 июн 2015
    Сообщения:
    7.415
    Лучших ответов:
    32
    Рейтинги:
    +4.035 / 116 / -0
    нихуясине досмотрел что на nodejs, приношу извинения.
     
    #6 PunPun, 13 фев 2016
  7. nylmen

    nylmen
    Команда форума VIP Кинотрафик v2

    Регистрация:
    2 ноя 2015
    Сообщения:
    2.574
    Лучших ответов:
    0
    Рейтинги:
    +702 / 2 / -0
    Не у ловил полезности. С такой системой инсталляции пристрелица можно.
     
    #7 nylmen, 14 фев 2016
  8. TopicStarter Overlay
    iBrm1269

    iBrm1269 Посетитель

    Регистрация:
    10 фев 2016
    Сообщения:
    60
    Лучших ответов:
    0
    Рейтинги:
    +20 / 0 / -0
    Любой модуль nodejs так устанавливается на любую ОС. Это особенность серверного js и его интерпретации
     
    #8 iBrm1269, 14 фев 2016
  9. XNTPbIY

    XNTPbIY Новичок

    Регистрация:
    6 фев 2016
    Сообщения:
    49
    Лучших ответов:
    0
    Рейтинги:
    +6 / 0 / -0
    Можно еще разеснения, посмотрел я на файлы и не понял а куда с парсенное сохроняется и гед вывод результата ?
    Как я понял принцип, он спарсил имея доступ к базе он туда залил и при этом это выводится в стол заказов ?
    И как остановить потом работу скрипта ?
     
    #9 XNTPbIY, 16 мар 2016
  10. XNTPbIY

    XNTPbIY Новичок

    Регистрация:
    6 фев 2016
    Сообщения:
    49
    Лучших ответов:
    0
    Рейтинги:
    +6 / 0 / -0
    У меня на centoce не ставится командой npm install ( yum npm install ).
    4 пункт и 5 пункт не получилось сделать.
     
    #10 XNTPbIY, 16 мар 2016
  11. Keiskar

    Keiskar
    Забанен

    Регистрация:
    2 июл 2015
    Сообщения:
    870
    Лучших ответов:
    0
    Рейтинги:
    +397 / 0 / -0
    Код:
    wget https://nodejs.org/dist/v4.4.0/node-v4.4.0.tar.gz
tar xzvf node-v* && cd node-v*
yum install gcc gcc-c++
./configure
make
make install
     
    #11 Keiskar, 16 мар 2016
  12. XNTPbIY

    XNTPbIY Новичок

    Регистрация:
    6 фев 2016
    Сообщения:
    49
    Лучших ответов:
    0
    Рейтинги:
    +6 / 0 / -0
    При команде

    Код:
    [root@km node]# yum npm install
Loaded plugins: fastestmirror
No such command: npm. Please use /usr/bin/yum --help
    Хотя все что выше было yum install gcc gcc-c++ поставилось и скомпилировалось
    Так же все сделал что описано в этой статье http://centos.name/?page/howto/FastestMirror

    Тоже выдает сообщение что и ранее.
     
    #12 XNTPbIY, 16 мар 2016
    Последнее редактирование: 16 мар 2016
  13. TopicStarter Overlay
    iBrm1269

    iBrm1269 Посетитель

    Регистрация:
    10 фев 2016
    Сообщения:
    60
    Лучших ответов:
    0
    Рейтинги:
    +20 / 0 / -0
    NodeJS v5+
     
    #13 iBrm1269, 16 мар 2016
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)
Похожие темы
  1. Serhii

    Парсер кинопоиска 5

    Serhii, 10 ноя 2015, в разделе: Вопросы- ответы
    Ответов:
    2
    Просмотров:
    2.045
    Tegay
    10 ноя 2015
  2. Enli

    Парсер кинопоиска не заполняет доп. поля

    Enli, 21 ноя 2015, в разделе: Вопросы- ответы
    Ответов:
    12
    Просмотров:
    966
    Enli
    21 ноя 2015
  3. XVISTA

    Помогите настроить парсер кинопоиска!

    XVISTA, 10 июн 2016, в разделе: Вопросы- ответы
    Ответов:
    63
    Просмотров:
    10.536
    wolflocal
    18 окт 2018
  4. MFilms

    У всех пашет парсер кинопоиска от parser-kino ?

    MFilms, 19 июн 2016, в разделе: Вопросы- ответы
    Ответов:
    24
    Просмотров:
    4.709
    Demx
    25 июн 2016
  5. Skovhow

    Посоветуйте нормальный парсер кинопоиска

    Skovhow, 7 сен 2016, в разделе: Вопросы- ответы
    Ответов:
    10
    Просмотров:
    3.107
    Intention
    7 сен 2016
Загрузка...
Переключить ширину
Стиль
Zerocool-New
Язык
Russian (RU)
Яндекс.Метрика