Обсуждение Парсер кинопоиск pkinopoisk v3.3.0 открытый код скачать

[juranja]

Ваш сайт какую имеет кодировку ?

утф 8,

 

[Vendetta26]

утф 8,

Выше скидал файл,смените его просто и парсер заработает

 

[Ботяра]

Интересно сколько трафика можно получить с 17 тыс. копипаста?🙂

копипаст актерского состава и другой технической информации? Никто не заставляет сразу всю базу парсить, можно по одну фильму парсить и добавлять уник описания!!!

 

[Vendetta26]

копипаст актерского состава и другой технической информации? Никто не заставляет сразу всю базу парсить, можно по одну фильму парсить и добавлять уник описания!!!

Есть хорошие модули которые используют всплывающие окна и подобное которые находятся на совсем другой странице и не видит их робот,описание копипаст но вот эфект не хуже чем уник. На даный момент копипаст посещалка больше чем в уника,так что скажу лучше всю базу спарсить чем добавлять по 20-30-(50 это максимум на что мне терпения хватило добавлять вручную,дальше просто сдали нервы))))

 

[Ботяра]

Есть хорошие модули которые используют всплывающие окна и подобное которые находятся на совсем другой странице и не видит их робот

Есть модули, которые выводят эту инфу через ajax, например, UniForm — модуль универсальных ajax-форм для DataLife Engine, есть так же кастом аякс от пунпуна. То как это выводится на hdrezka - знают только разработчики резки, в паблик подобное не просачивалось.

 

[PunPun]

Есть модули, которые выводят эту инфу через ajax, например, UniForm — модуль универсальных ajax-форм для DataLife Engine,

Этот модуль никак не связан с новостями, и служит для совсем других целей.

 

[Ботяра]

PunPun я его в качестве примера привёл, есть от пафнутия аякс-фуллстори кажется, который на версиях ниже 13-й работал отлично, на 13-й линейке я его работу не проверял.

 

[PunPun]

PunPun я его в качестве примера привёл, есть от пафнутия аякс-фуллстори кажется, который на версиях ниже 13-й работал отлично, на 13-й линейке я его работу не проверял.

Ну так Ajax Fullstory и Uniform разные вещи. И как пример не годиться, ведь это формы для заполнения а не подтягивании информации как в Ajax Fullstory 🙂

 

[ArtAlf]

копипаст актерского состава и другой технической информации? Никто не заставляет сразу всю базу парсить, можно по одну фильму парсить и добавлять уник описания!!!

Ну да я про это и спрашивал, что если напарсить и добавить копипаст описание или совсем без описания, сколько трафика можно получить, просто интересно)

 

[ArtAlf]

Есть хорошие модули которые используют всплывающие окна и подобное которые находятся на совсем другой странице и не видит их робот,описание копипаст но вот эфект не хуже чем уник. На даный момент копипаст посещалка больше чем в уника,так что скажу лучше всю базу спарсить чем добавлять по 20-30-(50 это максимум на что мне терпения хватило добавлять вручную,дальше просто сдали нервы))))

А как ты это реализовал?) И еще вопрос, в чем отличие добавить копипаст описание в скрытой странице, от того что просто парсить без описания т.е. просто год, актерский состав и т.д. если робот все равно не видит описание, значит его можно вообще не добавлять, и эффект будет тот же?

Я очень дико извиняюсь, опять не склеил сообщения, просто сначала ответил, потом еще прочитал, и снова ответил

 

[ArtAlf]

Подскажите почему постер который я выбираю, не загружается, а идет загрузка только постера с кп, если несколько вариантов выбираю, то он все равно загружает два одинаковых

 

[Vendetta26]

копипаст актерского состава и другой технической информации? Никто не заставляет сразу всю базу парсить, можно по одну фильму парсить и добавлять уник описания!!!

Естьхорошие модули которые используют всплывающие окна и подобное которые находятся на совсем другой странице и не видит их робот,описание копипаст но вот эфект не хуже чем уник. На даный момент копипаст посещалка больше чем в уника,так что скажу лучше всю базу спарсить чем добавлять по 20-30-(50 это максимум на что мне терпения хватило добавлять вручную,дальше просто сдали нервы))))
Модуль с hdrezka dsnfob

А как ты это реализовал?) И еще вопрос, в чем отличие добавить копипаст описание в скрытой странице, от того что просто парсить без описания т.е. просто год, актерский состав и т.д. если робот все равно не видит описание, значит его можно вообще не добавлять, и эффект будет тот же?

Я очень дико извиняюсь, опять не склеил сообщения, просто сначала ответил, потом еще прочитал, и снова ответил

модуль с hdrezka ajax_news_full

 

[Sud3n]

Вылезает ошибка при парсинге. Что делать?

 

[Vendetta26]

Вылезает ошибка при парсинге. Что делать?

права перепроверить

 

[igrovik]

права перепроверить

Не в правах дело было.

 

[Sud3n]

Спасибо большое за помощь igrovik, помог исправить ошибку и еще несколько правок по парсеру. 🙂

 

[igrovik]

Спасибо большое за помощь igrovik, помог исправить ошибку и еще несколько правок по парсеру. 🙂

Не за что!

 

[KoKauH]

Насчёт крякозябров!
открываем /engine/ajax/pkinopoisk.php

Если сайт на utf-8
ищем

function convert_charset_pkp($data, $from = 'cp1251', $to = 'utf-8')
{
    if ($from == $to) {
        return $data;
    } elseif (function_exists('mb_convert_encoding')) {
        $data = mb_convert_encoding($data, $to, $from);
    } elseif (function_exists('iconv')) {
        $data = iconv($from, $to.'//IGNORE', $data);
    }

    return $data;
}

Удаляем её полностью.

Далее ищем

'body'           => convert_charset_pkp(substr($page, $curl_info['header_size']), $from = 'cp1251', $to = 'utf-8'),

изменяем на

'body'           => substr($page, $curl_info['header_size']),

Далее

Это можно и не трогать так как аутеризация сейчас не проходит на кп, как я понял!
$config_mod['conf']['kp_user'] = convert_charset_pkp($config_mod['conf']['kp_user'], 'UTF-8', 'cp1251');
$config_mod['conf']['kp_pass'] = convert_charset_pkp($config_mod['conf']['kp_pass'], 'UTF-8', 'cp1251');

Далее ищем

$page = convert_charset_pkp($page, 'cp1251', 'utf-8');

Изменяем на

$page = $page;

Далее

$kp_query = urlencode(convert_charset_pkp($title, 'utf-8', 'cp1251'));

Изменяем на

$kp_query = urlencode($title);

Ищем

$pars_list = convert_charset_pkp($pars_list, 'cp1251', 'utf-8');

Изменяем на

$pars_list = $pars_list;

Ищем

$pars_film = convert_charset_pkp($pars_film, 'cp1251', 'utf-8');

Изменяем на

$pars_film = $pars_film;

Ищем

$post_data[$name.'_date'] = convert_charset_pkp($post_data[$name.'_date'], $config['charset'], 'utf-8');

Изменяем на

$post_data[$name.'_date'] = $post_data[$name.'_date'];

Ищем

$page_studio = convert_charset_pkp($page_studio, 'cp1251', 'utf-8');

Изменяем на

$page_studio = $page_studio;

Ищем

$pars_oboi = convert_charset_pkp($pars_oboi, 'cp1251', 'utf-8');

Изменяем на

$pars_oboi = $pars_oboi;

ищем

$pars_img = convert_charset_pkp($pars_img, 'cp1251', 'utf-8');

изменяем на

$pars_img = $pars_img;

ищем

$page_cast = convert_charset_pkp($page_cast, 'cp1251', 'utf-8');

изменяем на

$page_cast = $page_cast;

Ищем

$url_tag = convert_charset_pkp($tag, 'utf-8', $config['charset']);

Изменяем на

$url_tag = $tag;

ищем

$xfields_name[$val[0]] = convert_charset_pkp($val[1], $config['charset']);

изменяем на

$xfields_name[$val[0]] = $val[1];

Вроде всё!
По идее должно работать.

p/s не забываем чистить кэш сайта!

Если сайт в кодировке cp1251 и при парсенге идут кракозябы то как быть?) я по аналогии заменил convert_charset_pkp($page_cast, 'cp1251', 'utf-8'); на convert_charset_pkp($page_cast, 'utf-8', 'cp1251');
НО что-то не работает. Кэш чистил.

 

[KoKauH]

Если сайт в кодировке cp1251 и при парсенге идут кракозябы то как быть?) я по аналогии заменил convert_charset_pkp($page_cast, 'cp1251', 'utf-8'); на convert_charset_pkp($page_cast, 'utf-8', 'cp1251');
НО что-то не работает. Кэш чистил.

Сделал проще везед где встречается вхождение 'cp1251', 'utf-8' заменил на 'utf-8', 'utf-8' заработало))

 

[ArtAlf]

Кадры и скриншоты парсит у кого нибудь, или скриншоты в принципе не работают на этом парсере?