Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Вопрос? Переграбинг базы фильмов

Тема в разделе "Вопросы- ответы", создана пользователем hdline, 20 авг 2018.

20.08.18 в 08:12
20.08.18 в 19:31
14
818
0
  1. TopicStarter Overlay
    hdline

    hdline Зелёный

    Регистрация:
    31 май 2018
    Сообщения:
    20
    Лучших ответов:
    0
    Рейтинги:
    +0 / 0 / -0
    Всем привет, вопрос такой, можно ли удалить базу и сграбить заново, с измененными настройками парсера если сайт проиндексирован?
     
  2. Defoz

    PRO Users

    Регистрация:
    10 апр 2016
    Сообщения:
    1.841
    Лучших ответов:
    4
    Рейтинги:
    +257 / 56 / -0
    hdline и сразу выбрасывай сайт с таким успехом, лучше уж новый создать
     
  3. TopicStarter Overlay
    hdline

    hdline Зелёный

    Регистрация:
    31 май 2018
    Сообщения:
    20
    Лучших ответов:
    0
    Рейтинги:
    +0 / 0 / -0
    а есть какие нибудь варианты обновить/добавить инфу с парсера по доп полям? или ручками все? или MySQL?
     
  4. iCooLER

    Кодер

    Регистрация:
    13 сен 2016
    Сообщения:
    390
    Лучших ответов:
    6
    Рейтинги:
    +318 / 12 / -0
    А много новостей на сайте? ID Кинопоиска указаны? Какую инфу обновить надо? :)
     
  5. TopicStarter Overlay
    hdline

    hdline Зелёный

    Регистрация:
    31 май 2018
    Сообщения:
    20
    Лучших ответов:
    0
    Рейтинги:
    +0 / 0 / -0
    20600, ID все указаны, при грабинге почему то не спарсились слоган (проставился знак "-" и поэтому, в описании блок не исчезает, а выводит этот знак), рейтинг, и описание (если нет описания, то на его место почему то дублируется постер и трейлер) и криво спарсились жанры (в парсере была включена функция "Если жанр "аниме", категорию мультфильм не выбирать :") однако в некоторых новостях проставились эти категории вместе

    думал попробовать через запрос поиска и замены к базе, но не нашел в ней таблиц с этими доп полями
     
  6. iCooLER

    Кодер

    Регистрация:
    13 сен 2016
    Сообщения:
    390
    Лучших ответов:
    6
    Рейтинги:
    +318 / 12 / -0
    1. Слоган на Кинопоиске часто не указан, а вместо него просто девис(-). Решить проблему можно условием, если dle не слишком старая. Не знаю точно с какой версии, но в dle есть условия для доп полей. В случае чего можно поставить хак на сайт и условия будут, не проблема =) Другое решение проблемы — пофиксить это в базе, можно сделать даже mysql запросом.
    upload_2018-8-20_16-39-43.png
    2. Для обновления рейтинга Кинопоиска и IMDb светился одно время модуль на форуме, незнаю рабочий ли он сейчас. Вот топик Платно - Обновление рейтинга кп и imdb

    3. Описания тоже часто нет на кинопоиске. Незнаю уж что там за косяк с постером и трейлером, но думаю это опять же можно поправить, как и косяк в категориях =)

    В общем, могу сделать за оплату, поправим косяки, который ты описал выше. Все решаемо =)

    P.S. Думаю две проблема из четырех я уже для тебя решил, ну или по крайней мере предложил варианты их решения =)
     
  7. FOX

    FOX Бывалый

    Регистрация:
    26 авг 2015
    Сообщения:
    192
    Лучших ответов:
    1
    Рейтинги:
    +29 / 1 / -0
    Не проще было отладить парсинг до нужной красоты до начала такого массового наполнения? Просто щас смотрел твой сайт (hd****.me), проще убить все новости и заново перепарсить, только вопрос нужно ли тебе это все? Не проще делать СДЛ?
     
  8. Анна

    PRO Users

    Регистрация:
    10 дек 2015
    Сообщения:
    1.041
    Лучших ответов:
    5
    Рейтинги:
    +493 / 14 / -0
    А смысл перепарсинга, если у него спарсилось все так, как на кинопоиске. если нет описания на нем, то откуда взяться описанию на доноре? То же самое касается и слогана и рейтинга. А постеры вместо описания появляются, так как видно было настроено, что постер идет через краткое содержание. В этом случае, если не заполнено полное описание, то отображается краткое.
     
  9. TopicStarter Overlay
    hdline

    hdline Зелёный

    Регистрация:
    31 май 2018
    Сообщения:
    20
    Лучших ответов:
    0
    Рейтинги:
    +0 / 0 / -0
    В том то и дело, что когда парсил по одной новости для теста, все было отлично, а когда массово грабить стал все пошло по косой
     
  10. TopicStarter Overlay
    hdline

    hdline Зелёный

    Регистрация:
    31 май 2018
    Сообщения:
    20
    Лучших ответов:
    0
    Рейтинги:
    +0 / 0 / -0
    Я выбираю кривую новость, нажимаю на редактировать, ищу ее на кинопоиске, нажимаю заполнить поля , то эти поля заполняются и слоганами и рейтингом и описанием
     
  11. Анна

    PRO Users

    Регистрация:
    10 дек 2015
    Сообщения:
    1.041
    Лучших ответов:
    5
    Рейтинги:
    +493 / 14 / -0
    Ну тут все вопросы к разработчику, почему так происходит. Только он сможет дать правильный ответ. Но зря ты такой ерундой занимаешься. Убиваешь сайт, не дав ему даже вздохнуть. Лучше бы по 10 в день выкладывал. Занимает пять минут времени. а пользы намного больше для сайта.
     
  12. TopicStarter Overlay
    hdline

    hdline Зелёный

    Регистрация:
    31 май 2018
    Сообщения:
    20
    Лучших ответов:
    0
    Рейтинги:
    +0 / 0 / -0
    это тестовый сайт для мучений, просто хочется сначала понять все камни эти подводные. кстати, если слить базу и сграбить заново, ссылки разве не останутся такими же? т.е. у ПС не должно быть ошибок или я чего то не понимаю?
     
  13. iCooLER

    Кодер

    Регистрация:
    13 сен 2016
    Сообщения:
    390
    Лучших ответов:
    6
    Рейтинги:
    +318 / 12 / -0
    Ссылки поменяются, т.к. id новостей будут другими, а как ты понимаешь — id новости в url первое дело(если конечно не менялось ЧПУ стандартное)
     
  14. iCooLER

    Кодер

    Регистрация:
    13 сен 2016
    Сообщения:
    390
    Лучших ответов:
    6
    Рейтинги:
    +318 / 12 / -0
    Подводные камни? Наполнить сайт фильмами одно дело, другое дело подать это поисковику и пользователю, как мне кажется. Своих сайтов нет, так что мои слова не обоснованы! Просто как по мне многое зависит от оптимизации, тот же Google speed покажет насколько страница быстро грузится, а микроразметка и адаптивность сайта добавит сайту дополнительные баллы. Тот же дизайн нынче не стоит брать тупо из сети, ведь РКН блочит клоны(или сейчас уже нет?). Да и надоедливый дизайн, типа киного, уже всем надоел, лично мое мнение. Можно наполнять группу вк или других соц сетях, хотя незнаю нафига. Касаемо SEO — нужно оптимизировать под НЧ запросы.... На этом я остановлюсь, ибо могу продолжать долго, но все это не обосновано, а лишь те мысли и идеи, которые я применю при создании своих сайтов, коих пока нет.

    Всем приятного вечера =)
     
  15. wawe

    PRO Users

    Регистрация:
    23 янв 2017
    Сообщения:
    3.549
    Лучших ответов:
    6
    Рейтинги:
    +1.574 / 404 / -0
    Тс - грабер, зло и не чего хорошего из этого не выйдет.
    Не забивайся этим. Только ручками- плавненько, качественно и стабильно.
     
Яндекс.Метрика