Dismiss Notice
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Где вы берете текстовки для дорвеев?

Discussion in 'Вопросы- ответы' started by qosmos, Jan 4, 2016.

04.01.16 в 23:30
05.01.16 в 15:04
26
3,619
0
  1. TopicStarter Overlay
    qosmos

    qosmos Бывалый

    Messages:
    426
    Likes Received:
    67
    Best Answers:
    0
    Кто-нибудь занимается сейчас дорвеями? Где вы берете текстовки? Надоело брать текст из книжек, испытал несколько парсеров контента, но они работают не очень круто. Может кто-то поделиться?
     
  2. Dr.ZLo

    Dr.ZLo Staff Member VIP Кинотрафик v2

    Messages:
    496
    Likes Received:
    388
    Best Answers:
    0
    Сниппеты тащат, инфа 146%
     
    • Нравится Нравится x 1
  3. romanbkn

    romanbkn Staff Member VIP Кинотрафик v2

    Messages:
    3,420
    Likes Received:
    1,282
    Best Answers:
    0
    можно еще коменты вк парсить. Чем доры клепаешь?
     
  4. TopicStarter Overlay
    qosmos

    qosmos Бывалый

    Messages:
    426
    Likes Received:
    67
    Best Answers:
    0
    Думал об этом, нашел прогу, но врятли там можно много спарсить. jako
     
  5. romanbkn

    romanbkn Staff Member VIP Кинотрафик v2

    Messages:
    3,420
    Likes Received:
    1,282
    Best Answers:
    0
    vk comment parser и парсить тематические группы.
     
  6. TopicStarter Overlay
    qosmos

    qosmos Бывалый

    Messages:
    426
    Likes Received:
    67
    Best Answers:
    0
    почему 146 ?
     
  7. error404

    error404 Staff Member VIP Кинотрафик v2

    Messages:
    1,429
    Likes Received:
    848
    Best Answers:
    0
    @qosmos, такой процент у дорвейщиков, они не знают про 100%
     
    • Нравится Нравится x 1
  8. TopicStarter Overlay
    qosmos

    qosmos Бывалый

    Messages:
    426
    Likes Received:
    67
    Best Answers:
    0
    понял, а как с объемами? сколько он может спарсить? если не смотреть на скорость интернета
     
  9. TopicStarter Overlay
    qosmos

    qosmos Бывалый

    Messages:
    426
    Likes Received:
    67
    Best Answers:
    0
    не слышал o_O, это наверное у потомственных дорвейщиков
     
  10. romanbkn

    romanbkn Staff Member VIP Кинотрафик v2

    Messages:
    3,420
    Likes Received:
    1,282
    Best Answers:
    0
    сколько коментов на стене, покрайней мере ниразу не падал у меня при парсинге. Не осталось напарсенного, но я парсил по 4,5кк символов за раз. хз примерно 1,5-2мб текста
     
  11. TopicStarter Overlay
    qosmos

    qosmos Бывалый

    Messages:
    426
    Likes Received:
    67
    Best Answers:
    0
    нормально
     
  12. TopicStarter Overlay
    qosmos

    qosmos Бывалый

    Messages:
    426
    Likes Received:
    67
    Best Answers:
    0
    а сколько мб или символов текста в идеале нужно на дор с 10к страницами ???
     
  13. Pavel

    Pavel Местный

    Messages:
    1,642
    Likes Received:
    770
    Best Answers:
    0
    Проблема комментов со стен и не стен в вк, что они индексируются и не уникальны.
     
  14. romanbkn

    romanbkn Staff Member VIP Кинотрафик v2

    Messages:
    3,420
    Likes Received:
    1,282
    Best Answers:
    0
    От 0 и выше. Так то зависит от тематики.
     
  15. romanbkn

    romanbkn Staff Member VIP Кинотрафик v2

    Messages:
    3,420
    Likes Received:
    1,282
    Best Answers:
    0
    В куске на 1,5 к уникальности не ниже 90%. Можно и строки перемешать
     
  16. TopicStarter Overlay
    qosmos

    qosmos Бывалый

    Messages:
    426
    Likes Received:
    67
    Best Answers:
    0
    причем тут уник, копипаст нормально лезет, мне бы главное быстро и много
     
  17. Pavel

    Pavel Местный

    Messages:
    1,642
    Likes Received:
    770
    Best Answers:
    0
    Без понятия, вы может какие свежие парсили. Я просто как то уже интересовался этим моментом и тоже хотел брать контент с ВК. Проверьте коммент более менее постарше, я например ща взял вчерашний случайный коммент из МДК - он не уникальный.
    Ну тогда вопросов нет)
     
  18. romanbkn

    romanbkn Staff Member VIP Кинотрафик v2

    Messages:
    3,420
    Likes Received:
    1,282
    Best Answers:
    0
    Ха, вот я не могу выбирать при парсинге возраст. Проблема софта. Парсит всю стену от последнего к 1. Потом почистишь его, строки помешаешь и в путь. Так то какая разница, все равно его не видно пользователю
     
  19. TopicStarter Overlay
    qosmos

    qosmos Бывалый

    Messages:
    426
    Likes Received:
    67
    Best Answers:
    0
    тут читал древний пост, сейчас это актуально или нет?
    а если парсить с закрытой группы?
     
  20. romanbkn

    romanbkn Staff Member VIP Кинотрафик v2

    Messages:
    3,420
    Likes Received:
    1,282
    Best Answers:
    0
    Вроде не пашет уже, как и замена букв кодом этих букв. Но кто то говорил что иногда то что не работает начинает работать заного

    Не пробовал
    [/QUOTE]