Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Клонируют онлайник 5-й раз за 5 месяцев

Тема в разделе "Свободное общение", создана пользователем uskino, 29 май 2016.

29.05.16 в 12:16
20.07.16 в 05:36
74
6.993
0
  1. Romantv

    Забанен

    Регистрация:
    17 июл 2015
    Сообщения:
    6.989
    Лучших ответов:
    6
    Рейтинги:
    +1.997 / 141 / -0
  2. Pavel

    Pavel Местный

    Регистрация:
    7 ноя 2015
    Сообщения:
    1.680
    Лучших ответов:
    0
    Рейтинги:
    +785 / 0 / -0
    Гениально Ватсон, минус 100 к эрудиции и интеллекту. Речь идет про JS.
     
  3. Romantv

    Забанен

    Регистрация:
    17 июл 2015
    Сообщения:
    6.989
    Лучших ответов:
    6
    Рейтинги:
    +1.997 / 141 / -0
    JS не будет работать
     
  4. Pavel

    Pavel Местный

    Регистрация:
    7 ноя 2015
    Сообщения:
    1.680
    Лучших ответов:
    0
    Рейтинги:
    +785 / 0 / -0
    JS будет работать. Только от него толк на 30-50%. ПСы будут видеть код и контент клона, но данный клон никогда не получит ПФ. Плюс к этому, так как ПС сейчас понимают JS они вполне могут это засчитать в минус для клона и вообще его никак не учитывать.
     
  5. TopicStarter Overlay
    uskino

    PRO Users

    Регистрация:
    20 окт 2015
    Сообщения:
    762
    Лучших ответов:
    1
    Рейтинги:
    +174 / 23 / -0
    Потому что они делают автозамену доменного имени, за этим и это дрочево

    Обусфикацию ниже сделал как пример. Как к таким кода относятся поисковики, как и к обычному js коду?
     
  6. TopicStarter Overlay
    uskino

    PRO Users

    Регистрация:
    20 окт 2015
    Сообщения:
    762
    Лучших ответов:
    1
    Рейтинги:
    +174 / 23 / -0
    А тут плюс может быть в том, если эти клонировальщики не прошаренные и не хитровыебанные, то увидят, что что-то не так, редиректит их на видюху-приколюху, то просто отстанут и все. А так это бесполезная фигня.

    Сейчас хотим фильтрацию трафика сделать, чтобы все кто с прокси заходят в бан уходили
     
  7. Pavel

    Pavel Местный

    Регистрация:
    7 ноя 2015
    Сообщения:
    1.680
    Лучших ответов:
    0
    Рейтинги:
    +785 / 0 / -0
    Обычному, вот только поисковики сейчас js хорошо понимают и вполне могут понять что сайт клон в гавне и редиректит и это не навредит источнику.

    Вот это и есть главное.
     
  8. KurtRassel

    KurtRassel Бывалый

    Регистрация:
    7 май 2016
    Сообщения:
    170
    Лучших ответов:
    0
    Рейтинги:
    +59 / 2 / -0
    В общем ставим все способы защиты и никто не склонирует:

    1. Пишем в Nginx, чтобы принимал данные только с одного домена, одного порта и с www или без, со всех остальных - перенаправление;
    2. Запрещаем отображение сайта во фрейме X-Frame-Options DENY;
    3. Ставим fail2ban и слушаем логи, можно настроить на его вычисление, он будет добавлен в бан (очень ресурсоёмко);
    4. Ставим ограничение с одного IP, опять же, если клон начнёт получать траффик, будет заблокирован.

    Последние 2 варианта порежут клона еще на этапе его индексирования, так как пауки будут открывать много страниц. В следствии этого, поисковики будут заходить реже, а в последствии может вообще выкинут его из поиска.
     
    • Нравится Нравится x 1
  9. TopicStarter Overlay
    uskino

    PRO Users

    Регистрация:
    20 окт 2015
    Сообщения:
    762
    Лучших ответов:
    1
    Рейтинги:
    +174 / 23 / -0
    Комплексно подойти - хороший вариант.
    Но есть же прокси. Ip искали в логах каждый раз (как раз когда пауки по ним лазить начинают, диск на 30гб логами полностью забивается, ip разные, видимо прокси). Так что тут и с этой стороны присекать надо
     
  10. Uralbox

    Команда форума VIP Кинотрафик v2

    Регистрация:
    25 окт 2015
    Сообщения:
    1.593
    Лучших ответов:
    0
    Рейтинги:
    +185 / 5 / -0
    Не нашли способ всё таки?
     
  11. mazar

    mazar Зелёный

    Регистрация:
    19 ноя 2015
    Сообщения:
    7
    Лучших ответов:
    0
    Рейтинги:
    +5 / 0 / -0
    Зеркалирование "жертвы" делается обычным проксированием, как на nginx (пример) так и на apache, отсюда мораль, как уже подсказал Курт Рассел, вычисляете на автомате "подражателя" (fail2ban и иже с ним) и баните его IP, все остальные способы - от Лукавого.
     
    • Нравится Нравится x 2
  12. TopicStarter Overlay
    uskino

    PRO Users

    Регистрация:
    20 окт 2015
    Сообщения:
    762
    Лучших ответов:
    1
    Рейтинги:
    +174 / 23 / -0
    @KurtRassel похоже предложил все способы. Спасибо ему. 1,2 и 4 способы в моем случае не помогут. Хотели настроить фильтрацию трафика по проксям, но у поисковиков, в т.ч. и яндекса, куча проксей попадается, так что тут тоже не вариант.

    А я, кстати, поставил скриптик, когда домен отличается от моего, идет редирект на видюху-приколюху (у клонов срабатывает). Обусфицировал его и спрятал в js файлах между фунций. Скрипт выше где-то скидывал. В случае, если это какие-то ребята без опыта в программировании (может чей-то скрипт на мне испытвают), то думаю сработает и они отстанут. Могут js конечно отключить и увидеть, то сайт работает. А так по делу больше ничего....

    Так fail2ban я так понял защищает от подбора паролей ssh, ftp и тд ? Как его можно настроить под это дело? И логи мониторили каждый раз, ip все разные (15гб логов с одним ip (сервера с которого отображение происходит) должно быть по идее, а там совпадений даже на 50мб нет) поможет ли в таком случае он?
     
    #72 uskino, 10 июн 2016
    Последнее редактирование: 10 июн 2016
  13. mazar

    mazar Зелёный

    Регистрация:
    19 ноя 2015
    Сообщения:
    7
    Лучших ответов:
    0
    Рейтинги:
    +5 / 0 / -0
    Вы правы, придется настроить мониторинг логов (piwik, awstats ...) и вычислять топ самых активных, а уже из них ручками проверять "подражателей" и банить в iptables. Муторно, но безопасно, чтобы не забанить поисковики и пользователей за NATом.
    А чтобы логи не "пухли" и не так нагружали процесс парсинга анализаторами, я бы выкинул из них логирование css, js, gif, jpg и т.п. оставив htm, html, php.
    Удачи в извечной борьбе брони и снаряда!
     
    • Нравится Нравится x 2
  14. TopicStarter Overlay
    uskino

    PRO Users

    Регистрация:
    20 окт 2015
    Сообщения:
    762
    Лучших ответов:
    1
    Рейтинги:
    +174 / 23 / -0
    Спасибо, пожалуй, за самый дельный совет. Но это все равно слишком муторно, нужно как-то ботов отсеивать. Ставили скрипт такой, только попроще на php, все ip сортирует по кол-ву запросов. Там очень и очень много ботов поисковых и всяких пауков, если каждый день проверять заходить ручками их, то с ума сойти можно. Так что наверное даже на среднем сайте это тоже дело не проканает :(

    Js редирект в общем остался, может на человеческом факторе сыграет и отстанут
     
  15. TopicStarter Overlay
    uskino

    PRO Users

    Регистрация:
    20 окт 2015
    Сообщения:
    762
    Лучших ответов:
    1
    Рейтинги:
    +174 / 23 / -0
    Апну немножко тему. Так как интересно наверное было бы всем узнать результат.
    В общем только Js редирект в итоге помог. Увидели, ковырять код не стали и отстали. Ибо такая площадка ни в одной пп и бирже ссылок модерацию не пройдет. Если это конкуренты или каике-то недоброжелатели, то они скорее всего не сразу прошарят, что псы контент все равно увидят и тоже время свое тратить перестанут на это.
     
Яндекс.Метрика