SEO и трафик
Обсуждаем, как попасть в ТОП
Монетизация
Партнёрки, схемы и связки
Видеобалансеры
Плееры для кино сайтов
Клонируют онлайник 5-й раз за 5 месяцев
- Автор темы uskino
- Дата начала
Гениально Ватсон, минус 100 к эрудиции и интеллекту. Речь идет про JS.
JS не будет работать
JS будет работать. Только от него толк на 30-50%. ПСы будут видеть код и контент клона, но данный клон никогда не получит ПФ. Плюс к этому, так как ПС сейчас понимают JS они вполне могут это засчитать в минус для клона и вообще его никак не учитывать.
Потому что они делают автозамену доменного имени, за этим и это дрочево
Обусфикацию ниже сделал как пример. Как к таким кода относятся поисковики, как и к обычному js коду?
А тут плюс может быть в том, если эти клонировальщики не прошаренные и не хитровыебанные, то увидят, что что-то не так, редиректит их на видюху-приколюху, то просто отстанут и все. А так это бесполезная фигня.
Сейчас хотим фильтрацию трафика сделать, чтобы все кто с прокси заходят в бан уходили
Обычному, вот только поисковики сейчас js хорошо понимают и вполне могут понять что сайт клон в гавне и редиректит и это не навредит источнику.
Вот это и есть главное.
В общем ставим все способы защиты и никто не склонирует:
1. Пишем в Nginx, чтобы принимал данные только с одного домена, одного порта и с www или без, со всех остальных - перенаправление;
2. Запрещаем отображение сайта во фрейме X-Frame-Options DENY;
3. Ставим fail2ban и слушаем логи, можно настроить на его вычисление, он будет добавлен в бан (очень ресурсоёмко);
4. Ставим ограничение с одного IP, опять же, если клон начнёт получать траффик, будет заблокирован.
Последние 2 варианта порежут клона еще на этапе его индексирования, так как пауки будут открывать много страниц. В следствии этого, поисковики будут заходить реже, а в последствии может вообще выкинут его из поиска.
1. Пишем в Nginx, чтобы принимал данные только с одного домена, одного порта и с www или без, со всех остальных - перенаправление;
2. Запрещаем отображение сайта во фрейме X-Frame-Options DENY;
3. Ставим fail2ban и слушаем логи, можно настроить на его вычисление, он будет добавлен в бан (очень ресурсоёмко);
4. Ставим ограничение с одного IP, опять же, если клон начнёт получать траффик, будет заблокирован.
Последние 2 варианта порежут клона еще на этапе его индексирования, так как пауки будут открывать много страниц. В следствии этого, поисковики будут заходить реже, а в последствии может вообще выкинут его из поиска.
Комплексно подойти - хороший вариант.
Но есть же прокси. Ip искали в логах каждый раз (как раз когда пауки по ним лазить начинают, диск на 30гб логами полностью забивается, ip разные, видимо прокси). Так что тут и с этой стороны присекать надо
Не нашли способ всё таки?
Зеркалирование "жертвы" делается обычным проксированием, как на nginx (пример) так и на apache, отсюда мораль, как уже подсказал Курт Рассел, вычисляете на автомате "подражателя" (fail2ban и иже с ним) и баните его IP, все остальные способы - от Лукавого.
@KurtRassel похоже предложил все способы. Спасибо ему. 1,2 и 4 способы в моем случае не помогут. Хотели настроить фильтрацию трафика по проксям, но у поисковиков, в т.ч. и яндекса, куча проксей попадается, так что тут тоже не вариант.
А я, кстати, поставил скриптик, когда домен отличается от моего, идет редирект на видюху-приколюху (у клонов срабатывает). Обусфицировал его и спрятал в js файлах между фунций. Скрипт выше где-то скидывал. В случае, если это какие-то ребята без опыта в программировании (может чей-то скрипт на мне испытвают), то думаю сработает и они отстанут. Могут js конечно отключить и увидеть, то сайт работает. А так по делу больше ничего....
Так fail2ban я так понял защищает от подбора паролей ssh, ftp и тд ? Как его можно настроить под это дело? И логи мониторили каждый раз, ip все разные (15гб логов с одним ip (сервера с которого отображение происходит) должно быть по идее, а там совпадений даже на 50мб нет) поможет ли в таком случае он?
Последнее редактирование:
Вы правы, придется настроить мониторинг логов (piwik, awstats ...) и вычислять топ самых активных, а уже из них ручками проверять "подражателей" и банить в iptables. Муторно, но безопасно, чтобы не забанить поисковики и пользователей за NATом.
А чтобы логи не "пухли" и не так нагружали процесс парсинга анализаторами, я бы выкинул из них логирование css, js, gif, jpg и т.п. оставив htm, html, php.
Удачи в извечной борьбе брони и снаряда!
Спасибо, пожалуй, за самый дельный совет. Но это все равно слишком муторно, нужно как-то ботов отсеивать. Ставили скрипт такой, только попроще на php, все ip сортирует по кол-ву запросов. Там очень и очень много ботов поисковых и всяких пауков, если каждый день проверять заходить ручками их, то с ума сойти можно. Так что наверное даже на среднем сайте это тоже дело не проканает 🙁
Js редирект в общем остался, может на человеческом факторе сыграет и отстанут
Апну немножко тему. Так как интересно наверное было бы всем узнать результат.
В общем только Js редирект в итоге помог. Увидели, ковырять код не стали и отстали. Ибо такая площадка ни в одной пп и бирже ссылок модерацию не пройдет. Если это конкуренты или каике-то недоброжелатели, то они скорее всего не сразу прошарят, что псы контент все равно увидят и тоже время свое тратить перестанут на это.
В общем только Js редирект в итоге помог. Увидели, ковырять код не стали и отстали. Ибо такая площадка ни в одной пп и бирже ссылок модерацию не пройдет. Если это конкуренты или каике-то недоброжелатели, то они скорее всего не сразу прошарят, что псы контент все равно увидят и тоже время свое тратить перестанут на это.
