Важно Блокировка по ip всяких антипираток, вебконтролей, рупротектов и прочей мерзости.

Боты правообладателей ищут по тайтлу, ключевикам и т.д. Вот на это и нужно внимание обращать, например скрытьи или заменить тайтл... для определенных ай.пи.

 

Noproblem Понятно что никто не любит когда их обманывают, но по идее - война это не кто кого перестреляет, а кто кого передумает.
Поэтому надо к проблеме подходить более творчески. Не надо тупо забивать подсетки в фаервол, лучше показывать заглушку типа сайт заблокирован хостинг провайдером или на профилактике. Можно еще как нибудь извратиться,

Как вариан можно и так, надо подумать над этим вопросом.
По поводу ботов - я так мыслю что кроме ботов google, yandex, mail.ru и bing.com лично мне на сайте никакие другие боты нафиг не нужны. Банить их всех , причем их - на уровне фаервола, без всяких заглушек.
Это паразиты, от которых нет никакой пользы, а нагрузку на сайт создают как минимум + неизвестно кому и неизвестно куда сливают собранную информацию.
Как отличить бота от реального "живого" посетителя? Как минимум по признаку того, что боты почти всегда за редким исключением загружают только страницу, но не грузят ни css стили ни java скрипты ни картинки.
Нужно просто выписать url - ы картинок, скриптов, стилей и т.д. для вашего движка (для каждого движка они индивидуальны) и далее анализировать логи.
Сравнивать с каких IP ходили вообще и с каких из них загружали "человеческие" url-ы.

 

Почти всё верно, за исключением одного - это не война

 

Какой сейчас ip у рупротекта и вебконтроля? Как избавится от них? Те ip, которые на первой странице - не работают, все равно пишут.

 

У моего хостинга запрещен переход на сайт с ipv6. Значит у них что-то другое.

 

Ошибка 500 поставил как написано в теме, вебконтроль задрал

 

на тоню (ледяная стерва) пришла абуза рнк а фильм был закрыт по гео

 

Интернет копирайтинг, что уже под ботом яндекса ходит, кто знает? Просмотрел логи с каких ип заходили в новость, а там только 3 IP и все яндекса.

 

Откуда вообще эти IP берут люди? Какой IP у Роскомнадзора?
Я тут недавно забанил на сайте одного спамера по IP, через некоторое время захожу на свой сайт через Мобильный инет (Теле2) и мне выходит сообщение, что я заблокирован за спам ))

 

Народ вы че херню то собираете какие боты? Вы думаете бот ходит и смотрит размещено у вас или нет? Да хер там, бот мониторит выдачу раз в N время кто подьехал новенький в топ на того строчится жалоба в гугл, рупротект точно так работают как и все остальные. ИМ не важно что у тебя размещено трейлер или воообще страничка пустая, главное то что ты в топе.

 

Хочешь удивлю? В гугле не знаю. А вот у РКН мониторят живые люди и им похуй где ты, в топ10 или топ 100. Найдут, пришлют абузу. Не раз уже обсуждали это) Плеер закрыт по гео, а абуза пришла? А разве за трейлеры давно не банили? Вот только осенью случаи были по какой-то хуйне русской. Да и прокси и vpn никто не отменял, там такие же люди, некоторые, возможно, тоже не дураки, палил тут кто-то ркн, что они шароебятся на европейских проксях.

 

У РКН как раз таки есть боты которые справляются нормально.

 

С чего ты это взял? Как ты себе представляешь это вообще? РКН впулил триллион и разработал ботов, котоыре шарятся по сайтам, запускают плеер и отличают нужный фильм от ненужного чудесным образом?
По сабжу спрашивал у манагера года 2 назад, или агенты ли они себя назыавют. Все они делают руками, смотрят и анализируют живые люди, отсюда и все косяки и необъективность в работе, в переписках нормально общаются. Бот - это технически невозможно в данном случае.

 

)) ага ручками

 

Та все просто, бот работает по принципу выдачи яшки и лазит в основном по яндексу выдачи, по гуглу другие правы которые шлют абузы ркн а ркн нам. Допустим бот заметил на твоем сайте фильм отослал тебе письмо и письмо людям с ркн. Люди с ркн потом проверяют твою страницу руками если 24 часа прошло ты продинамил, бан. Трейлер или фильм находится по твоему коду. Боты знают код ютюба где тейлера и коды волков и нд го и т.д. Если у тебя трейлера с ютюб, то письмо не прийдет. У меня так во всяком случае.

 

Ребята подскажите как их в логах отлавливать? с какого устройства они заходят, какой браузер используют?
Это пример строчки в логах "46.229.168.79 - - [08/Feb/2018:18:16:57 +0300] "GET /actors/4654-ario-bayu.html HTTP/1.1" 200 12541 "-" "Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +SEMrush)""

 

[инструкция] ловим правообладателей!

 

забавная охота) абузеров на пиратов и пиратов на абузеров) но всегда побеждают абузеры, так как всех не перебанить))

 

Парни а если собрать ай пи писем который присылают правы, это сработает? Или может письма шлют с одного ай-пи, а проверяют сайт с других?