Ловите воду - решетом. Ситуация, абузер чекает выдачу на определённый фильм - видит ссылку на ваш сайт, переходит - не пускает, ошибка, редирект или ещё что (его ip в блоке у вас) Думает, как так в выдаче есть а ссылка битая - дайка я под прокси зайду - попался, заметка - играет с ip чекать под прокси.
Алгоритм у роботов Антипиратов не может думать, он следует инструкции заданною программером, заходит на сайт, не видит ничего из-за запрета по его ip уходит не кидает письмо тебе с абузой.
83.217.8.182 - - [11/Feb/2018:21:33:34 +0300] "GET /filmy/810-ubiystvo-svyaschennogo-oleniya-2017.html HTTP/1.1" 200 28165 "http ://195.16.88. 163/pirate/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36" # axghouse.com 195.16.88.0/24 в хохляндии hostlife.net # axghouse.com 83.217.8.0/24 в РФ Park-web Ltd # axghouse.com 195.39.196.0 - 195.39.197.255 в хохляндии mirohost.net ipv6 2a02:2278:70eb:298::64:125 Написал в онлайн чат на hostlife.net спросил какие ip еще есть у axghouse.com они меня забанили.. (ожидал что не ответят но не ожидал что забанят)))) Ps: как думаете простые пользователи сидят на ip хостеров?))
В очередной раз доказано что сейчас в гугле идет просто мониторинг позиций. Как только туда попадаешь тут же идет жалоба. Причем без разницы есть там плеер или нет. Был случай тупо название писал в тайтле + текст и постер все. И тут же прилетает жалоба на удаление в DMCA
хотяб прочитайте что такое dmca, если используете поисковую систему, где закон присутствует. Закон охраняет не только аудиовизуал, а так-де изображение, уникальное название и куча всего. Ваша картинка так-же под охраной интеллектуальной собственности правообладателя, за что и прилетает жалоба, РКН такую практику тоже планирует внедрять в России.
Да, был прикол с хостером в канаде, индусы абузили хостера про сериалы индийские, и не просто снимите плеер, а уберите титл, список актеров, постер и вообще все что связано с сериалом, и каждый день писали, писали, писали... в итоге хостер не выдержал и напряг удалить страницы, хотя опять же, по РКН все было чисто, плеер сняли, остальное не ипет, а в канаде оно не так, вроде как и плюют на всякие левые абузы, но если настойчиво абузят изо дня в день, то хостер просто страхуется, ему дешевле потерять клиента на сервер чем разбираться в судах. Это да, у меня были страницы без плеера, их упоротый vindex постоянно находил и удалял из гугла. Так же он делал со страницами с легальным плеером!! В инете полный беспредел! Гугл банит страницы даже не удосужившись проверить легальность контента на них. Абузеры строчат абузы тоже не проверяя данных. Всякие вебконтроли вообще шлют постоянно абузы на страницы где нет плеера, просто что-то поменял на странице в районе плеера и лови пачку абуз. Я по логам высматривал IP всяких дата-центров и тупо их сетки банил, явно там нет юзеров, а разные боты и прочая гадость.
никак вы их не найдете и не забаните. Кто-то тут писал, что ркн ловил на европейских проксях. Там же не совсем пни сидят, хотя не, пни, но не совсем умственно-отсталые) p.s. я их ипы собирал по всяким форумам, заблокировал в районе 100 подсетей. Толку нет и не будет.
Вы можете думать и говорить об этом все что угодно, но я скажу так - после внедрения системы автоматического поиска и отлавливания копирайтеров\говноботов и прочего говна количество абуз сократилось на 3 порядка (примерно в 1000 раз) при той-же посещаемости сетки сайтов. Полезные посетители при этом не страдают. Проверено экспериментом - отключал на 1 сутки черный список, смотрел статистику посещений. Если кому интересны подробности - в личку, готов описать, но в общих чертах: 1) Баним подсетки датацентров всяких хостеров. Полезных посетителей там нет! У меня многие хостеры забанены буквально /12 подсетями. Методы вычисления: А) Данные whios Б) Данные обратной зоны. Каждый IP адрес проверяется на предмет наличия определенных строк в данных whois и имени в обратной зоне. Например берем из логов последний забаненый (система ведет полные логи со всеми подробностями) - 138.201.141.22 в данных whois присутствуют строки, которые занесены в базу данных как "сигнальные" - телефон хетцнера и "abuse-mailbox: [email protected]" Все, вся подсеть, найденная во whois (138.201.141.0/24) отправляется в бан, причем по фаерволу. также при проверке обратной зоны (для ip 138.201.141.22 - это static.22.141.201.138.clients.your-server.de. обнаружена "сигнальная строка" - ".clients.your-server.de." 2) Баним бесполезных ботов Методы вычисления: А) Бот посещает только страницы, не загружая картинки\стили\джава скрипты. Б) Подделка под поисковых ботов. В) Ошибки\ляпы программиста в HTTP заголовках. Итак - для каждого движка есть определенные URL по которым считываются движковые картинки\скрипты\стили. Выписываем их и заносим в базу данных. Смотрим лог, вычисляем все IP, из этого списка исключаем IP адреса что грузили гартинки\стили\джава скрипты. Также исключаем IP поисковых ботов Оставшийся список - это говноботы. В бан. Как проверить подделку под поисковых ботов? Смотрим User-Agent, если это агент поискового бота то проверяем резолв в обратной зоне. Далее - идет сравнение по таблице, у меня используется такая: [ ['Googlebot/2.1','.googlebot.com.','S'], ['http://yandex.com/bots','.yandex.com.','Y'], ['http://yandex.com/bots','.yandex.net.','Y'], ['http://yandex.com/bots','.yandex.ru.','Y'], ['http://www.bing.com/bingbot.htm','.search.msn.com.','S'], ['Mail.RU_Bot','mail.ru','S'], ['Mail.RU_Bot','smailru.net','S'], ['页面不存在_百度搜索'], ['http://help.yahoo.com/','.yahoo.net.','S'], ['Mediapartners-Google','rate-limited-proxy-','S'], ['Mediapartners-Google','.googlebot.com.','S'], ] Для кого непонятно - фрагмент текста User-Agent, фрагмент текста обратной зоны. Если фрагмент User-Agent есть а фрагмента обратной зоны нет, то сразу в бан. Это говнобот прикидывается поисковиком. По третему пункту тоже понятно, Задолбал меня тут один бот где в User-Agent вместо Firefox написано Ferefox программисты тоже люди и иногда делают ошибки 3) Если все-же враг прорвался на территорию родины и пришла абуза - тогда работает третья "линия обороны". Исходим из предположения что если враги жалуются на какую-то страницу то они ее в 95% случаев посещали. Ищем Ip адреса за последний месяц, что заходили на страницу, на которую жалуются. Исключаем IP поисковых ботов, остальным ставим "черную метку". IP адрес набравший 5 и более "черных меток" за месяц признается "врагом народа". Заодно (уже вручную) смотрится обратная зона и whois "врага народа" и на основании полученных данных производится коррекция данных для обработки первого и второго пункта. Я не настолько дятел чтобы выдавать ошибку или ограничивать доступ. Показывается фейковая версия сайта (форум где 4 дегенерата общуются "за жысь" например). И получу большой хер! Что такое прокси? В 95% случаев это подсети датацентров\хостеров, а по отношению к ним - смотри пункт 1. Да и саме главное - не пытайтесь делать все вручную - эффект будет хреновй. Процесс надо обязательно автоматизировать!
serkhi.0 Не забудь постик и сюда кинуть как нибудь - Блокировка ркн без причины. что делать? Блокератор.
Небольшое лирическое отступление от основной темы, (раскрытие основной темы будет попозже). Пока собирался писать прочел почту - пришла жалоба от РКН на фильм "За гранью реальности (2018)". Домену всего 2 недели от роду - а значит посетителей нет и можно быстро вычислить "врагов народа". Приступаем: Далее проверяем по whois все Ip адреса Спойлер: код root@server2 /db/parser # whois 37.9.113.107 % This is the RIPE Database query service. % The objects are in RPSL format. % % The RIPE Database is subject to Terms and Conditions. % See http://www.ripe.net/db/support/db-terms-conditions.pdf % Note: this output has been filtered. % To receive output for a database update, use the "-B" flag. % Information related to '37.9.113.0 - 37.9.113.255' % Abuse contact for '37.9.113.0 - 37.9.113.255' is '[email protected]' inetnum: 37.9.113.0 - 37.9.113.255 netname: YANDEX-37-9-113 status: ASSIGNED PA country: FI descr: Yandex enterprise network admin-c: YNDX1-RIPE tech-c: YNDX1-RIPE remarks: INFRA-AW mnt-by: YANDEX-MNT created: 2017-03-14T11:42:17Z last-modified: 2017-03-14T11:42:17Z source: RIPE role: Yandex LLC Network Operations address: Yandex LLC address: 16, Leo Tolstoy St. address: 119021 address: Moscow address: Russian Federation phone: +7 495 739 7000 fax-no: +7 495 739 7070 remarks: trouble: ------------------------------------------------------ remarks: trouble: Points of contact for Yandex LLC Network Operations remarks: trouble: ------------------------------------------------------ remarks: trouble: Routing and peering issues: [email protected] remarks: trouble: SPAM issues: [email protected] remarks: trouble: Network security issues: [email protected] remarks: trouble: Mail issues: [email protected] remarks: trouble: General information: [email protected] remarks: trouble: ------------------------------------------------------ admin-c: PGR777-RIPE admin-c: TVB11-RIPE tech-c: EM3673-RIPE tech-c: AUR2-RIPE nic-hdl: YNDX1-RIPE mnt-by: YANDEX-MNT created: 2002-06-07T05:35:50Z last-modified: 2013-09-03T08:16:13Z source: RIPE # Filtered abuse-mailbox: [email protected] % Information related to '37.9.64.0/18AS13238' route: 37.9.64.0/18 descr: Yandex enterprise network origin: AS13238 mnt-by: YANDEX-MNT created: 2011-12-14T12:42:57Z last-modified: 2011-12-14T12:42:57Z source: RIPE % This query was served by the RIPE Database Query Service version 1.91.1 (BLAARKOP) root@server2 /db/parser # whois 141.8.142.78 % This is the RIPE Database query service. % The objects are in RPSL format. % % The RIPE Database is subject to Terms and Conditions. % See http://www.ripe.net/db/support/db-terms-conditions.pdf % Note: this output has been filtered. % To receive output for a database update, use the "-B" flag. % Information related to '141.8.142.0 - 141.8.142.255' % Abuse contact for '141.8.142.0 - 141.8.142.255' is '[email protected]' inetnum: 141.8.142.0 - 141.8.142.255 netname: YANDEX-141-8-142 status: ASSIGNED PA country: RU descr: Yandex enterprise network admin-c: YNDX1-RIPE tech-c: YNDX1-RIPE remarks: INFRA-AW mnt-by: YANDEX-MNT created: 2014-12-12T09:50:08Z last-modified: 2015-01-20T16:31:25Z source: RIPE role: Yandex LLC Network Operations address: Yandex LLC address: 16, Leo Tolstoy St. address: 119021 address: Moscow address: Russian Federation phone: +7 495 739 7000 fax-no: +7 495 739 7070 remarks: trouble: ------------------------------------------------------ remarks: trouble: Points of contact for Yandex LLC Network Operations remarks: trouble: ------------------------------------------------------ remarks: trouble: Routing and peering issues: [email protected] remarks: trouble: SPAM issues: [email protected] remarks: trouble: Network security issues: [email protected] remarks: trouble: Mail issues: [email protected] remarks: trouble: General information: [email protected] remarks: trouble: ------------------------------------------------------ admin-c: PGR777-RIPE admin-c: TVB11-RIPE tech-c: EM3673-RIPE tech-c: AUR2-RIPE nic-hdl: YNDX1-RIPE mnt-by: YANDEX-MNT created: 2002-06-07T05:35:50Z last-modified: 2013-09-03T08:16:13Z source: RIPE # Filtered abuse-mailbox: [email protected] % Information related to '141.8.142.0/24AS13238' route: 141.8.142.0/24 descr: Yandex enterprise network origin: AS13238 mnt-by: YANDEX-MNT created: 2015-07-30T17:44:44Z last-modified: 2015-07-30T17:44:44Z source: RIPE % This query was served by the RIPE Database Query Service version 1.91.1 (HEREFORD) 37.9.113.107 и 141.8.142.78 это боты яндекса, нам это неинтересно идем дальше. Спойлер: 92.50.227.254 root@server2 /db/parser # whois 92.50.227.254 % This is the RIPE Database query service. % The objects are in RPSL format. % % The RIPE Database is subject to Terms and Conditions. % See http://www.ripe.net/db/support/db-terms-conditions.pdf % Note: this output has been filtered. % To receive output for a database update, use the "-B" flag. % Information related to '92.50.227.0 - 92.50.227.255' % Abuse contact for '92.50.227.0 - 92.50.227.255' is '[email protected]' inetnum: 92.50.227.0 - 92.50.227.255 netname: Rostelecom-net descr: Rostelecom Client (MRF Centr) country: RU admin-c: RTNC-RIPE tech-c: RTNC-RIPE status: ASSIGNED PA mnt-by: ROSTELECOM-MNT created: 2008-04-17T06:27:20Z last-modified: 2017-01-25T10:28:40Z source: RIPE role: JSC Rostelecom Technical Team address: JSC Rostelecom address: Russian Federation abuse-mailbox: [email protected] admin-c: DS4715-RIPE admin-c: EEA-RIPE admin-c: AV3066-RIPE tech-c: DS4715-RIPE tech-c: EEA-RIPE tech-c: AV3066-RIPE remarks: trouble: --------------------------------------------------------------- remarks: trouble: Rostelecom NOC is available 24 x 7 remarks: trouble: e-mail [email protected] remarks: trouble: --------------------------------------------------------------- remarks: ------------------------------------------------------------------------ remarks: peering requests: [email protected] remarks: ------------------------------------------------------------------------ remarks: Ростелеком в Москве - информационный портал об услугах доступа в интернет, Интерактивного ТВ и телефонной связи, looking-glass lg.ip.rt.ru looking glass remarks: ------------------------------------------------------------------------ nic-hdl: RTNC-RIPE mnt-by: ROSTELECOM-MNT created: 2007-11-27T13:28:11Z last-modified: 2017-07-13T12:10:12Z source: RIPE # Filtered % Information related to '92.50.192.0/18AS12389' route: 92.50.192.0/18 origin: AS12389 descr: ROSTELECOM NETS mnt-by: ROSTELECOM-MNT created: 2008-01-21T11:10:54Z last-modified: 2008-01-21T11:10:54Z source: RIPE % This query was served by the RIPE Database Query Service version 1.91.1 (ANGUS) root@server2 /db/parser # host 92.50.227.254 Host 254.227.50.92.in-addr.arpa. not found: 3(NXDOMAIN) 92.50.227.254 - принадлежит Ростелекому (Москва) В обратной зоне не резольвится. Смотрим все посещения с этого IP Видим что не бот, ибо вместе со страницей грузятся также стили,скрипты и картинки. Судя по посещениям URL на другом домене, на который приходила жалоба - это ктото из людей РКН или их офис. Вывод мягкий бан (показ фейкового сайта или заглушки). Продолжение следует следующим постом...... Поуду чай пить
Спойлер: 188.120.252.219 root@server2 /db/parser # whois 188.120.252.219 % This is the RIPE Database query service. % The objects are in RPSL format. % % The RIPE Database is subject to Terms and Conditions. % See http://www.ripe.net/db/support/db-terms-conditions.pdf % Note: this output has been filtered. % To receive output for a database update, use the "-B" flag. % Information related to '188.120.252.0 - 188.120.252.255' % Abuse contact for '188.120.252.0 - 188.120.252.255' is '[email protected]' inetnum: 188.120.252.0 - 188.120.252.255 netname: ISPSYSTEM org: ORG-IHs2-RIPE descr: ISPsystem Office country: RU admin-c: ISP49-RIPE tech-c: ISP49-RIPE status: SUB-ALLOCATED PA mnt-by: ISPSYSTEM-MNT remarks: INFRA-AW created: 2013-04-10T06:42:55Z last-modified: 2018-02-21T07:42:14Z source: RIPE # Filtered organisation: ORG-IHs2-RIPE org-name: JSC "ISPsystem" org-type: LIR address: PoBox 30 address: 664017 address: Irkutsk address: RUSSIAN FEDERATION phone: +74956681264 fax-no: +73952525096 admin-c: ST6386-RIPE mnt-ref: ISPSYSTEM-MNT mnt-ref: RIPE-NCC-HM-MNT mnt-by: RIPE-NCC-HM-MNT mnt-by: ISPSYSTEM-MNT abuse-c: AD11067-RIPE created: 2004-04-17T11:37:43Z last-modified: 2017-10-30T15:27:52Z source: RIPE # Filtered role: ISPsystem JSC Network Operations address: Russian Federation phone: +7 (495) 668 12 64 fax-no: +7 (3952) 52 57 89 remarks: trouble: ------------------------------------------------------ remarks: trouble: Points of contact for ISPsystem CJSC Network Operations remarks: trouble: ------------------------------------------------------ remarks: trouble: Routing and peering issues: [email protected] remarks: trouble: SPAM issues: [email protected] remarks: trouble: Mail issues: [email protected] remarks: trouble: General information: [email protected] remarks: trouble: ------------------------------------------------------ admin-c: AA26905-RIPE tech-c: ST6386-RIPE nic-hdl: ISP49-RIPE mnt-by: ISPSYSTEM-MNT created: 2014-09-12T07:12:33Z last-modified: 2018-02-21T07:42:38Z source: RIPE # Filtered abuse-mailbox: [email protected] % Information related to '188.120.252.0/24AS29182' route: 188.120.252.0/24 descr: ISPSYSTEM origin: AS29182 mnt-by: ISPSYSTEM-MNT created: 2013-04-10T06:45:24Z last-modified: 2013-04-10T06:45:24Z source: RIPE % This query was served by the RIPE Database Query Service version 1.91.1 (WAGYU) root@server2 /db/parser # host 188.120.252.219 219.252.120.188.in-addr.arpa domain name pointer eefremova.ispsystem.net. Что за провайдер непонятно, но картина полностью аналогичная ростелекомовскому IP Скриншот приводить не буду, поверьте на слово Непонятно пока банить IP или всю подсеть? Пока забаню IP. Дальше интереснее - целая серия из одной /24 подсети. 88.212.254.204 88.212.254.179 88.212.254.209 проверяем первый Спойлер: 88.212.254.179 root@server2 /db/parser # whois 88.212.254.179 % This is the RIPE Database query service. % The objects are in RPSL format. % % The RIPE Database is subject to Terms and Conditions. % See http://www.ripe.net/db/support/db-terms-conditions.pdf % Note: this output has been filtered. % To receive output for a database update, use the "-B" flag. % Information related to '88.212.248.0 - 88.212.255.255' % Abuse contact for '88.212.248.0 - 88.212.255.255' is '[email protected]' inetnum: 88.212.248.0 - 88.212.255.255 org: ORG-SL92-RIPE netname: SERVERS-COM-MOW1 descr: servers.ru country: RU remarks: Please report abuse to "[email protected]" admin-c: SC16774-RIPE tech-c: SC16774-RIPE mnt-domains: EXEPTO-MNT mnt-domains: SERVERS-MNT status: ASSIGNED PA mnt-by: EXEPTO-MNT mnt-by: SERVERS-MNT created: 2016-11-09T11:11:21Z last-modified: 2017-06-01T12:03:42Z source: RIPE organisation: ORG-SL92-RIPE org-name: United Network LLC org-type: LIR address: Bolshaya Ordynka, 17, building 1 address: 115035 address: Moscow address: RUSSIAN FEDERATION phone: +74957487957 fax-no: +74957487967 mnt-ref: EXEPTO-MNT mnt-ref: RIPE-NCC-HM-MNT mnt-by: RIPE-NCC-HM-MNT mnt-by: EXEPTO-MNT admin-c: SO796-RIPE abuse-c: EXPT-RIPE created: 2005-12-08T12:16:38Z last-modified: 2017-01-23T17:53:13Z source: RIPE # Filtered person: Servers Guy address: Strawinskylaan 601 1077XX, Amsterdam The Netherlands phone: +31208943079 nic-hdl: SC16774-RIPE mnt-by: SERVERS-MNT created: 2014-12-31T09:54:21Z last-modified: 2014-12-31T09:59:21Z source: RIPE # Filtered % Information related to '88.212.192.0/18AS39134' route: 88.212.192.0/18 descr: United Network LLC origin: AS39134 mnt-by: SKYMEDIA-MNT created: 2006-01-13T20:14:36Z last-modified: 2011-02-04T11:26:32Z source: RIPE % This query was served by the RIPE Database Query Service version 1.91.1 (HEREFORD) root@server2 /db/parser # host 88.212.254.179 Host 179.254.212.88.in-addr.arpa. not found: 3(NXDOMAIN) Видим что хостинг servers.ru. По характеру посещения - люди. Баним на фаерволе весь диапазон 88.212.248.0 - 88.212.255.255 ибо хоть это и люди, но явный заход через прокси. Ну и последний Спойлер: 77.244.212.62 root@server2 /db/parser # whois 77.244.212.62 % This is the RIPE Database query service. % The objects are in RPSL format. % % The RIPE Database is subject to Terms and Conditions. % See http://www.ripe.net/db/support/db-terms-conditions.pdf % Note: this output has been filtered. % To receive output for a database update, use the "-B" flag. % Information related to '77.244.212.0 - 77.244.212.255' % Abuse contact for '77.244.212.0 - 77.244.212.255' is '[email protected]' inetnum: 77.244.212.0 - 77.244.212.255 netname: SELECTEL-NET descr: Selectel Ltd. country: RU admin-c: CMH-RIPE admin-c: KORS tech-c: SA32710-RIPE status: ASSIGNED PA mnt-by: MNT-SELECTEL mnt-domains: MNT-SELECTEL created: 2016-07-27T16:13:25Z last-modified: 2016-07-27T16:13:25Z source: RIPE role: SELECTEL-NOC address: Russia, Saint-Petersburg, Cvetochnaya st. 21 nic-hdl: SA32710-RIPE mnt-by: mnt-selectel created: 2015-01-19T15:40:16Z last-modified: 2015-01-19T15:40:16Z source: RIPE # Filtered person: Cyrill Malevanov address: Selectel Ltd address: Cvetochnaya st. 21 address: 190000, Saint-Petersburg address: Russia phone: +78126778036 fax-no: +78126778036 nic-hdl: CMH-RIPE mnt-by: mnt-selectel created: 2005-10-24T12:00:08Z last-modified: 2015-01-19T15:37:28Z source: RIPE # Filtered person: Pavel Korsakov address: Cvetochnaya 21 phone: +78126778036 nic-hdl: KORS mnt-by: MNT-SELECTEL created: 2013-05-30T15:10:41Z last-modified: 2016-02-27T10:24:19Z source: RIPE % Information related to '77.244.212.0/24AS49505' route: 77.244.212.0/24 descr: SELECTEL-NET origin: AS49505 mnt-by: MNT-SELECTEL created: 2016-10-05T01:45:30Z last-modified: 2016-10-05T01:45:30Z source: RIPE % This query was served by the RIPE Database Query Service version 1.91.1 (WAGYU) root@server2 /db/parser # root@server2 /db/parser # host 77.244.212.62 Host 62.212.244.77.in-addr.arpa. not found: 3(NXDOMAIN) Смотрим - selectel.ru - похоже хостинг провайдер. Смотрим посещения и видим типичное поведение бота. также видим в базе "мягкий бан" (показ левого содержимого) для этого IP адреса еще с начала марта 2018. То есть автоматика определила бота, а ему пофиг что показывается заглушка, он все равно ходит. Еще один момент - не понравился мне чтото User-Agent этого бота - "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0" Второй IP (88.99.176.37) принадлежит GROUP-IB, первый скорее всего тоже. Значит вывод - банить по этому User-Agent после первого-же запроса. Итак какие выводы - скорее всего ботов у РКН нет, смотрят живые люди.