Один из моих сайтов уже затрахал правообладатель. Стоит только какой-нибудь странице появиться в индексе Гугла на 1 странице выдачи - через 2-3 дня я её вижу в базе Люмен + ещё несколько рандомных страниц впридачу. Возникла идея отлова бота правообладателя. Я сейчас обновлю адреса некоторых страниц, забаненных в Гугле по DMCA. Я уверен, что через неделю эти страницы попадут снова в ТОП (такое уже не раз было). Останется только ждать их удаления из Гугла и попадания в базу Люмен. После этого останется только найти в логах сайта такие IP-адреса, которые посетили весь список удалённых страниц. Остаётся лишь вопрос, как это сделать. Может кто подобное уже проворачивал? Подскажите софт?
Я вижу алгоритм таким. Пусть у правообладателя есть бот, действующий из сети 100.100.100.000 - 100.100.102.255 и меняющий постоянно адреса. Представим что в базе Люмен я нашёл страницы своего сайта по адресу /category1/page1/, /category3/page10/, /category5/page9/. Так вот, нужно из логов взять IP-адреса всех посетителей сайта и откинуть 4 последние цифры всех их IP. После этого произвести поиск посетителей, которые заходили на страницы /category1/page1/, /category3/page10/, /category5/page9/. Таким образом можно найти бота, который действует из под-сети и меняет IP-адреса. Как только это реализовать проще всего?
Я вижу алгоритм таким. Пусть у правообладателя есть бот, действующий из сети 100.100.100.000 - 100.100.102.255 и меняющий постоянно адреса. Представим что в базе Люмен я нашёл страницы своего сайта по адресу /category1/page1/, /category3/page10/, /category5/page9/. Так вот, нужно из логов взять IP-адреса всех посетителей сайта и откинуть 4 последние цифры всех их IP. После этого произвести поиск посетителей, которые заходили на страницы /category1/page1/, /category3/page10/, /category5/page9/. Таким образом можно найти бота, который действует из под-сети и меняет IP-адреса. Как только это реализовать проще всего?
