Найти ip правообладателя при помощи базы lumen

а с чего ты взял что бот бегает с одной подсети? Им ничего не мешает бегать с тысячи проксей.
Но в твоей теме можно попробовать следующее, допустим взять скрипт powerlog который логирует заходы на сайт, рефер, айпи, браузер и тд и тп, обновить удаленные юрлы и как только они опять улетят, сделать выборку в модуле по страницам, а там уже смотреть возможно боты если таковые имеются и не меняют постоянно айпиху. И я уж сомневаюсь что если будут заходы с айпи допустим 1.1.1.1 на все удаленные страницы, что это обычный юзверь пришел на них.

 

ПыСы: Простыми словами поймать однотипность в заходах на удаленные юрлы, это может быть как айпи, так и рефер, или браузер какой то уникальный (старой версии или вовсе левой)

 

Вот это я перебанил на уровне сервера- дохера какого говна тут попало. Но цели не добился. Ежедневно удаляют из гугла стр. которые крутятся в топе. Ежедневно меняю урл 8-10 штук, на протяжении уже почти - месяца.
На данном этапе блоков - осталась одна зараза, против которой и направлены данные действия -
Marketly llc

Уже ни кто не шлёт абузы - только эта мразота.
Выручайте своими наработками в плане бана этих упырей. Можно в л/с.

 

тут скорее трабла в том что подобные конторки и вовсе мб не посещают страницу, а действуют по принципу в ПС есть, иди те лесом. Нужно вырезать. Ведь если нет в поиске, значит и пользователь не найдет.

 

Вот именно, а если это вредитель любитель, или еже с ними. То попросту можно вычислить по логам, но опять таки. Это не на долго ибо сменить и обойти последующий блок не составит труда

 

некоторые вовсе не заходят на сайт, косят исключительно по поиску, например:
Estonian Theatrical Distribution OÜ
Acmefilm OÜ
туда же, кажется webcontrol или нет? доконали чистить поиск после каждого изменения url, давно пора бы против этой шаражки что-то придумать

 

Если они тебя нашли,то они от тебя просто так не отстанут.
У меня один сериал удаляли,я потом сменил урл,поменял дату на пару лет назад- что бы случайный посетитель не попал и закрыл в роботос страницы в индексе не было а через два дня приходит уведомление что урл удален из поиска а ее там не было еще,посмотрел логи там штук 5 ip адресов было всех забанил и по новой так же,раз 7-9 менял урл и банил и все тоже самое.

 

Чтобы с таким справится, нужен крутой модуль, за которым будет следить крутой кодер, по другому заебешся. Им менять ай-пи легче чем тебе их вылавливать.

 

Есть кто блочит запросы HEAD к серверу ?

 

.

 

Ну попробуй забань так - и сайт за пол часа в нуль уйдёт по трафу.

 

я так понимаю урлы менять бесполезно?

 

если нет идёт траф на определённый урл - то смысла нет. Так как всё равно удалят.

Вот у меня на протяжении месяца удаляют одни и тежи урл, так как я сразу меняю адрес после удаления. По тому что на каждый урл (фильм) идёт траф от 1.5 до 7к. При таком раскладе - думаю стоит менять урл хоть и на 1-2 дня.

 

количество удаленных страниц растет, а то что так называемый фильтр пират наложат не боишси?)

 

нет.

 

.

 

а как это осуществить, не подскажешь?