А вот это неплохая мысль между прочим. Вот только в последнее время начал замечать, что Яндексбот тоже ходит с американских IP. Только надо где-то скачать американские IP. Насколько это решение верно? Защита сайта — Запрет доступа к сайту по IP-адресам стран, защита сайта от спам-ботов, защита сайта от хакеров Ещё другой мой сайт задолбала контора Marketly. Насколько я знаю, она целиком американская. При этом доля посетителей США на сайте не превышает 3% (да и то большинство из них боты). Думаю, что заблочить США - верное решение. UPD. Нашёл вот чё: http://www.ipdeny.com/ipblocks/data/countries/us.zone Мельком проверил рандомные 20 адресов из списка. 19 из них оказались действительно США, один - Индия. То есть, погрешность 5% имеет место быть. Но список огроменный. Как это правильно в htaccess засунуть?
Тоже интересно это. Замечаю HEAD-запросы в логах, но не знаю что с ними делать. Где-то читал, что это не обязательно боты. Типа бывает браузер производит такое обращение у обычных пользователей.
В общем, блокнуть все страны кроме снг - не выход. Так как если сша заблокировать - начинает тормозить сам сайт + отваливаются некоторые модули в плоть до парсера кинопоиска. А сша - это основная головная боль в моём случае. Остаётся только отлавливать по ip. Благо установил фичу на сервер - для определения реальных ip - которые скрываются под клаудом. Спасибо форумчанину за подсказку этой фичи.
Zivler у яндекса дата центры в России и Финляндии, с америки как раз правообладатели и ходят кося по яндекс, либо проверьте geoip.dat, он может быть старый и неверно показывать страну адреса.
В моем случае выход. У меня никаких парсеров нет, добавляю руками. У меня фан-сайты по сериалу. И судя по всему, мой конкурент заблокировал именно всё, кроме СНГ. Потому что его сайт находится на 1-2 месте по ВЧ-запросам типа "СЕРИАЛ смотреть" или "СЕРИАЛ смотреть онлайн" уже почти год. А мой сайт как только появится хотя бы на 10 месте по этому запросу, то спустя 3 дня пропадает.
Попробуй блокнуть сша и посмотри как будет сайт работать. У меня по мимо отвалившихся модулей сам сайт начал тупить при загрузке страниц.
Так как заблочить правильно то? Я б вообще заблочил всё, кроме СНГ. У меня на долю СНГ приходится ровно 95% трафика по статистике LiveInternet. Потерять 5% - не велика потеря. То есть, я б наоборот разрешил бы доступ лишь для стран Россия, Украина, Казахстан и Беларусь. Ну, на Чехию ещё приходится доля 0.4%. Остальные нафиг. На США приходится 0.2%, так что пофиг на США. Да если подобная блокировка даст результат, то я даже в выигрыше останусь. Самое главное - не заблочить ботов поисковиков. У меня до наезда правообладателя на одном сайте была посещалка 6000, а сейчас 1500. Если я заблокирую всё, кроме СНГ, то под удар попадут и обычные пользователи тех стран. Но это менее 100 чел в сутки. Какой смысл мне их жалеть, если на другой чаше весов 4500 русских посетителей в день? Может кто-нибудь прокомментировать вот такое решение? Блокировка IP стран по коду GEOIP COUNTRY CODE в htaccess Ещё мне советовали провернуть такое при помощи Cloudflare. Хорошее ли решение?
Если панель управления сервером - ispmanager, то делов там на 2 мин. Так же можно сделать разрешение для подсетей гуглбота. Тот сайт который долбит маркетли - посещалка 40к.+ Представь какие там логи )) И в чём приходится ковыряться в поисках врагов. Я уже всё почти локнул - кроме США Остались только маркетли которые долбят. Но блокать полностью сша - не позволяет рад причин описанных выше. Да и похер на них. Какой толк от них ? Реклы платят копейки за буржуйские страны - поэтому в топку не жалко, был бы только результат ))
Я ж так и написал. Один из моих сайтов тоже долбит Маркетли. Сейчас через Cloudflare заблокировал доступ на сайт из США, кроме Гуглбота и Бинга (на Cloudflare можно создать правило). Проверил доступность своего сайта из разных стран - действительно, проверка из США выдаёт ошибку. При этом в Гугл Вебмастере функция "посмотреть как Гуглбот" работает нормально, отдает код 200. Потестирую. Отпишусь по результатам теста через пару-тройку недель.
Ну короче походу Маркетли выпиливает из поиска, не заходя на сайт. Мой эксперимент продлился не долго. Сегодня обнаружил в базе Люмен страничку своего сайта, адрес которой я изменил после того, как заблочил весь мир, кроме России, Украины, Беларуси, Казахстана и бота Гугла. Хотя может Маркетли действует из России? Одного я не могу понять. Всё это время я вёл речь о моём сайте по сериалу "Во все тяжкие". А теперь вбейте в Гугл "во все тяжкие смотреть" и посмотрите на выдачу: сколько там пиратских онлайн-кинотеатров. Те, которые висят в топе, находятся там бесконечно долго. Меня же сносят едва сайт появится на 2 странице выдачи. Причем сносят страницы без плеера (страницы категорий). Чё за нах? Объясните.
Zivler обрати внимание, что у всех кто находится по этому запросу кроме правообладателя амедиатека и кинопоиска нет на страницах английского названия breaking bad, возможно ищут именно по этому запросу, а не по русскому.
Нет, это не то. У меня тоже нет ни чего на анг. на стр. - но удаляют, ежедневно. При чём, если по запросу не на первой стр. выдачи - то не трогают, до того момента пока на первой стр. не появится. Даже пробовал урл оставлять с левым названием - один чёрт удаляют.
wawe тогда вариантов кроме того, что они используют вдски гугла и идут из тех-же подсетей шифруясь юзер агентом гуглбот у меня нет(