Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Важно Блокировка по ip всяких антипираток, вебконтролей, рупротектов и прочей мерзости.

Тема в разделе "Блокировка сайтов: РКН, правообладатели и т.д.", создана пользователем nikitalll, 20 май 2016.

20.05.16 в 20:07
01.02.24 в 22:50
1.620
173.995
9
  1. brauzer

    Команда форума VIP Кинотрафик v2

    Регистрация:
    10 дек 2015
    Сообщения:
    1.547
    Лучших ответов:
    0
    Рейтинги:
    +764 / 2 / -0
    Гугол продолжает слать письма об удалении страниц из поиска. Не добили мы этих гадов...
     
  2. alexxela

    alexxela Новичок

    Регистрация:
    4 июн 2016
    Сообщения:
    35
    Лучших ответов:
    0
    Рейтинги:
    +3 / 0 / -0
    @DenisKmin, мне всё понятно по сути процесса, но! Ты сам это пробовал делать? Представляешь, какой объем информации надо вручную перелопатить? Как мне представляется, нужно в какой-то проге, открыть, возможно несколько, логов, задать какие-то фильтры, как минимум два, сам фильм и почта, а после этого уже вручную определять паразитов общества, но уже из меньшего объема информации. Письма от них мне приходят только или в 09.01. или в 21.01. И я не уверен, что они парсят сайты и шлют письма в течение одних и тех же суток.

    @brauzer, а не только самые известные спамеры занимаются нами, некоторые ограничиваются парсингом сети и абузами в Гошу. Вот их сложнее выловить, тут нужна инфа стукача от Гоши, ну и логи хитро анализировать. А т.к. это может происходить в разные дни, то задача усложняется.

    PS. Но пытаться надо, я так думаю.
     
    • Нравится Нравится x 1
  3. MegaMonstr

    Команда форума VIP Кинотрафик v2

    Регистрация:
    27 сен 2015
    Сообщения:
    1.078
    Лучших ответов:
    0
    Рейтинги:
    +317 / 12 / -0
    Мне поначалу не приходили письма, после того как прописал, но сейчас приходят от всех
     
    • Нравится Нравится x 1
  4. Intention

    Intention Местный

    Регистрация:
    15 янв 2016
    Сообщения:
    2.098
    Лучших ответов:
    0
    Рейтинги:
    +689 / 2 / -0
    А мне совсем перестали слать, недавно правда когда "Бомбалэйло" было там пришло штук 10 где-то)
    Видимо чертуганы ИП поменяли разом)
     
  5. alexxela

    alexxela Новичок

    Регистрация:
    4 июн 2016
    Сообщения:
    35
    Лучших ответов:
    0
    Рейтинги:
    +3 / 0 / -0
    Как я понимаю, теперь это будет "вечный кайф", я про отлов "право-вредителей".
    Если это кому-то выгодно, то всегда найдутся т.н. "борцы за справедливость" (на самом деле - борцы за свой кошелек, а все такие, и мы тоже, давайте честно говорить), только справедливость у всех разная, как и правда.
    Здесь есть несколько способов борьбы. Про уход в запрещенку для РФ я не говорю, это крайний случай. Итак:
    1. Наладить, как минимум полуавтоматический (но никак не ручной) способ отлова паразитов. Тут нужна помощь спецов, энтузиастов, пробы, эксперименты.
    1.1. Выкладывать где-нибудь отловленную инфу, НО закрытую для случайных посетителей, и вражеского стана .
    2. Заслать во вражеский лагерь "засланца", с целью разведки способом погружения. Но если он со временем поймет, что там выгоднее, то будет писец.
    Они, скорее всего, по правилам бизнеса, каждый сам за себя. А вот нам можно объединить грамотные усилия, это всегда выгоднее.
    PS. Попробую поработать с файловыми менеджерами и логами, но попозже, пока некогда. Никто не пробовал там с поиском поработать?
     
    #105 alexxela, 16 июн 2016
    Последнее редактирование: 16 июн 2016
  6. DenisKmin

    DenisKmin Посетитель

    Регистрация:
    3 фев 2016
    Сообщения:
    58
    Лучших ответов:
    0
    Рейтинги:
    +12 / 0 / -0
    Зачем вручную?))) cat grep awk в помощь) Можно скриптик на php быстро накатать если в Linux не бум бум:
    Код:
    <?php
    //Путь к страничке с контактами
    $contact_page = '/contact.html';
    //Путь к страничке с фильмом
    $film_page = '/film_page.html';
    //Файл access.log предварительно распаковать если архив, командой gzip -c -d access.log.gz > access.log
    $access_log = 'access.log';
    
    $file = file('access.log');
    $ips = array();
    foreach($file as $str){
      if(preg_match('/GET '.$contact_page.'/i', $str)){
        $ex = explode(' ', $str);
        $ips[] = $ex[0];
      }
    }
    
    foreach($file as $str){
      foreach($ips as $ip){
        if(preg_match('/GET '.$film_page.'/i', $str) && preg_match('/'.$ip.'/i', $str)){
          echo $ip." - вредитель\n";
        }
      }
    }
    PS: не факт, что скрипт сразу будет работать, накидал на быстро, не тестил. ну и объем выделенной памяти для php тоже стоит проверить перед запуском :)
     
    • Нравится Нравится x 1
  7. DDDD4

    DDDD4 Бывалый

    Регистрация:
    22 фев 2016
    Сообщения:
    284
    Лучших ответов:
    0
    Рейтинги:
    +27 / 1 / -0
    Можете пример выслать как написать в корневой htaccess
    для блока этих ip - буду признателен
     
  8. brauzer

    Команда форума VIP Кинотрафик v2

    Регистрация:
    10 дек 2015
    Сообщения:
    1.547
    Лучших ответов:
    0
    Рейтинги:
    +764 / 2 / -0
  9. TopicStarter Overlay
    nikitalll

    nikitalll Бывалый

    Регистрация:
    1 фев 2016
    Сообщения:
    194
    Лучших ответов:
    0
    Рейтинги:
    +63 / 0 / -0
    Сегодня пачка писем от гугла пришла, но все урлы в них уже были давно удалены с поиска, просто видимо уведомления задержали и пачкой теперь отправляют.
    Все удаленные ссылки от Internet Copyright и TOP MEDIA DISTRIBUT, как я понял они друг с другом сотрудничают. Кто смотрит удаленные ссылки тут lumendatabase.org, видит что они в день по несколько штук удаляют, но как поймать того кто удаляет ссылки не заходя на нее? Есть у кого нибудь идеи?
    Вот еще список ботов, может кому пригодится.
    SetEnvIfNoCase User-Agent musobot bad_bot
    SetEnvIfNoCase User-Agent SEOkicks-Robot bad_bot
    SetEnvIfNoCase User-Agent SputnikBot bad_bot

    SetEnvIfNoCase User-Agent linkdexbot bad_bot
    SetEnvIfNoCase User-Agent MJ12bot bad_bot
    SetEnvIfNoCase User-Agent Y!J-ASR bad_bot
    SetEnvIfNoCase User-Agent PycURL bad_bot
    SetEnvIfNoCase User-Agent Python bad_bot

    SetEnvIfNoCase User-Agent msnbot-media bad_bot
    SetEnvIfNoCase User-Agent AhrefsBot bad_bot
    SetEnvIfNoCase User-Agent meanpathbot bad_bot
    SetEnvIfNoCase User-Agent Owler bad_bot
    SetEnvIfNoCase User-Agent SurveyBot bad_bot
    SetEnvIfNoCase User-Agent OpenHoseBot bad_bot
    SetEnvIfNoCase User-Agent GrapeshotCrawler bad_bot
    SetEnvIfNoCase User-Agent ShowyouBot bad_bot
    SetEnvIfNoCase User-Agent GetintentCrawler bad_bot

    <Limit GET POST HEAD>
    Order Allow,Deny
    Allow from all
    Deny from env=bad_bot
    </Limit>
     
    #109 nikitalll, 16 июн 2016
    Последнее редактирование: 17 июн 2016
    • Нравится Нравится x 2
  10. DDDD4

    DDDD4 Бывалый

    Регистрация:
    22 фев 2016
    Сообщения:
    284
    Лучших ответов:
    0
    Рейтинги:
    +27 / 1 / -0
    прописал
    вышла такая фигня
    Internal Server Error
    The server encountered an internal error or misconfiguration and was unable to complete your request.

    Please contact the server administrator, and inform them of the time the error occurred, and anything you might have done that may have caused the error.

    More information about this error may be available in the server error log.

    Apache/2.2.15 (CentOS) Server at erstube.com Port 80
     
  11. MegaMonstr

    Команда форума VIP Кинотрафик v2

    Регистрация:
    27 сен 2015
    Сообщения:
    1.078
    Лучших ответов:
    0
    Рейтинги:
    +317 / 12 / -0
    А что делать с этими ботами?
     
  12. alexxela

    alexxela Новичок

    Регистрация:
    4 июн 2016
    Сообщения:
    35
    Лучших ответов:
    0
    Рейтинги:
    +3 / 0 / -0
    @brauzer, вот спасибо, уже конструктив пошел. Только последнее время, я лично, но уже серьезно, жалею, что в программировании "не бум бум".
    Как Ленин говорил: "жене говоришь что идешь к любовнице, любовнице говоришь что идешь к жене, а сам в библиотеку и читать, и читать." :)
     
  13. DDDD4

    DDDD4 Бывалый

    Регистрация:
    22 фев 2016
    Сообщения:
    284
    Лучших ответов:
    0
    Рейтинги:
    +27 / 1 / -0
    Правильно ли так прописать

    Order allow,Deny
    allow from all
    Deny from 62.105.143.40/29 # groupIB
    Deny from 91.213.149.0/24 # телеканал 1+1 (Украина)
    Deny from 93.170.146.51/32 #компания ООО Интернет Копирайт Менеджмент

    Deny from 91.106.207.133 # groupIB
    Deny from 89.184.82.0/23 # телеканал 1+1 (Украина)
    Deny from 89.19.113.102 # ООО ЮФ Виндекс
    Deny from 188.116.36.253 # Anti-Piracy Protection Legal
    Deny from 77.37.208. # рнк определяет CMS сайта

    DirectoryIndex index.php
    ExpiresActive On
    ExpiresDefault "access plus 11 month"
    Header append Cache-Control "public"
    RewriteEngine On
    ErrorDocument 404 /404.html
    RewriteBase /
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteCond %{REQUEST_URI} ^(.*)\.html(.+) [OR]
    RewriteCond %{REQUEST_URI} ^(.*)\.htm$ [OR]
    RewriteCond %{REQUEST_URI} ^(.*)\.ht$ [OR]
    RewriteCond %{REQUEST_URI} ^(.*)\.h$ [OR]
    RewriteCond %{REQUEST_URI} ^(.*)\.$
    RewriteRule ^(.*)\.(.*) $1.html [R=301,L]
    # Редиректы
    RewriteRule ^page/([0-9]+)(/?)$ index.php?cstart=$1 [L]

    # Сам пост
    RewriteBase /
    RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*)\.(.*)$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6 [L]
    RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*)\.(.*)$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]
    RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*)\.(.*)$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*)\.(.*)$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4 [L]

    RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*)$ index.php?newsid=$4&news_page=$2&cstart=$3 [L]
    RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*)$ index.php?newsid=$3&news_page=$2 [L]
    RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*)$ engine/print.php?news_page=$2&newsid=$3 [L]
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule ^([^.]+)/([0-9]+)-(.*)$ index.php?newsid=$2 [L]

    RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*)$ index.php?newsid=$3&news_page=$1&cstart=$2 [L]
    RewriteRule ^page,([0-9]+),([0-9]+)-(.*)$ index.php?newsid=$2&news_page=$1 [L]
    RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*)$ engine/print.php?news_page=$1&newsid=$2 [L]
    RewriteRule ^([0-9]+)-(.*)$ index.php?newsid=$1 [L]

    # За день
    RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L]
    RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L]
    # За весь месяц
    RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L]
    RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L]
    # Вывод за весь год
    RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L]
    RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L]
    # вывод отдельному тегу
    RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L]
    RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L]
    # поиск по доп полям
    RewriteRule ^xfsearch/([^.]+)/page/([0-9]+)(/?)+$ index.php?do=xfsearch&xf=$1&cstart=$2 [L]
    RewriteRule ^xfsearch/([^.]+)/?$ index.php?do=xfsearch&xf=$1 [L]
    # вывод для отдельного юзера
    RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L]
    RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L]
    RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L]
    RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L]
    RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L]
    RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L]
    # вывод всех последних новостей
    RewriteRule ^lastnews(/?)+$ index.php?do=lastnews [L]
    RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L]
    # вывод в виде каталога
    RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L]
    RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L]
    RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L]
    # вывод непрочитанных статей
    RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L]
    RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L]
    # вывод избранных статей
    RewriteRule ^favorites(/?)+$ index.php?do=favorites [L]
    RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L]

    RewriteRule ^rules.html$ index.php?do=rules [L]
    RewriteRule ^statistics.html$ index.php?do=stats [L]
    RewriteRule ^addnews.html$ index.php?do=addnews [L]
    RewriteRule ^rss.xml$ engine/rss.php [L]
    RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L]

    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L]
    RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L]

    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L]
    RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1&seourl=$2 [L]
    RewriteRule ^print:([^/]+).html$ engine/print.php?do=static&page=$1&seourl=$1 [L]

    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteRule ^([^/]+).html$ index.php?do=static&page=$1&seourl=$1 [L]
    # Редиректы с index.php или index.html на сайт
    RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.(php|html)\ HTTP/
    RewriteRule .* / [R=301,L]
     
  14. Romantv

    Забанен

    Регистрация:
    17 июл 2015
    Сообщения:
    6.992
    Лучших ответов:
    6
    Рейтинги:
    +2.000 / 141 / -0
    прям так и вставлять в хатс?
     
  15. Romantv

    Забанен

    Регистрация:
    17 июл 2015
    Сообщения:
    6.992
    Лучших ответов:
    6
    Рейтинги:
    +2.000 / 141 / -0
    @DDDD4, для таких партянок спойлер есть
     
  16. TopicStarter Overlay
    nikitalll

    nikitalll Бывалый

    Регистрация:
    1 фев 2016
    Сообщения:
    194
    Лучших ответов:
    0
    Рейтинги:
    +63 / 0 / -0
    не совсем. отредактировал пост, там внизу добавить нужно
    <Limit GET POST HEAD>
    Order Allow,Deny
    Allow from all
    Deny from env=bad_bot
    </Limit>
     
  17. MegaMonstr

    Команда форума VIP Кинотрафик v2

    Регистрация:
    27 сен 2015
    Сообщения:
    1.078
    Лучших ответов:
    0
    Рейтинги:
    +317 / 12 / -0
    Извини за тупость но как нужно все таки вставлять?
    Только это:

    <Limit GET POST HEAD>
    Order Allow,Deny
    Allow from all
    Deny from env=bad_bot
    </Limit>

    SetEnvIfNoCase User-Agent musobot bad_bot
    SetEnvIfNoCase User-Agent SEOkicks-Robot bad_bot
    SetEnvIfNoCase User-Agent SputnikBot bad_bot

    SetEnvIfNoCase User-Agent linkdexbot bad_bot
    SetEnvIfNoCase User-Agent MJ12bot bad_bot
    SetEnvIfNoCase User-Agent Y!J-ASR bad_bot
    SetEnvIfNoCase User-Agent PycURL bad_bot
    SetEnvIfNoCase User-Agent Python bad_bot

    SetEnvIfNoCase User-Agent msnbot-media bad_bot
    SetEnvIfNoCase User-Agent AhrefsBot bad_bot
    SetEnvIfNoCase User-Agent meanpathbot bad_bot
    SetEnvIfNoCase User-Agent Owler bad_bot
    SetEnvIfNoCase User-Agent SurveyBot bad_bot
    SetEnvIfNoCase User-Agent OpenHoseBot bad_bot
    SetEnvIfNoCase User-Agent GrapeshotCrawler bad_bot
    SetEnvIfNoCase User-Agent ShowyouBot bad_bot
    SetEnvIfNoCase User-Agent GetintentCrawler bad_bot

    <Limit GET POST HEAD>
    Order Allow,Deny
    Allow from all
    Deny from env=bad_bot
    </Limit>
     
  18. киношпийон

    киношпийон Бывалый

    Регистрация:
    1 авг 2015
    Сообщения:
    956
    Лучших ответов:
    0
    Рейтинги:
    +222 / 17 / -0
  19. Karabas Barabas

    Команда форума VIP Кинотрафик v2

    Регистрация:
    20 ноя 2015
    Сообщения:
    8.172
    Лучших ответов:
    1
    Рейтинги:
    +3.756 / 12 / -0
    Этих ".ua" вообще на ЙУХ сразу отправлять.
     
  20. alexxela

    alexxela Новичок

    Регистрация:
    4 июн 2016
    Сообщения:
    35
    Лучших ответов:
    0
    Рейтинги:
    +3 / 0 / -0
    @киношпийон, Ваши ответные действия-бездействия-противодействия должны зависеть от:
    - языковой принадлежности сайта,
    - страны регистратора домена,
    - страны хостера,
    - влияние сайта на баны некоторых страниц в Гоше.
    Все "пи....." могут действовать в любом направлении влияния на Вас.
     
Яндекс.Метрика