@DenisKmin, мне всё понятно по сути процесса, но! Ты сам это пробовал делать? Представляешь, какой объем информации надо вручную перелопатить? Как мне представляется, нужно в какой-то проге, открыть, возможно несколько, логов, задать какие-то фильтры, как минимум два, сам фильм и почта, а после этого уже вручную определять паразитов общества, но уже из меньшего объема информации. Письма от них мне приходят только или в 09.01. или в 21.01. И я не уверен, что они парсят сайты и шлют письма в течение одних и тех же суток. @brauzer, а не только самые известные спамеры занимаются нами, некоторые ограничиваются парсингом сети и абузами в Гошу. Вот их сложнее выловить, тут нужна инфа стукача от Гоши, ну и логи хитро анализировать. А т.к. это может происходить в разные дни, то задача усложняется. PS. Но пытаться надо, я так думаю.
А мне совсем перестали слать, недавно правда когда "Бомбалэйло" было там пришло штук 10 где-то) Видимо чертуганы ИП поменяли разом)
Как я понимаю, теперь это будет "вечный кайф", я про отлов "право-вредителей". Если это кому-то выгодно, то всегда найдутся т.н. "борцы за справедливость" (на самом деле - борцы за свой кошелек, а все такие, и мы тоже, давайте честно говорить), только справедливость у всех разная, как и правда. Здесь есть несколько способов борьбы. Про уход в запрещенку для РФ я не говорю, это крайний случай. Итак: 1. Наладить, как минимум полуавтоматический (но никак не ручной) способ отлова паразитов. Тут нужна помощь спецов, энтузиастов, пробы, эксперименты. 1.1. Выкладывать где-нибудь отловленную инфу, НО закрытую для случайных посетителей, и вражеского стана . 2. Заслать во вражеский лагерь "засланца", с целью разведки способом погружения. Но если он со временем поймет, что там выгоднее, то будет писец. Они, скорее всего, по правилам бизнеса, каждый сам за себя. А вот нам можно объединить грамотные усилия, это всегда выгоднее. PS. Попробую поработать с файловыми менеджерами и логами, но попозже, пока некогда. Никто не пробовал там с поиском поработать?
Зачем вручную?))) cat grep awk в помощь) Можно скриптик на php быстро накатать если в Linux не бум бум: Код: <?php //Путь к страничке с контактами $contact_page = '/contact.html'; //Путь к страничке с фильмом $film_page = '/film_page.html'; //Файл access.log предварительно распаковать если архив, командой gzip -c -d access.log.gz > access.log $access_log = 'access.log'; $file = file('access.log'); $ips = array(); foreach($file as $str){ if(preg_match('/GET '.$contact_page.'/i', $str)){ $ex = explode(' ', $str); $ips[] = $ex[0]; } } foreach($file as $str){ foreach($ips as $ip){ if(preg_match('/GET '.$film_page.'/i', $str) && preg_match('/'.$ip.'/i', $str)){ echo $ip." - вредитель\n"; } } } PS: не факт, что скрипт сразу будет работать, накидал на быстро, не тестил. ну и объем выделенной памяти для php тоже стоит проверить перед запуском
Сегодня пачка писем от гугла пришла, но все урлы в них уже были давно удалены с поиска, просто видимо уведомления задержали и пачкой теперь отправляют. Все удаленные ссылки от Internet Copyright и TOP MEDIA DISTRIBUT, как я понял они друг с другом сотрудничают. Кто смотрит удаленные ссылки тут lumendatabase.org, видит что они в день по несколько штук удаляют, но как поймать того кто удаляет ссылки не заходя на нее? Есть у кого нибудь идеи? Вот еще список ботов, может кому пригодится. SetEnvIfNoCase User-Agent musobot bad_bot SetEnvIfNoCase User-Agent SEOkicks-Robot bad_bot SetEnvIfNoCase User-Agent SputnikBot bad_bot SetEnvIfNoCase User-Agent linkdexbot bad_bot SetEnvIfNoCase User-Agent MJ12bot bad_bot SetEnvIfNoCase User-Agent Y!J-ASR bad_bot SetEnvIfNoCase User-Agent PycURL bad_bot SetEnvIfNoCase User-Agent Python bad_bot SetEnvIfNoCase User-Agent msnbot-media bad_bot SetEnvIfNoCase User-Agent AhrefsBot bad_bot SetEnvIfNoCase User-Agent meanpathbot bad_bot SetEnvIfNoCase User-Agent Owler bad_bot SetEnvIfNoCase User-Agent SurveyBot bad_bot SetEnvIfNoCase User-Agent OpenHoseBot bad_bot SetEnvIfNoCase User-Agent GrapeshotCrawler bad_bot SetEnvIfNoCase User-Agent ShowyouBot bad_bot SetEnvIfNoCase User-Agent GetintentCrawler bad_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>
прописал вышла такая фигня Internal Server Error The server encountered an internal error or misconfiguration and was unable to complete your request. Please contact the server administrator, and inform them of the time the error occurred, and anything you might have done that may have caused the error. More information about this error may be available in the server error log. Apache/2.2.15 (CentOS) Server at erstube.com Port 80
@brauzer, вот спасибо, уже конструктив пошел. Только последнее время, я лично, но уже серьезно, жалею, что в программировании "не бум бум". Как Ленин говорил: "жене говоришь что идешь к любовнице, любовнице говоришь что идешь к жене, а сам в библиотеку и читать, и читать."
Правильно ли так прописать Order allow,Deny allow from all Deny from 62.105.143.40/29 # groupIB Deny from 91.213.149.0/24 # телеканал 1+1 (Украина) Deny from 93.170.146.51/32 #компания ООО Интернет Копирайт Менеджмент Deny from 91.106.207.133 # groupIB Deny from 89.184.82.0/23 # телеканал 1+1 (Украина) Deny from 89.19.113.102 # ООО ЮФ Виндекс Deny from 188.116.36.253 # Anti-Piracy Protection Legal Deny from 77.37.208. # рнк определяет CMS сайта DirectoryIndex index.php ExpiresActive On ExpiresDefault "access plus 11 month" Header append Cache-Control "public" RewriteEngine On ErrorDocument 404 /404.html RewriteBase / RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteCond %{REQUEST_URI} ^(.*)\.html(.+) [OR] RewriteCond %{REQUEST_URI} ^(.*)\.htm$ [OR] RewriteCond %{REQUEST_URI} ^(.*)\.ht$ [OR] RewriteCond %{REQUEST_URI} ^(.*)\.h$ [OR] RewriteCond %{REQUEST_URI} ^(.*)\.$ RewriteRule ^(.*)\.(.*) $1.html [R=301,L] # Редиректы RewriteRule ^page/([0-9]+)(/?)$ index.php?cstart=$1 [L] # Сам пост RewriteBase / RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*)\.(.*)$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6 [L] RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*)\.(.*)$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L] RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/printage,([0-9]+),(.*)\.(.*)$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*)\.(.*)$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4 [L] RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*)$ index.php?newsid=$4&news_page=$2&cstart=$3 [L] RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*)$ index.php?newsid=$3&news_page=$2 [L] RewriteRule ^([^.]+)/printage,([0-9]+),([0-9]+)-(.*)$ engine/print.php?news_page=$2&newsid=$3 [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule ^([^.]+)/([0-9]+)-(.*)$ index.php?newsid=$2 [L] RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*)$ index.php?newsid=$3&news_page=$1&cstart=$2 [L] RewriteRule ^page,([0-9]+),([0-9]+)-(.*)$ index.php?newsid=$2&news_page=$1 [L] RewriteRule ^printage,([0-9]+),([0-9]+)-(.*)$ engine/print.php?news_page=$1&newsid=$2 [L] RewriteRule ^([0-9]+)-(.*)$ index.php?newsid=$1 [L] # За день RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L] RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L] # За весь месяц RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L] RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L] # Вывод за весь год RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L] RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L] # вывод отдельному тегу RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L] RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L] # поиск по доп полям RewriteRule ^xfsearch/([^.]+)/page/([0-9]+)(/?)+$ index.php?do=xfsearch&xf=$1&cstart=$2 [L] RewriteRule ^xfsearch/([^.]+)/?$ index.php?do=xfsearch&xf=$1 [L] # вывод для отдельного юзера RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L] RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L] RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L] RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L] RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L] RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L] # вывод всех последних новостей RewriteRule ^lastnews(/?)+$ index.php?do=lastnews [L] RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L] # вывод в виде каталога RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L] RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L] RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L] # вывод непрочитанных статей RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L] RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L] # вывод избранных статей RewriteRule ^favorites(/?)+$ index.php?do=favorites [L] RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L] RewriteRule ^rules.html$ index.php?do=rules [L] RewriteRule ^statistics.html$ index.php?do=stats [L] RewriteRule ^addnews.html$ index.php?do=addnews [L] RewriteRule ^rss.xml$ engine/rss.php [L] RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L] RewriteCond %{REQUEST_FILENAME} !-d RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L] RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L] RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1&seourl=$2 [L] RewriteRule ^print[^/]+).html$ engine/print.php?do=static&page=$1&seourl=$1 [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteRule ^([^/]+).html$ index.php?do=static&page=$1&seourl=$1 [L] # Редиректы с index.php или index.html на сайт RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.(php|html)\ HTTP/ RewriteRule .* / [R=301,L]
не совсем. отредактировал пост, там внизу добавить нужно <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>
Извини за тупость но как нужно все таки вставлять? Только это: <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit> Спойлер: или вот так? SetEnvIfNoCase User-Agent musobot bad_bot SetEnvIfNoCase User-Agent SEOkicks-Robot bad_bot SetEnvIfNoCase User-Agent SputnikBot bad_bot SetEnvIfNoCase User-Agent linkdexbot bad_bot SetEnvIfNoCase User-Agent MJ12bot bad_bot SetEnvIfNoCase User-Agent Y!J-ASR bad_bot SetEnvIfNoCase User-Agent PycURL bad_bot SetEnvIfNoCase User-Agent Python bad_bot SetEnvIfNoCase User-Agent msnbot-media bad_bot SetEnvIfNoCase User-Agent AhrefsBot bad_bot SetEnvIfNoCase User-Agent meanpathbot bad_bot SetEnvIfNoCase User-Agent Owler bad_bot SetEnvIfNoCase User-Agent SurveyBot bad_bot SetEnvIfNoCase User-Agent OpenHoseBot bad_bot SetEnvIfNoCase User-Agent GrapeshotCrawler bad_bot SetEnvIfNoCase User-Agent ShowyouBot bad_bot SetEnvIfNoCase User-Agent GetintentCrawler bad_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>
Еще п*дарасы появились такие: Департамент мониторинга контента <[email protected]> Abuse Axghouse <[email protected]>
@киношпийон, Ваши ответные действия-бездействия-противодействия должны зависеть от: - языковой принадлежности сайта, - страны регистратора домена, - страны хостера, - влияние сайта на баны некоторых страниц в Гоше. Все "пи....." могут действовать в любом направлении влияния на Вас.