Важно Блокировка по ip всяких антипираток, вебконтролей, рупротектов и прочей мерзости.

@nikitalll, есть скрипт Project SECURITY http://codecanyon.net/item/project-security-website-security-malware-vulnerability-scanner/15487703
вот там все боты собраны.скрипт та заебательский но он банит даже гугл с яндексом там ботов почти все собраны

Спойлер: боты

"Abonti",
"aggregator",
"AhrefsBot",
"almaden",
"Anarchie",
"ASPSeek",
"asterias",
"autoemailspider",
"Bandit",
"BDCbot",
"BackWeb",
"BatchFTP",
"BlackWidow",
"BLEXBot",
"Bolt",
"Buddy",
"BuiltBotTough",
"Bullseye",
"bumblebee",
"BunnySlippers",
"ca-crawler",
"CazoodleBot",
"CCBot",
"Cegbfeieh",
"CheeseBot",
"CherryPicker",
"ChinaClaw",
"CICC",
"Collector",
"Copier",
"CopyRightCheck",
"cosmos",
"Crescent",
"Custo",
"DIIbot",
"discobot",
"DittoSpyder",
"DOC",
"DotBot",
"Download Ninja",
"Drip",
"DSurf",
"EasouSpider",
"eCatch",
"ecxi",
"EmailCollector",
"EmailSiphon",
"EmailWolf",
"EroCrawler",
"Exabot",
"EirGrabber",
"ExtractorPro",
"EyeNetIE",
"Fasterfox",
"FeedBooster",
"FlashGet",
"Foobot",
"FrontPage",
"Genieo",
"GetRight",
"GetSmart",
"GetWeb!",
"gigabaz",
"Go!Zilla",
"Go-Ahead-Got-It",
"gotit",
"Grabber",
"GrabNet",
"Grafula",
"grub-client",
"Harvest",
"hloader",
"httplib",
"HMView",
"HTTrack",
"httpdown",
"humanlinks",
"IDBot",
"id-search",
"ieautodiscovery",
"InfoNaviRobot",
"InterGET",
"InternetLinkagent",
"IstellaBot",
"InternetSeer",
"Iria",
"IRLbot",
"Java",
"JennyBot",
"JetCar",
"JustView",
"k2spider",
"Kenjin Spider",
"Keyword Density",
"larbin",
"LeechFTP",
"LexiBot",
"lftp",
"libWeb",
"libwww-perl",
"likse",
"Link*Sleuth",
"LinkextractorPro",
"linko",
"LinkScan",
"LinkWalker",
"LNSpiderguy",
"lwp-trivial",
"Mag-Net",
"magpie",
"Mata Hari",
"MaxPointCrawler",
"MegaIndex",
"Memo",
"MFC_Tear_Sample",
"Microsoft URL Control",
"MIDown",
"MIIxpc",
"Mippin",
"Missigua Locator",
"Mister PiX",
"MJ12bot",
"moget",
"MSIECrawler",
"Navroad",
"NearSite",
"NetAnts",
"NetMechanic",
"NetSpider",
"NICErsPRO",
"Niki-Bot",
"Ninja",
"NPBot",
"Nutch",
"Octopus",
"Offline Explorer",
"Openfind data gathere",
"Openfind",
"PageGrabber",
"panscient.com",
"pavuk",
"pcBrowser",
"PeoplePal",
"PHP5.{",
"PHPCrawl",
"PingALink",
"PleaseCrawl",
"Pockey",
"ProPowerBot",
"ProWebWalker",
"psbot",
"Pump",
"Python-urllib",
"QueryN Metasearch",
"QRVA",
"Reaper",
"Recorder",
"ReGet",
"RepoMonkey",
"Rippers",
"RMA",
"SBIder",
"Scooter",
"Seeker",
"SemrushBot",
"SeznamBot",
"Siphon",
"SISTRIX",
"sitecheck.Internetseer.com",
"SiteSnagger",
"SlySearch",
"SmartDownload",
"Snake",
"SnapPreviewBot",
"SpaceBison",
"Sogou",
"SpankBot",
"spanner",
"spbot",
"Spinn3r",
"sproose",
"Steeler",
"Stripper",
"Sucker",
"SuperBot",
"SuperHTTP",
"suzuran",
"Szukacz",
"tAkeOut",
"Teleport",
"TeleportPro",
"Telesoft",
"The Intraformant",
"TheNomad",
"TightTwatBot",
"Titan",
"toCrawlUrlDispatcher",
"True_Robot",
"turingos",
"TurnitinBot",
"UbiCrawler",
"UnisterBot",
"URLSpiderPro",
"URLy Warning",
"Vacuum",
"VCI WebViewer VCI WebViewer",
"VoidEYE",
"webalta",
"WebAuto",
"Win32",
"VCI",
"WBSearchBot",
"Web Downloader",
"Web Image Collector",
"WebBandit",
"WebCollage",
"WebCopier",
"WebEMailExtrac",
"WebEnhancer",
"WebFetch",
"WebGo",
"WebHook",
"WebLeacher",
"WebmasterWorldForumBot",
"WebMiner",
"WebMirror",
"WebReaper",
"WebSauger",
"Website Quester",
"Webster Pro",
"WebStripper",
"WebZip",
"Whacker",
"Widow",
"Wotbox",
"Wget",
"wsr-agent",
"WWW-Collector-E",
"WWW-Mechanize",
"WWWOFFLE",
"x-Tractor",
"Xaldon",
"Xenu",
"Zao",
"zermelo",
"Zeus",
"ZyBORG",
"coccoc",
"Incutio",
"lmspider",
"memoryBot",
"serf",
"Unknown",
"uptime files",
"craftbot",
"DISCo",
"Download Demon",
"Express WebPictures",
"Indy Library",
"NetZIP",
"Vampire",
"Offline",
"RealDownload",
"Download",
"Surfbot",
"WebWhacker",
"eXtractor",
"WebSpider",
"archiverloader",
"casper",
"clshttp",
"cmswor",
"curl",
"diavol",
"email",
"extract",
"flicky",
"grab",
"kmccrew",
"miner",
"nikto",
"planetwork",
"pycurl",
"python",
"scan",
"skygrid",
"winhttp",
"Scanner",
"DigExt",
"MJ12",
"majestic12",
"80legs",
"Semrush",
"Ezooms",
"Ahrefs",
"<",
">",
"'",
"%0A",
"%0D",
"%27",
"%3C",
"%3E",
"%00",
"!susie",
"_irc",
"_works",
"+select+",
"+union+",
"&lt;?",
"3gse",
"4all",
"4anything",
"CURI",
"a1 site",
"a_browser",
"abac",
"abach",
"abby",
"aberja",
"abilon",
"abont",
"abot",
"aboutoil",
"accept",
"access",
"accoo",
"accoon",
"aceftp",
"acme",
"active",
"address",
"adopt",
"adress",
"advisor",
"agent",
"ahead",
"aihit",
"aipbot",
"alarm",
"albert",
"alek",
"alexa toolbar",
"alltop",
"alma",
"alot",
"alpha",
"america online browser",
"amfi",
"amfibi",
"andit",
"anon",
"ansearch",
"answer",
"answerbus",
"answerchase",
"antivirx",
"apollo",
"appie",
"arach",
"arian",
"asps",
"aster",
"atari",
"atlocal",
"atom",
"atrax",
"atrop",
"attrib",
"autoh",
"autohot",
"av fetch",
"avsearch",
"axod",
"axon",
"baboom",
"baby",
"back",
"baid",
"bali",
"barry",
"basichttp",
"batch",
"bdfetch",
"beat",
"beaut",
"become",
"bee",
"beij",
"betabot",
"biglotron",
"bilgi",
"binlar",
"bison",
"bitacle",
"bitly",
"blaiz",
"blitz",
"blogl",
"blogscope",
"blogzice",
"bloob",
"blow",
"bond",
"bord",
"boris",
"bost",
"bot.ara",
"botje",
"botw",
"bpimage",
"brand",
"brok",
"broth",
"browseabit",
"browsex",
"bruin",
"bsalsa",
"bsdseek",
"built",
"bulls",
"bumble",
"bunny",
"busca",
"busi",
"buy",
"bwh3",
"cafek",
"cafi",
"camel",
"cand",
"captu",
"catch",
"ccubee",
"cd34",
"ceg",
"cfnetwork",
"cgichk",
"cha0s",
"chang",
"chaos",
"char",
"char(",
"chase x",
"check_http",
"checker",
"checkonly",
"checkpriv",
"chek",
"chill",
"chttpclient",
"cipinet",
"cisco",
"cita",
"citeseer",
"clam",
"claria",
"claw",
"cloak",
"clush",
"coast",
"code.com",
"cogent",
"coldfusion",
"coll",
"collect",
"comb",
"combine",
"commentreader",
"common",
"comodo",
"compan",
"conc",
"conduc",
"contact",
"control",
"contype",
"conv",
"cool",
"copi",
"copy",
"coral",
"corn",
"costa",
"cowbot",
"cr4nk",
"craft",
"cralwer",
"crank",
"crap",
"crawler0",
"crazy",
"cres",
"cs-cz",
"cshttp",
"cuill",
"curry",
"cute",
"cyber",
"cz3",
"czx",
"daily",
"daobot",
"dark",
"darwin",
"data",
"daten",
"dcbot",
"dcs",
"dds explorer",
"deep",
"deps",
"detect",
"diam",
"dillo",
"ding",
"disc",
"disp",
"ditto",
"dlc",
"doco",
"drec",
"dsdl",
"dsok",
"dts",
"duck",
"dumb",
"eag",
"earn",
"earthcom",
"easydl",
"ebin",
"echo",
"edco",
"egoto",
"elnsb5",
"emer",
"empas",
"encyclo",
"enfi",
"enhan",
"enterprise_search",
"envolk",
"erck",
"erocr",
"eventax",
"evere",
"evil",
"ewh",
"exac",
"exploit",
"expre",
"extra",
"eyen",
"fang",
"fast",
"fastbug",
"faxo",
"fdse",
"feed24",
"feeddisc",
"feedfinder",
"feedhub",
"fetch",
"filan",
"fileboo",
"fimap",
"find",
"firebat",
"firedownload",
"firefox0",
"firs",
"flam",
"flash",
"flexum",
"flip",
"fly",
"focus",
"fooky",
"forum",
"forv",
"fost",
"foto",
"foun",
"fount",
"foxy1;",
"free",
"friend",
"fuck",
"fuer",
"futile",
"fyber",
"gais",
"galbot",
"gbpl",
"gener",
"geni",
"geo",
"geona",
"geth",
"getr",
"getw",
"ggl",
"gira",
"gluc",
"gnome",
"goforit",
"goldfire",
"gonzo",
"google wireless",
"gosearch",
"got-it",
"gozilla",
"graf",
"greg",
"grub",
"grup",
"gsa-cra",
"gsearch",
"gt::www",
"guidebot",
"guruji",
"gyps",
"haha",
"hailo",
"harv",
"hash",
"hatena",
"hax",
"head",
"helm",
"hgre",
"hippo",
"hmse",
"holm",
"holy",
"hotbar",
"hpprint",
"hrefs",
"httpclient",
"httpconnect",
"human",
"huron",
"hverify",
"hybrid",
"hyper",
"iaskspi",
"ibm evv",
"iccra",
"ichiro",
"icopy",
"ics)",
"ida",
"ie5.0",
"ieauto",
"iempt",
"iexplore.exe",
"ilium",
"ilse",
"iltrov",
"indexer",
"indy",
"ineturl",
"infonav",
"innerpr",
"inspect",
"insuran",
"intellig",
"internet_explorer",
"internetx",
"intraf",
"ip2",
"ipsel",
"isc_sys",
"isilo",
"isrccrawler",
"isspi",
"jady",
"jaka",
"jam",
"jenn",
"jet",
"jiro",
"jobo",
"joc",
"jupit",
"just",
"jyx",
"jyxo",
"kash",
"kazo",
"kbee",
"kenjin",
"kernel",
"keywo",
"kfsw",
"kkma",
"kmc",
"know",
"kosmix",
"krae",
"krug",
"ksibot",
"ktxn",
"kum",
"labs",
"lanshan",
"lapo",
"leech",
"lets",
"lexi",
"lexxe",
"libby",
"libcrawl",
"libcurl",
"libfetch",
"light",
"linc",
"lingue",
"linkcheck",
"linklint",
"linkman",
"lint",
"list",
"litefeeds",
"livedoor",
"livejournal",
"liveup",
"lmq",
"loader",
"locu",
"london",
"lone",
"loop",
"lork",
"lth_",
"lwp",
"mac_f",
"magi",
"magp",
"mail.ru",
"main",
"majest",
"mam",
"mama",
"mana",
"marketwire",
"masc",
"mass",
"mata",
"mcbot",
"mecha",
"mechanize",
"mediapartners",
"metadata",
"metalogger",
"metaspin",
"metauri",
"mete",
"mib2.2",
"microsoft.url",
"microsoft_internet_explorer",
"mido",
"miggi",
"miix",
"mindjet",
"mindman",
"mips",
"mira",
"mire",
"miss",
"mist",
"mizz",
"mlbot",
"mlm",
"mnog",
"moge",
"moje",
"mooz",
"more",
"mouse",
"mozdex",
"mvi",
"msie6xpv1",
"msnbot-media",
"msnbot-products",
"msnptc",
"msproxy",
"msrbot",
"musc",
"mvac",
"mwm",
"my_age",
"myapp",
"mydog",
"myeng",
"myie2",
"mysearch",
"myurl",
"name",
"naver",
"navr",
"near",
"netcach",
"netcrawl",
"netfront",
"netinfo",
"netmech",
"netsp",
"netx",
"netz",
"neural",
"neut",
"newsbreak",
"newsgatorinbox",
"newsrob",
"newt",
"next",
"ng-s",
"ng2",
"nice",
"nimb",
"ninte",
"nog",
"noko",
"nomad",
"norb",
"nuse",
"nutex",
"nwsp",
"obje",
"ocel",
"octo",
"odi3",
"oegp",
"offby",
"omea",
"omg",
"omhttp",
"onfo",
"onyx",
"openf",
"openssl",
"openu",
"orac",
"orbit",
"oreg",
"osis",
"our",
"outf",
"owl",
"p3p_",
"page2rss",
"pagefet",
"pansci",
"parser",
"patw",
"pavu",
"pb2pb",
"pcbrow",
"pear",
"peer",
"pepe",
"perfect",
"perl",
"petit",
"phoenix0.",
"phras",
"picalo",
"piff",
"pig",
"pingd",
"pipe",
"pirs",
"plag",
"planet",
"plant",
"platform",
"playstation",
"plesk",
"pluck",
"plukkie",
"poe-com",
"poirot",
"pomp",
"post",
"postrank",
"powerset",
"preload",
"privoxy",
"probe",
"program_shareware",
"protect",
"protocol",
"prowl",
"proxie",
"proxy",
"pubsub",
"pulse",
"punit",
"purebot",
"purity",
"pyq",
"pyth",
"query",
"quest",
"qweer",
"radian",
"rambler",
"ramp",
"rapid",
"rawdog",
"rawgrunt",
"reap",
"reeder",
"refresh",
"relevare",
"repo",
"requ",
"request",
"rese",
"retrieve",
"roboz",
"rocket",
"rogue",
"rpt-http",
"rsscache",
"ruby",
"ruff",
"rufus",
"rv:0.9.7)",
"salt",
"sample",
"sauger",
"savvy",
"sbcyds",
"sblog",
"sbp",
"scagent",
"scej_",
"sched",
"schizo",
"schlong",
"schmo",
"scorp",
"scott",
"scout",
"scrawl",
"screen",
"screenshot",
"script",
"seamonkey",
"search17",
"searchbot",
"searchme",
"sega",
"semto",
"sensis",
"seop",
"seopro",
"sept",
"sezn",
"seznam",
"share",
"sharp",
"shaz",
"shell",
"shelo",
"sherl",
"shim",
"shopwiki",
"silurian",
"simple",
"simplepie",
"siph",
"sitekiosk",
"sitescan",
"sitevigil",
"sitex",
"skam",
"skimp",
"sledink",
"slide",
"sly",
"smag",
"smurf",
"snag",
"snapbot",
"snif",
"snip",
"snoop",
"sock",
"socsci",
"sohu",
"solr",
"some",
"soso",
"spad",
"span",
"sphere",
"spin",
"spurl",
"sputnik",
"spyder",
"squi",
"sqwid",
"sqworm",
"ssm_ag",
"stack",
"stamp",
"statbot",
"state",
"steel",
"stilo",
"strateg",
"stress",
"strip",
"style",
"subot",
"such",
"suck",
"sume",
"sunos 5.7",
"sunrise",
"superbro",
"supervi",
"surf4me",
"survey",
"susi",
"suza",
"suzu",
"sweep",
"swish",
"sygol",
"synapse",
"sync2it",
"systems",
"tagger",
"tagoo",
"tagyu",
"take",
"talkro",
"tamu",
"tandem",
"tarantula",
"tbot",
"tcf",
"tcs1",
"teamsoft",
"tecomi",
"teesoft",
"tencent",
"terrawiz",
"test",
"texnut",
"thomas",
"tiehttp",
"timebot",
"timely",
"tipp",
"tiscali",
"tmcrawler",
"tmhtload",
"tocrawl",
"todobr",
"tongco",
"toolbar; (r1",
"topic",
"topyx",
"torrent",
"track",
"translate",
"traveler",
"treeview",
"tricus",
"trivia",
"trivial",
"true",
"tunnel",
"turing",
"turnitin",
"tutorgig",
"twat",
"tweak",
"twice",
"tygo",
"ubee",
"uchoo",
"ultraseek",
"unavail",
"unf",
"universal",
"upg1",
"urlbase",
"urllib",
"urly",
"user-agent:",
"useragent",
"usyd",
"vagabo",
"valet",
"vamp",
"veri~li",
"verif",
"versus",
"vikspi",
"virtual",
"visual",
"void",
"voyager",
"vsyn",
"w0000t",
"w3search",
"walhello",
"walker",
"wand",
"waol",
"watch",
"wavefire",
"wbdbot",
"weather",
"web2mal",
"web.ima",
"webbot",
"webcat",
"webcor",
"webcorp",
"webcrawl",
"webdat",
"webdup",
"webind",
"webis",
"webitpr",
"weblea",
"webmin",
"webmoney",
"webp",
"webql",
"webrobot",
"webster",
"websurf",
"webtre",
"webvac",
"wells",
"wep_s",
"whiz",
"win67",
"windows-rss",
"winht",
"winodws",
"wish",
"wizz",
"worio",
"works",
"world",
"worth",
"wwwc",
"wwwo",
"wwwster",
"xirq",
"y!tunnel",
"yacy",
"yahoo-mmaudvid",
"yahooseeker",
"yahooysmcm",
"yamm",
"yang",
"yoono",
"yori",
"yotta",
"yplus ",
"ytunnel",
"zade",
"zagre",
"zeal",
"zebot",
"zerx",
"zhuaxia",
"zipcode",
"zixy",
"zmao",
"zmeu",
"zune",
"backdoorbot",
"black hole",
"blowfish",
"botalot",
"cherrypicker",
"crescent internet toolpak http ole control",
"linkscan unix",
"microsoft url control - 5.01.4511",
"microsoft url control - 6.00.8169",
"mozilla4.0 (compatible; bullseye; windows 95)",
"repomonkey bait &amp; tacklev1",
"vci webviewer vci webviewer win32",
"xenu's",
"xenu's link sleuth",
"zeus webster pro",
"8484_Boston_Project",
"#[Ww]eb[Bb]andit",
"Abacho",
"acontbot",
"AdoSpeaker",
"ah-ha",
"AIBOT",
"#almaden",
"Amfibibot",
"Arachmo",
"Arameda",
"Arellis",
"Argus",
"attach",
"baiduspider",
"BecomeBot",
"BigCliqueBOT",
"Bimbot",
"BLA",
"boitho.com-dc",
"Bot mailto:[email protected]",
"BruinBot",
"btbot",
"CCGCrawl",
"CipinetBot",
"citenikbot",
"ContextAd Bot",
"contextadbot",
"ConveraCrawler",
"ConveraMultiMediaCrawler",
"CostaCider",
"CrawlConvera",
"CrawlWave",
"#Crescent",
"CXL-FatAssANT",
"DataCha0s",
"DataFountains",
"Deepindex",
"devoll.roswellspringcatalog.info/spring-fashion-2003.html8/18/2006",
"DiamondBot",
"Digger",
"DISCo Pump",
"DM-Search",
"Download Wonder",
"Downloader",
"Drecombot",
"DTAagent",
"EnfinBot",
"Eule-Robot",
"EuripBot",
"Exabot-Images",
"fantomas",
"Favcollector",
"Faxobot",
"FDM_2.x",
"FileHound",
"Firefox_1.0.6_kasparek",
"Firefox_kastaneta",
"First_Browse_of_COnn",
"fluffy",
"Franklin_Locator",
"FyberSpider",
"Gaisbot",
"GalaxyBot",
"gazz",
"GenericBot-ax",
"genevabot",
"GeoBot",
"Girafabot",
"GOFORITBOT",
"GornKer",
"GroschoBot",
"gsa-crawler",
"HappyFunBot",
"Healthbot",
"holmes",
"HooWWWer",
"Hotzonu",
"htdig",
"Html_Link_Validator_",
"http_sample",
"HttpProxy",
"httpunit",
"IconSurf",
"Iltrovatore-Setaccio",
"Image Stripper",
"Image Sucker",
"#Indy Library",
"InfociousBot",
"INGRID",
"InnerpriseBot",
"Internet Ninja",
"InternetSeer.com",
"intraVnews",
"IOneSearch.bot",
"ISC_Systems_iRc_Search",
"Jakarta_Commons-HttpClient",
"Jayde Crawler",
"JetBot",
"JOC Web Spider",
"KakleBot",
"Kyluka",
"lanshanbot",
"LapozzBot",
"Link_Valet_Online",
"LinkAlarm",
"LocalcomBot",
"LWP::Simple",
"Mac_Finder",
"Mackster",
"Magnet",
"Mass Downloader",
"Matrix",
"Metaspinner",
"Microsoft_URL_Control",
"MIDown tool",
"Mirago",
"Mirror",
"Missigua_Locator",
"Mnogosearch",
"MonkeyCrawl",
"Mozilla.*NEWT",
"Mozzilla",
"MVAClient",
"My_WinHTTP_Connection",
"NaverBot",
"NavissoBot",
"Net Vampire",
"NetMind-Minder",
"NetMonitor",
"Networking4all",
"Newsgroupreporter_LinkCheck",
"NextGenSearchBot",
"nicebot",
"NimbleCrawler",
"NLCrawler",
"noxtrumbot",
"NuSearch Spider",
"NutchCVS",
"ObjectsSearch",
"oBot",
"Ocelli",
"Octora_Beta",
"Offline Navigator",
"OmniExplorer_Bot",
"Omnipelagos",
"online link validator",
"Openbot",
"Orbiter",
"OutfoxBot",
"page_verifier",
"PageBitesHyperBot",
"Pajaczek",
"Papa Foto",
"Patwebbot",
"PEAR_HTTP_Request_class",
"PEERbot",
"PHP_version_tracker",
"PhpDig",
"pipeLiner",
"POE-Component-Client-HTTP",
"polybot",
"Pompos",
"Poodle_predictor",
"Pooodle_predictor",
"Popdexter",
"Port_Huron_Labs",
"process",
"psbot test for robots.txt",
"psycheclone",
"PyQuery",
"QweeryBot",
"RAMPyBot",
"Random",
"Ranking-Manager",
"REL_Link_Checker_Lite",
"robschecker",
"RRG",
"RufusBot",
"SandCrawler",
"SANSARN",
"schibstedsokbot",
"#scooter",
"Screw-Ball",
"Scrubby",
"Search-10",
"search.ch",
"Searchmee!",
"SearchSpider",
"Seekbot",
"Sensis Web Crawler",
"Sensis.com.au Web Crawler",
"Shim+Bot",
"ShunixBot",
"shybunnie-engine",
"SideWinder",
"silk",
"SiteSpider",
"#SlySearch test robots.txt",
"sna-",
"Snappy",
"Snoopy",
"sohu-search",
"Speed-Meter",
"SpeedySpider",
"Spinne",
"SpokeSpider",
"Squid-Prefetch",
"SquidClamAV_Redirector",
"SquigglebotBot",
"StackRambler",
"sureseeker",
"SurveyBot",
"SygolBot",
"SynoBot",
"Teleport Pro",
"TerrawizBot",
"ThisIsOurYear_Linkchecker",
"thumbshots-de-Bot",
"Tkensaku",
"topicblogs",
"TridentSpider",
"troovziBot",
"TutorGigBot",
"#ua",
"unchaos_crawler",
"Updated",
"URL Spider Pro",
"URL Spider SQL",
"Vagabondo",
"vBSEO_",
"VoilaBot",
"W3CRobot",
"Web Sucker",
"Web_Downloader",
"webcrawl.net",
"WebDataCentreBot",
"WebEMailExtrac.*",
"WebFindBot",
"WebGather",
"WebGo IS",
"WebIndexer",
"Webnavigator",
"webPluck",
"Website",
"Website eXtractor",
"Wells_Search_II",
"WEP_Search",
"WhizBang",
"WISEbot",
"WWWeasel",
"Xaldon WebSpider",
"Xenu_Link_Sleuth",
"Xombot",
"XunBot",
"yacybot",
"YadowsCrawler",
"Yeti",
"YodaoBot",
"YottaShopping_Bot",
"Zatka",
"Zealbot",
"Zeus.*Webster",
"#Zeus_",
"ZipppBot",
"Alexibot",
"Aqua_Products",
"b2w",
"Bookmark search tool",
"Copernic",
"dumbot",
"FairAd Client",
"Flaming AttackBot",
"Hatena Antenna",
"Iron33",
"LinkScan/8.1a Unix",
"LinkScan/8.1a Unix User-agent: Kenjin Spider",
"Morfeus",
"Mozilla/4.0 (compatible; BullsEye; Windows 95)",
"Oracle Ultra Search",
"PerMan",
"Radiation Retriever",
"RepoMonkey Bait & Tackle",
"searchpreview",
"sootle",
"toCrawl/UrlDispatcher",
"URL Control",
"URL_Spider_Pro",
"WebmasterWorld Extractor",
"Zeus 32297 Webster Pro V2.9 Win32",
"Zeus Link Scout",
"%",
"<?",
"1,1,1,",
"2icommerce",
"ActiveTouristBot",
"adressendeutschland",
"ADSARobot",
"AESOP_com_SpiderMan",
"Alligator",
"AllSubmitter",
"aktuelles",
"Akregat",
"amzn_assoc",
"AnotherBot",
"Apexoo",
"ASPSe",
"ASSORT",
"ATHENS",
"AtHome",
"Atomic_Email_Hunter",
"Atomz",
"^attach",
"autohttp",
"BackStreet",
"Badass",
"BenchMark",
"berts",
"bew",
"big.brother",
"Bigfoot",
"Biz360",
"Black",
"Black.Hole",
"bladder.fusion",
"Blog.Checker",
"BlogPeople",
"Blogshares.Spiders",
"Bloodhound",
"bmclient",
"Board",
"BOI",
"boitho",
"Bookmark.search.tool",
"Boston.Project",
"BotRightHere",
"Bot.mailto:[email protected]",
"botpaidtoclick",
"brandwatch",
"BravoBrian",
"Bropwers",
"Browsezilla",
"c-spider",
"char(32,35)",
"charlotte",
"Click.Bot",
"clipping",
"core-project",
"cyberalert",
"^DA$",
"Daum",
"Deweb",
"Digimarc",
"digout4uagent",
"DnloadMage",
"Doubanbot",
"Download.Demon",
"Download.Devil",
"Download.Wonder",
"DreamPassport",
"DynaWeb",
"e-collector",
"EBM-APPLE",
"EBrowse",
"ecollector",
"edgeio",
"[email protected]",
"Email.Extractor",
"EmailSearch",
"ESurf",
"Eval",
"Exact",
"EXPLOITER",
"FairAd",
"Fake",
"fastlwspider",
"FavOrg",
"Favorites.Sweeper",
"FDM_1",
"FEZhead",
"Firefox.2.0",
"FlickBot",
"flunky",
"Foob",
"Forex",
"Franklin.Locator",
"freefind",
"FreshDownload",
"FSurf",
"Gamespy_Arcade",
"Get",
"Ginxbot",
"glx.?v",
"Go.Zilla",
"Google.Wireless.Transcoder",
"Googlebot-Image",
"^gotit$",
"Green.Research",
"gvfs",
"hack",
"hhjhj@yahoo",
"HomePageSearch",
"HouxouCrawler",
"http.generic",
"HTTPGet",
"HTTPRetriever",
"IBM_Planetwide",
"iGetter",
"Image",
"Image.Stripper",
"Image.Sucker",
"imagefetch",
"iimds_monitor",
"IncyWincy",
"Industry.Program",
"informant",
"InfoTekies",
"Ingelin",
"InstallShield.DigitalWizard",
"Insuran.",
"Intelliseek",
"Internet.Ninja",
"Internet.x",
"Irvine",
"IUPUI.Research.Bot",
"^Java",
"java/",
"Java(tm)",
"JBH.agent",
"Jenny",
"JetB",
"JetC",
"jeteye",
"Kapere",
"KRetrieve",
"ksoap",
"KWebGet",
"Lachesis",
"leacher",
"LeechGet",
"leipzig.de",
"libghttp",
"libwhisker",
"libwww-FM",
"LightningDownload",
"Link",
"Link.Sleuth",
"Linkie",
"LINKS.ARoMATIZED",
"linktiger",
"lmcrawler",
"looksmart",
"lwp-request",
"Mac.Finder",
"Macintosh;.I;.PPC",
"Mail.Sweeper",
"MarcoPolo",
"mark.blonin",
"MarkWatch",
"MaSagool",
"Mass.Downloader",
"mavi",
"MCspider",
"^Memo",
"MEGAUPLOAD",
"MetaProducts.Download.Express",
"Microsoft.Data.Access",
"Missauga",
"Missigua.Locator",
"Missouri.College.Browse",
"mkdb",
"MMMoCrawl",
"Monster",
"Monza.Browser",
"Moreoverbot",
"MOT-MPx220",
"mothra/netscan",
"MovableType",
"Mozi!",
"^Mozilla.*Indy",
"^Mozilla.*NEWT",
"^Mozilla*MSIECrawler",
"Mp3Bot",
"MS.FrontPage",
"MS.?Search",
"MSFrontPage",
"multithreaddb",
"MyFamilyBot",
"MyGetRight",
"NAMEPROTECT",
"NASA.Search",
"nationaldirectory",
"netattache",
"NetCarta",
"Netcraft",
"netprospector",
"NetResearchServer",
"Net.Vampire",
"newLISP",
"NEWT.ActiveX",
"^NG",
"NIPGCrawler",
"Noga",
"nogo",
"Offline.Explorer",
"Offline.Navigator",
"OK.Mozilla",
"Omni",
"OpaL",
"OpenTextSiteCrawler",
"OrangeBot",
"P3P",
"PackRat",
"PagmIEDownload",
"Papa",
"Pars",
"PECL",
"PersonaPilot",
"Persuader",
"PHP",
"PHP.vers",
"PHPot",
"Pige",
"pigs",
"^Ping",
"playstarmusic",
"Port.Huron",
"Program.Shareware",
"Progressive.Download",
"prospector",
"Provider.Protocol.Discover",
"Prozilla",
"PSurf",
"^puf$",
"PushSite",
"PussyCat",
"PuxaRapido",
"QuepasaCreep",
"Radiation",
"RedCarpet",
"RedKernel",
"relevantnoise",
"replacer",
"Rover",
"Rsync",
"RTG30",
".ru)",
"SAPO",
"ScoutOut",
"SearchExpress",
"searchhippo",
"searchterms",
"Second.Street.Research",
"Security.Kol",
"Serious",
"Shai",
"Shiretoko",
"SickleBot",
"sitecheck",
"SiteCrawler",
"Site.Sniper",
"SiteSucker",
"Slurpy.Verifier",
"So-net",
"Spegla",
"Sphider",
"SpiderBot",
"SpiderEngine",
"SpiderView",
"SQ.Webscanner",
"Stamina",
"Stanford",
"studybot",
"sun4m",
"SurfWalker",
"syncrisis",
"TALWinHttpClient",
"tarspider",
"Tcs/1",
"Templeton",
"The.Intraformant",
"TV33_Mercator",
"Twisted.PageGetter",
"UCmore",
"UdmSearch",
"UIowaCrawler",
"UMBC",
"UniversalFeedParser",
"UtilMind",
"URL.Control",
"urldispatcher",
"URLGetFile",
"User-Agent",
"Valid",
"vayala",
"VB_",
"Viewer",
"visibilitygap",
"vobsub",
"vspider",
"wACBHO60",
"W3C",
"w3m",
"WAPT",
"web.by.mail",
"Web.Data.Extractor",
"Web.Downloader",
"Web.Mole",
"Web.Sucker",
"Web2WAP",
"WebaltBot",
"WebCapture",
"webcraft@bea",
"Webclip",
"WebCollector",
"WebCopy",
"WebDav",
"webdevil",
"webdownloader",
"WebEMail",
"Webinator",
"WebFilter",
"WebFountain",
"Webmaster",
"webmole",
"webpic",
"WebPin",
"WebPix",
"WebRipper",
"Website.eXtractor",
"Website.Quester",
"WebSnake",
"websucker",
"webwalk",
"WebWasher",
"WebWeasel",
"WEP.Search.00",
"WeRelateBot",
"Whack",
"WhosTalking",
"window.location",
"Wildsoft.Surfer",
"WinHttpRequest",
"WinHTTrack",
"Winnie.Poh",
"wire",
"wisenutbot",
"WUMPUS",
"Wweb",
"WWW-Collector",
"WWW.Mechanize",
"www.ranks.nl",
"^x$",
"X12R1",
"XGET",
"Y!OASIS",
"YaDirectBot",
"ZBot",
"Zyborg",
"choppy",
"g00g1e",
"seekerspider",
"siclab",
"sqlmap",
"turnit",
"xxxyy",
"youda",
"finder",
"acapbot",
"semalt",
"AITCSRobot",
"Arachnophilia",
"aspider",
"AURESYS",
"BackRub",
"Big Brother",
"BizBot",
"BSpider",
"linklooker",
"SafetyNet Robot",
"CACTVS Chemistry Spider",
"EnigmaBot",
"Checkbot"

 

@Romantv, недостаток функционала так же вреден, как и переизбыточность. Посему, по моему, такие скрипты могут навредить хозяину. Надо банить только вредоносов.

 

этот сплойлер надо еще отобрать

 

@Romantv, я говорил о спойлере, уже всё нашёл.

 

правильно я сделал http://prntscr.com/bhjr6m нет айпи роскомнадзора? мне он сильно мешает

 

@Romantv, а вот тут не рекомендую банить, они могут закрыть доступ с сетей из РФ. Это исполнительный орган! Они действуют после абуз от т.н. "правовредителей", это их обязанность.
Ищи самих вредителей. Лечить надо причину, а не следствие.

 

@nikitalll, я бы даже поставил под сомнение твоё предположение, что РКН отслеживает изменения сайтов и страниц. К ним поступила претензия - они её отработали, забанили сайт и еще несколько до кучи на одном IP (предположительно, в отличие от Гоши, который банит только страницы) , задача выполнена. Это же гос. орган, ему лишняя работа не нужна.
Представь, какими мощностями надо обладать, причем гос. органам, за одну з/п, чтобы отслеживать/мониторить все сайты и страницы по абузам по всей сети. Да и на тех, уже новых, страницах всё может измениться, всё уже может быть урегулировано, истек срок доверенности, или ссылки легальные, а всё знать по правообладанию не их компетенция.
Поступит такая же претензия - опять отработают.
А ситуёвина на самом деле ещё более прикольная. Никто! не проверяет, работают ли ссылки на сами абузные файлы. У меня банили даже анонсы, т.е. просто описание, которое, по сути, является бесплатной рекламой реальных право обладателей.
PS. А с учётом наличия разных синонимайзеров, приходит понимание, что это всё вообще "пыль в глаза": полу идея, полу понимание, полу закон, полу исполнение. Тут надо действовать с другой стороны, но сейчас не об этом.

 

теперь опиши попунктам как и что ты делал, прям чтобы даже я понял и повторил у себя )
спасибо ) как отдавать 404 ботам, как их найти, и вообще в подробностях, ну чтобы сделать
или напиши модуль

 

как по мне херней маетесь) Как будто там лошки сидят, и не вкурсе как обходить бан

 

Новые письма к тебе могут не приходить или не отсылаться, а сразу письма на бан.
Многие абузеры пишут только Гоше, и всё.
Ну не верю я, что РНК будет работать ЗА правовредителей, просто не логично это.
Может ты поставил на новую страницу легальную ссылку или вообще ссылок нет.

Нет, я серьезно, сравниваю подход к работе гос. структуры и коммерческие.

Может я чего то не догоняю, насколько я знаю - у нас банят сайт целиком. Мне РКН обычно пишет так: "В случае непринятия провайдером хостинга и (или) владельцем сайта установленных мер, доступ к сайту будет заблокирован для российских пользователей."

 

не догоняешь

 

Помести в это в первый пост, чтобы не проебалось как всегда

 

А вот если после всех этих манипуляций с доступом РКН и прочие добьются блока всего сайта?Что тогда блочить? Сосать лапу как мишка гамми?

 

@SHANKOR, Сделать SSL сертификат, указать в качестве основного сайта https, а не http — ждать. ПЫСЫ ну и влупить редирект в htaccess с http на https

 

не смог осилить 7 страниц . там что писать в htaccess, то что в 1 сообщении и всё. и только ли им эти ip принадлежат вдруг часть обычных людей не сможет зайти . это никуда не годится если так