Все какие-то проблемы у меня. Сейчас в роботс такая тема: Spoiler User-agent: * Host: site.ru Sitemap: http://site.ru/sitemap.xml Disallow: /backup/ Disallow: /engine/go.php Disallow: /user/ Disallow: /newposts/ Disallow: /lastnews/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*do=search Disallow: /admin.php* Disallow: /2016/ Disallow: */page/* Disallow: /page* Disallow: /?* Disallow: /find/* Гугл вроде норм индексирует, но и лишнее тоже, яндекс же пишет, что Сайт закрыт к индексации в файле robots.txt вообще хотел сделать, чтобы индексировались только главная, категории и новости делал так: [not-aviable=showfull|cat|main]<meta name="robots" content="noindex,nofollow">[/not-aviable] [not-page-count=1]<meta name="robots" content="noindex,nofollow">[/not-page-count] но все равно индексировались теги и прочая шелупонь. и в донботе такая тема: Spoiler {include file='engine/modules/donbot.php?tag=nofollow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags,xfsearch,catalog'} {include file='engine/modules/donbot.php?tag=follow&pages=pages,mainp,catp'} в чем проблема может быть?
1. поставь донбот http://alaev.info/blog/post/4481 у меня прописано так в майне - {include file='engine/modules/donbot.php?tag=follow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags,mainp,catp'} 2. после выполнения первого пункта пропиши в роботсе так - User-agent: * Allow: /engine/classes/min/* Allow: /engine/data/emoticons/* Disallow: /engine/ Host: сайт.ру Sitemap: http://сайт.ру/sitemap.xml и будет тебе счастье, не будешь говорить - эх.... ))))
о сорь, не заметил что донбот стоит уже, не все дочитал в общем вот так пропиши как я выше написал, и все будет нормуль, не насилуй мозг себе
а вот это убрать ? Spoiler [not-aviable=showfull|cat|main]<meta name="robots" content="noindex,nofollow">[/not-aviable] [not-page-count=1]<meta name="robots" content="noindex,nofollow">[/not-page-count]
убирай, это все донбот делает зачем себе геморой придумывать если донбот все делает двумя кликами мышки и без головняков типа думать че прикрыть че не прикрыть
куда смотреть ? ))) я хз че ты и как там делаешь, я не ясновидящий, да и не консультант, совет дал дальше ипитесь сами сэр )
Напишу тут же, как закрыть вот эти ссылки без потери веса ( и вообще стоит ли их закрывать? это авторизация через соц.сети на сайте ) скрин
он не нужен [not-aviable=showfull|cat|main] <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/> [/not-aviable] [aviable=main|cat][page-count=1] <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"/> <META NAME="REVISIT-AFTER" CONTENT="1 DAYS"/> [/page-count][/aviable] и в файле engine.php пропиши HTML; if ( (intval($_GET['cstart']) > 1 )) $metatags .= <<<HTML \n<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/> HTML; if($dle_module=='main' OR $dle_module=='cat'){ $property_url = $url_page . "/"; $metatags .= <<<HTML \n <link rel="canonical" href="{$property_url}"/> HTML; } if($dle_module=='showfull' ){ $property_url = $url_page . "/"; $metatags .= <<<HTML \n <link rel="canonical" href="{$full_link}"/> HTML; } if ( $dle_module == 'showfull') $metatags .= <<<HTML \n <META NAME= "ROBOTS" CONTENT= "INDEX,FOLLOW"/> <META NAME="REVISIT-AFTER" CONTENT="1 DAYS"/> HTML; if ($config['allow_rss']) $metatags .= <<<HTML HTML;
