Robots.txt или как правильно?

Сейчас мой файл роботс выклядит вот так

Code:

User-agent: *
Disallow: /
Disallow: /user/
Disallow: /favorites/
Disallow: /tags/
Disallow: /backup/
Disallow: /language/
Disallow: /admin.php
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /engine/go.php
Disallow: /abuse.html
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /blocks/
Disallow: */page/*
Disallow: /page*
Disallow: /index.php?do=orderdesc*
Disallow: /playlists/*
Disallow: /xfsearch/*
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Правильно ли я закрыл доп.поля страницы пагинации и тп?
Исправьте,и меня интересуют ваши мнения о правильном роботс
И стоит ли покупать ДОНБОТ от Алаича?
П.СЫ. Ссылки на разные блоги,алаича и тп не надо

 

На мой взгляд нормальный роботс.
Вот какой идеальный роботс должен быть, так считает АЛЫЧ
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

 

не спорю с АЛЫЧ и его мнение не оспариваю.но мое субъективное мнение,этот роботс не годится. возьмем к прмеру первый попавшейся сайт,смотрим в яндексе http://prntscr.com/8tuis7 видим дубли главной странице,и также категорий http://prntscr.com/8tujg1 а потом бывают вопросу почему нет трафа. так же и в гугле

 

верху робот нормальный. хотя я сделал проще
в манин
[not-aviable=showfull|cat|main]
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
[/not-aviable]

[aviable=main|cat][not-group=1]

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
[/not-group][/aviable]
</head>

 

А кто посоветует роботс по лучше?

 

@Расим, Главное забыл: Disallow: /*do=search

 

Такая же беда

 

Спасибо исправил

 

robots.txt может быть проигнорирован ПС. Лучше использовать meta robots

 

Donbot от алаича в помощь+он удобен
500р на алаич стор

 

На счет meta закрытия других страниц, то тут вам решать, ведь вы можете превратить некоторые из них в свою пользу. Обычно я использую такую конструкцию :

Code:

{include file='engine/modules/donbot.php?tag=nofollow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags,xfsearch,catalog,mainp'}
{include file='engine/modules/donbot.php?tag=follow&pages=pages,catp'}

То есть так без модуля

Code:

[aviable=addnews|feedback|lostpassword|register|rules|stats|search|pm|favorites|newposts|lastnews|lastcomments|date|userinfo|allnews|alltags|tags|xfsearch|catalog]
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
[/aviable]
[aviable=cat|main]
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"/>
[/aviable]

 

Ну да, только туда.