Обсуждение Помогите настроить файл robots.txt

[Superwanget]

Я знаю, что было много тем, но конкретного ответа я так и не нашел, мой файл роботс выглядит так, что нужно добавить или убрать? В файле присутствует hosts, просто не хочу палить сайт пока что) Буду рад адекватным ответам, спасибо.


User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /addnews
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

 

[doNoth1ng]

Ну это все индивидуально... убери из роботс те dissalow, которые не нужны и добавь те страницы, которые нужны. Все очевидно и просто. Тут нет шаблона..
Например добавь карту сайта, так же можешь запретить индексацию страниц (/page/2/, page/3/), если есть не нужные страницы для ПС типо (правообладателям, реклама на нашем сайте и т.д.) то тоже можешь смело их закрыть.
Думать ты уловил о чем речь.

 

[Karabas Barabas]

Ставь don bot от алаича http://alaev.info/blog/post/4481 и в роботс оставить только

User-agent: *
Disallow: /engine/
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

ну и хост и сайт мап добавить ещё.