Обсуждение Помогите отредактировать robots.txt

[Fant13k]

Здравствуйте. Знаю что скорее всего на форуме где-то есть подобная тема, но честно сказать я пересмотрел разделы Яндекс и Google но не нашел ответа на свой вопрос. Подскажите как правильно составить robots для Яндекса и Гугла.

Спойлер: Мой robots

User-agent: *
Disallow: /year/
Disallow: /country/
Disallow: /produce/
Disallow: /actors/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: */page/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

 

[crank]

У каждого по своему

Спойлер: Можно так

User-agent: Yandex
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: са-йт.ru

User-agent: *
Disallow: /backup/
Disallow: /user/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html

Sitemap: http://са-йт.ru/sitemap.xml

 

[Den]

User-agent: *

Означает, что эти правила действуют для всех роботов.
Для яндекса можешь добавить внизу главное зеркало и ссылку на карту сайта:

Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml

 

[doz]

User-agent: *
Disallow: /engine/
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

остальное закрывается метатегом.

 

[Fant13k]

Спасибо всем. @doz, можно по подробнее о метатеге?

 

[Fant13k]

Модуль от Gameer NoIndex подойдет для этого?

 

[Uralbox]

Модуль от Gameer NoIndex подойдет для этого?

Конечно, 100%

 

[Fant13k]

Еще один вопрос, не хочу создавать отдельно тему.
Подскажите какова частотность ВЧ, СЧ, НЧ для киносайта.