Robots.txt или как правильно?

Code:

{header}

 

Почему никто не скажет ТС, что первое правило блокирует доступ ко всему сайту или к тем разделам, которые не указаны в директиве Allow? Или это я что-то не вкуриваю?

 

Перечитал мануал, закинул роботс на сайт и проверил в яндекс вебмастере - в таком виде роботс запрещает доступ ко всем страницам сайта без директивы Allow. Если автор будет использовать такой вид роботса, то могу пожелать только удачи, чтобы яндекс проигнорировал его. В рабочем варианте выше

Code:

Disallow: /

нужно дописать:

Code:

Allow: /

или просто убрать Disallow: /

Тогда будут разрешены для индексации все страницы, кроме тех, что указаны в Disallow:

 

причем тут категории ?)

 

мне тоже интересно нужно не нужно
К примеру, в них есть актеры, года, страны. По ключивикам к примеру по актерам (если я конечно не ошибаюсь) можно рвать по немного трафа. Опять же нельзя менять тайтлы и описание что является не очень хорошо.

Ну опять же я могу что то не понимать я только начал "узнавать" все это поэтому собсна сам и интересуюсь.