Обсуждение Robots.txt или как правильно?

[PunPun]

а после какой строчки этот код нужно вставить?

{header}

 

[CyberPsy]

Сейчас мой файл роботс выклядит вот так

User-agent: *
Disallow: /

Почему никто не скажет ТС, что первое правило блокирует доступ ко всему сайту или к тем разделам, которые не указаны в директиве Allow? Или это я что-то не вкуриваю?😵

 

[Olegjan]

@CyberPsy, получается что так.

 

[CyberPsy]

@CyberPsy, получается что так.

Перечитал мануал, закинул роботс на сайт и проверил в яндекс вебмастере - в таком виде роботс запрещает доступ ко всем страницам сайта без директивы Allow. Если автор будет использовать такой вид роботса, то могу пожелать только удачи, чтобы яндекс проигнорировал его. В рабочем варианте выше

Disallow: /

нужно дописать:

Allow: /

или просто убрать Disallow: /

Тогда будут разрешены для индексации все страницы, кроме тех, что указаны в Disallow:

 

[Uralbox]

Ну у кого какое мнение? Стоит закрывать категории от индексации или всё же нет!? Может дажу у кого опыт есть по этому поводу? Давайте порасуждаем..

 

[pouf]

Ну у кого какое мнение? Стоит закрывать категории от индексации или всё же нет!? Может дажу у кого опыт есть по этому поводу? Давайте порасуждаем..

причем тут категории ?)

 

[Uralbox]

причем тут категории ?)

Извеняюсь, голова за день уж совсем забита. Страницы пагинации

 

[pouf]

Извеняюсь, голова за день уж совсем забита. Страницы пагинации

мне тоже интересно нужно не нужно 😀
К примеру, в них есть актеры, года, страны. По ключивикам к примеру по актерам (если я конечно не ошибаюсь) можно рвать по немного трафа. Опять же нельзя менять тайтлы и описание что является не очень хорошо.

Ну опять же я могу что то не понимать я только начал "узнавать" все это поэтому собсна сам и интересуюсь.

 

[Doktormgdn]

А вы к страницам актеров готовы писать/заказывать уникальные описания? Нет? Тогда зачем Вам куча неуникального контента на сайте? 😉