Обсуждение Закрывать тексты в коротких новостях?

[Karabas Barabas]

А чем все закрытое в robots.txt хуже? Чем модули ставить лишние.

Чем меньше роботс, тем лучше. ХЗ, обосновать не могу, но много читал про это.

 

[PunPun]

А чем все закрытое в robots.txt хуже? Чем модули ставить лишние.

robots.txt может быть проигнорирован пс.

 

[Dron_Vegas]

Плюс robots не защитит от индексации, если бот найдет ссылку на страницу из других источников, кроме самого сайта. Будет потом висеть в выдаче станица описание которой отсутствует или закрыто в robots.txt ))

 

[Driple]

Плюс robots не защитит от индексации, если бот найдет ссылку на страницу из других источников, кроме самого сайта. Будет потом висеть в выдаче станица описание которой отсутствует или закрыто в robots.txt ))

вот это поддерживаю на 100%, у меня на дроп стока сцуко ссылок старых, как бы я их не закрывал в robots