Приветствую всех! Парни подскажите, как закрыть все новости на сайте от поисковиков? Именно новости а не категории. User-agent: * Disallow: / ???
Часто поисковики все равно парсят странице тот же гугл закинуть может в индекс с формулировкой "Проиндексировано несмотря на блокировку в robots.txt " а яндекс будь он не ладен несмотря на блок в robots.txt все равно просканирует страницу и правообладателям скинет а те уже шлюи dmca и страница становится удалена по DMCA а в статистике гугл попадает в "URL нет в индексе" по моему опыту самый надежный способ прямо можешь в showfull закинуть функции проверки user-agent ботов и в случае совпадения просто 403 выдавать и завершать скрипт
