Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Закрыть новости в robots.txt

Тема в разделе "Плееры для кино сайтов", создана пользователем Kinoblud, 13 фев 2024.

13.02.24 в 22:55
Kinoblud
14.02.24 в 07:51
fannik
4
2.749
0
Ответить в теме
  1. TopicStarter Overlay
    Kinoblud

    Kinoblud Бывалый

    Регистрация:
    25 июл 2023
    Сообщения:
    439
    Лучших ответов:
    0
    Рейтинги:
    +184 / 46 / -0
    Приветствую всех! Парни подскажите, как закрыть все новости на сайте от поисковиков? Именно новости а не категории.

    User-agent: *
    Disallow: / ???
     
    #1 Kinoblud, 13 фев 2024
  2. msdos

    msdos Посетитель

    Регистрация:
    10 ноя 2023
    Сообщения:
    82
    Лучших ответов:
    0
    Рейтинги:
    +26 / 3 / -0
    Часто поисковики все равно парсят странице тот же гугл закинуть может в индекс с формулировкой "Проиндексировано несмотря на блокировку в robots.txt " а яндекс будь он не ладен несмотря на блок в robots.txt все равно просканирует страницу и правообладателям скинет а те уже шлюи dmca и страница становится удалена по DMCA а в статистике гугл попадает в "URL нет в индексе" по моему опыту самый надежный способ прямо можешь в showfull закинуть функции проверки user-agent ботов и в случае совпадения просто 403 выдавать и завершать скрипт
     
    #2 msdos, 13 фев 2024
  3. zaratu

    zaratu Новичок

    Регистрация:
    7 окт 2016
    Сообщения:
    31
    Лучших ответов:
    0
    Рейтинги:
    +9 / 0 / -0
    [aviable=showfull]<meta name="robots" content="noindex,nofollow" />[/aviable]
     
    #3 zaratu, 13 фев 2024
    • Нравится Нравится x 1
    • Согласен Согласен x 1
  4. TopicStarter Overlay
    Kinoblud

    Kinoblud Бывалый

    Регистрация:
    25 июл 2023
    Сообщения:
    439
    Лучших ответов:
    0
    Рейтинги:
    +184 / 46 / -0
    Это в каком файле прописать?
     
    #4 Kinoblud, 13 фев 2024
  5. fannik

    fannik Бывалый

    Регистрация:
    28 дек 2016
    Сообщения:
    112
    Лучших ответов:
    0
    Рейтинги:
    +44 / 5 / -0
    в main.tpl в <head>
     
    #5 fannik, 14 фев 2024
    • Нравится Нравится x 1
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)
Похожие темы
  1. Расим

    Robots.txt или как правильно?

    Расим, 21 окт 2015, в разделе: Свободное общение
    Ответов:
    28
    Просмотров:
    5.454
    Doktormgdn
    12 дек 2015
  2. ExScorpio

    Проблемы с robots.txt

    ExScorpio, 25 окт 2016, в разделе: Яндекс
    Ответов:
    20
    Просмотров:
    3.440
    Sland
    29 ноя 2016
Загрузка...
Переключить ширину
Стиль
Zerocool-New
Язык
Russian (RU)
Яндекс.Метрика