Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Правильный robots.txt для datalife engine

Тема в разделе "Хаки DLE", создана пользователем PunPun, 1 авг 2017.

01.08.17 в 19:45
22.05.23 в 14:29
33
12.397
2
  1. morefilms

    PRO Users

    Регистрация:
    19 дек 2015
    Сообщения:
    145
    Лучших ответов:
    2
    Рейтинги:
    +25 / 8 / -0
    Это тоже наверно не помешало бы закрыть Disallow: /tags/
    или я ошибаюсь?
     
  2. aeneas

    Забанен

    Регистрация:
    12 мар 2016
    Сообщения:
    11.489
    Лучших ответов:
    10
    Рейтинги:
    +4.043 / 208 / -0
    User-agent: *
    Allow: /engine/classes/min/*
    Allow: /engine/data/emoticons/*
    Disallow: /engine/
    Disallow: */?*
    Host: *****.net
    Sitemap: http://*****.net/sitemap.xml

    роботс гугл игнорит, если ссылки на эти им закрытые страницы есть (внутренние тоже), так что бестолковка
    донбот рулит ) или гама хак
     
    #22 aeneas, 9 окт 2017
    Последнее редактирование: 11 окт 2017
    • Нравится Нравится x 1
  3. deadluk

    deadluk Зелёный

    Регистрация:
    6 апр 2019
    Сообщения:
    9
    Лучших ответов:
    0
    Рейтинги:
    +2 / 0 / -0
    привет ребят. что скажите насчёт такого варианта? актуально ли для dle 14.0?

    Код:
    User-agent: *
    Allow: /uploads/posts/
    Disallow: /engine/go.php
    Disallow: /user/
    Disallow: */edit/
    Disallow: */play/
    Disallow: /tags/
    Disallow: /newposts/*
    Disallow: /lastnews/*
    Disallow: /catalog/*
    Disallow: /favorites/
    Disallow: /xfsearch/
    Disallow: /2020/
    Disallow: /2021/
    Disallow: /2022/
    Disallow: /2023/
    Disallow: */page/*/
    Disallow: */page/
    Disallow: /*print
    Disallow: /addnews.html
    Disallow: /statistics.html
    Disallow: /contacts.html
    Disallow: /faq.html
    Disallow: /about-project.html
    Disallow: /rules.html
    Disallow: /dle-rules-page.html
    Disallow: /for-rights-holders.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search
    Disallow: /*do=download
    Disallow: /*do=go
    Host: https://site.as/
    
    User-agent: AhrefsBot
    User-agent: moget
    User-agent: ichiro
    User-agent: NaverBot
    User-agent: Yeti
    User-agent: Baiduspider
    User-agent: Baiduspider-video
    User-agent: Baiduspider-image
    User-agent: sogou spider
    User-agent: YoudaoBot
    User-agent: Yahoo Pipes 1.0
    User-agent: Yahoo Pipes 2.0
    Disallow: /edit/ это для site.as/user/nickname/edit/
    Disallow: это для site.as/ссылка на полную новость.html/play/

    жирным выделил страницы, которых нет в стандартной DLE;
     
    #23 deadluk, 6 авг 2020
    Последнее редактирование: 6 авг 2020
    • Не согласен Не согласен x 1
  4. Burial

    Burial Местный

    Регистрация:
    30 сен 2015
    Сообщения:
    1.901
    Лучших ответов:
    2
    Рейтинги:
    +444 / 70 / -0
    Забей на это дело. Роботы всё равно все страницы обходят, как не закрывай. Работай над контентом лучше.
     
  5. deadluk

    deadluk Зелёный

    Регистрация:
    6 апр 2019
    Сообщения:
    9
    Лучших ответов:
    0
    Рейтинги:
    +2 / 0 / -0
    да нет, яндекс слушается, даже проверить можно, доступен ли адрес на сканирование или нет. пока из того, что есть не попадало в выдачу ПС будучи запрещённым в файле. тестировал этот конфиг на прежнем сайте. сейчас да, нужно добавлять контент...
     
    • Нравится Нравится x 1
    • Не согласен Не согласен x 1
  6. Juris

    Juris Зелёный

    Регистрация:
    3 май 2023
    Сообщения:
    1
    Лучших ответов:
    0
    Рейтинги:
    +0 / 0 / -0
    Всем доброго времени суток. Есть такой вопрос. В Яндекс Вебмастер индексирует ссылки к примеру /35-programma-avisobot.html это всё норм но так же в индексацию попадают страницы с id новости /35

    при переходе на которые сообщение

    Внимание! Обнаружена ошибка
    По данному адресу публикаций на сайте не найдено, либо у Вас нет доступа для просмотра информации по данному адресу.

    Как их запретить индексировать?
     
  7. byroot

    Забанен

    Регистрация:
    10 окт 2015
    Сообщения:
    12.297
    Лучших ответов:
    54
    Рейтинги:
    +5.204 / 74 / -0
    нужно искать откуда идут такие ссылки и исправлять их, а вообще в в DLE нет таких страниц /ID-news.html или /ID-news/.
     
  8. dr.gopher

    Команда форума VIP Кинотрафик v2

    Регистрация:
    26 июн 2015
    Сообщения:
    1.546
    Лучших ответов:
    8
    Рейтинги:
    +444 / 44 / -0
    Странно, почему на твоем сайте вот так

    Код:
    https://byroot.ru/157-poleznye-napominalki.html
    )))
     
    • Нравится Нравится x 1
  9. byroot

    Забанен

    Регистрация:
    10 окт 2015
    Сообщения:
    12.297
    Лучших ответов:
    54
    Рейтинги:
    +5.204 / 74 / -0
    Имело ввиду id-news как число, т.е. число.хтмл нет таких страниц если только это не стачиская страница с ЧПУ цифрами
     
    • Согласен Согласен x 1
  10. Primes007

    Primes007 Бывалый

    Регистрация:
    13 май 2020
    Сообщения:
    106
    Лучших ответов:
    0
    Рейтинги:
    +10 / 2 / -0
    Уважаемые скажите пожалуйста а что
    /page/ нужно в robots.txt скрывать?
    По ним у меня не плохой трафик! Или потом поиск посчитать их дублями? Объясните пожалуйста...
     
  11. 1080p

    1080p Местный

    Регистрация:
    20 окт 2020
    Сообщения:
    1.477
    Лучших ответов:
    3
    Рейтинги:
    +591 / 168 / -0
    В первом сообщении написано же, читай внимательнее.
    Трафик неплохой, потому что главную сносят? Оставляй если есть трафик, это все субъективщина и такого роботса нет в DLE из коробки.
     
  12. Primes007

    Primes007 Бывалый

    Регистрация:
    13 май 2020
    Сообщения:
    106
    Лучших ответов:
    0
    Рейтинги:
    +10 / 2 / -0
    Короче знаний нет особо. Сделал так. Если что Пните пожалуйста

    User-agent: *
    Allow: /*.js
    Allow: /*.css
    Allow: /engine/classes/js/
    Allow: /engine/classes/min/index.php
    Allow: /engine/data/emoticons
    Disallow: /engine/*
    Disallow: /user/*
    Disallow: /favorites/
    Disallow: /rules.html
    Disallow: /statistics.html
    Disallow: /addnews.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search
    Disallow: /*download
    Disallow: /?do=*
    Disallow: /index.php?do=*
    Disallow: /*print
    Disallow: /*print:*
    Disallow: /*search-torrents

    User-agent: Yandex
    Allow: /*.js
    Allow: /*.css
    Allow: /engine/classes/js/
    Allow: /engine/classes/min/index.php
    Allow: /engine/data/emoticons
    Disallow: /engine/*
    Disallow: /user/*
    Disallow: /favorites/
    Disallow: /rules.html
    Disallow: /statistics.html
    Disallow: /addnews.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search
    Disallow: /*download
    Disallow: /?do=*
    Disallow: /index.php?do=*
    Disallow: /*print
    Disallow: /*print:*
    Disallow: /*search-torrents

    User-agent: Googlebot
    Allow: /*.js
    Allow: /*.css
    Allow: /engine/classes/js/
    Allow: /engine/classes/min/index.php
    Allow: /engine/data/emoticons
    Disallow: /engine/*
    Disallow: /user/*
    Disallow: /favorites/
    Disallow: /rules.html
    Disallow: /statistics.html
    Disallow: /addnews.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search
    Disallow: /*download
    Disallow: /?do=*
    Disallow: /index.php?do=*
    Disallow: /*print
    Disallow: /*print:*
    Disallow: /*search-torrents

    Host: site.ru
    Sitemap: https://site.ru/sitemap.xml
     
  13. Karambole

    PRO Users

    Регистрация:
    7 апр 2016
    Сообщения:
    531
    Лучших ответов:
    1
    Рейтинги:
    +299 / 106 / -0
    А зачем отдельно повторять для Яндекса и Гугла ? Там же всё то же самое. Смысл был бы, если бы для них были отдельные правила (одному заблочить что-то, другому разрешить индексировать).
     
  14. Primes007

    Primes007 Бывалый

    Регистрация:
    13 май 2020
    Сообщения:
    106
    Лучших ответов:
    0
    Рейтинги:
    +10 / 2 / -0
    Вы правы!
     
Похожие темы
  1. geony
    Ответов:
    25
    Просмотров:
    5.820
  2. ZerocooL
    Ответов:
    679
    Просмотров:
    76.690
  3. PunPun
    Ответов:
    27
    Просмотров:
    12.852
  4. PunPun
    Ответов:
    12
    Просмотров:
    3.596
Загрузка...
Яндекс.Метрика