Правильный robots.txt для datalife engine

Это тоже наверно не помешало бы закрыть Disallow: /tags/
или я ошибаюсь?

 

User-agent: *
Allow: /engine/classes/min/*
Allow: /engine/data/emoticons/*
Disallow: /engine/
Disallow: */?*
Host: *****.net
Sitemap: http://*****.net/sitemap.xml

роботс гугл игнорит, если ссылки на эти им закрытые страницы есть (внутренние тоже), так что бестолковка
донбот рулит ) или гама хак

 

привет ребят. что скажите насчёт такого варианта? актуально ли для dle 14.0?

Код:

User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: */edit/
Disallow: */play/
Disallow: /tags/
Disallow: /newposts/*
Disallow: /lastnews/*
Disallow: /catalog/*
Disallow: /favorites/
Disallow: /xfsearch/
Disallow: /2020/
Disallow: /2021/
Disallow: /2022/
Disallow: /2023/
Disallow: */page/*/
Disallow: */page/
Disallow: /*print
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /contacts.html
Disallow: /faq.html
Disallow: /about-project.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /for-rights-holders.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=download
Disallow: /*do=go
Host: https://site.as/

User-agent: AhrefsBot
User-agent: moget
User-agent: ichiro
User-agent: NaverBot
User-agent: Yeti
User-agent: Baiduspider
User-agent: Baiduspider-video
User-agent: Baiduspider-image
User-agent: sogou spider
User-agent: YoudaoBot
User-agent: Yahoo Pipes 1.0
User-agent: Yahoo Pipes 2.0

Disallow: /edit/ это для site.as/user/nickname/edit/
Disallow: это для site.as/ссылка на полную новость.html/play/

жирным выделил страницы, которых нет в стандартной DLE;

 

Забей на это дело. Роботы всё равно все страницы обходят, как не закрывай. Работай над контентом лучше.

 

да нет, яндекс слушается, даже проверить можно, доступен ли адрес на сканирование или нет. пока из того, что есть не попадало в выдачу ПС будучи запрещённым в файле. тестировал этот конфиг на прежнем сайте. сейчас да, нужно добавлять контент...

 

Всем доброго времени суток. Есть такой вопрос. В Яндекс Вебмастер индексирует ссылки к примеру /35-programma-avisobot.html это всё норм но так же в индексацию попадают страницы с id новости /35

при переходе на которые сообщение

Внимание! Обнаружена ошибка
По данному адресу публикаций на сайте не найдено, либо у Вас нет доступа для просмотра информации по данному адресу.

Как их запретить индексировать?

 

нужно искать откуда идут такие ссылки и исправлять их, а вообще в в DLE нет таких страниц /ID-news.html или /ID-news/.

 

Имело ввиду id-news как число, т.е. число.хтмл нет таких страниц если только это не стачиская страница с ЧПУ цифрами

 

Уважаемые скажите пожалуйста а что
/page/ нужно в robots.txt скрывать?
По ним у меня не плохой трафик! Или потом поиск посчитать их дублями? Объясните пожалуйста...

 

В первом сообщении написано же, читай внимательнее.
Трафик неплохой, потому что главную сносят? Оставляй если есть трафик, это все субъективщина и такого роботса нет в DLE из коробки.

 

Короче знаний нет особо. Сделал так. Если что Пните пожалуйста

User-agent: *
Allow: /*.js
Allow: /*.css
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons
Disallow: /engine/*
Disallow: /user/*
Disallow: /favorites/
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*download
Disallow: /?do=*
Disallow: /index.php?do=*
Disallow: /*print
Disallow: /*print:*
Disallow: /*search-torrents

User-agent: Yandex
Allow: /*.js
Allow: /*.css
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons
Disallow: /engine/*
Disallow: /user/*
Disallow: /favorites/
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*download
Disallow: /?do=*
Disallow: /index.php?do=*
Disallow: /*print
Disallow: /*print:*
Disallow: /*search-torrents

User-agent: Googlebot
Allow: /*.js
Allow: /*.css
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons
Disallow: /engine/*
Disallow: /user/*
Disallow: /favorites/
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*download
Disallow: /?do=*
Disallow: /index.php?do=*
Disallow: /*print
Disallow: /*print:*
Disallow: /*search-torrents

Host: site.ru
Sitemap: https://site.ru/sitemap.xml

 

А зачем отдельно повторять для Яндекса и Гугла ? Там же всё то же самое. Смысл был бы, если бы для них были отдельные правила (одному заблочить что-то, другому разрешить индексировать).

 

Вы правы!