Правильный robots.txt для datalife engine

Это чтобы мусорные навигационные страницы не индексировались.

 

PunPun а со страницы узеров можно траф собирать ?

 

Самый дибильнейшей роботс, который я когда либо видел на ДЛЕ, приведите хоть пару тройку сайтов с топа, у которых такой чудо-роботс?
Извините за наглость, но всё же спрошу, а на какой ляд индексировать например:
/language/
/templates/
/upgrade/
/user/ - который засрут ссылками прогонщики
/backup/
/*print - который создаст те же дубли. только якобы для принтерной версии сайта

Это всё нужно в поиске? В этот список еще могу смело добавить 7-10 строк, которые не скрыты в вашем роботсе

 

это без комментариев))) Вы еще расскажите мне, что /user/ и /*print тоже в поиск не попадут
Но перед тем как создавать подобные темы и учить кого то, разберитесь в этом сами
А я пожалуй промолчу и не буду критиковать больше ваш роботс, а то вы входите в команду форума, а то я сейчас и другие моменты добавлю, даже хотя бы обращение к яндексу через User-agent: Yandex, которое должно быть прописано. Пожалуй разговор закрыт) Вам видней, ваш роботс правильный)

 

Мой "идеальный" вариант robots.txt

Код:

User-agent: *
Allow: /*.js
Allow: /*.css
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/
Disallow: /engine/*
Disallow: */page/*/
Disallow: */page/
Disallow: /user/*
Disallow: /lastnews/*
Disallow: /catalog/*
Disallow: /newposts/*
Disallow: /favorites/
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /index.php?do=*
Disallow: /*print
Disallow: /*print:*
Disallow: /*rss.xml
Disallow: /addnews.html
Disallow: /favorites/

User-agent: Yandex
Allow: /*.js
Allow: /*.css
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/
Disallow: /engine/*
Disallow: */page/*/
Disallow: */page/
Disallow: /user/*
Disallow: /lastnews/*
Disallow: /catalog/*
Disallow: /newposts/*
Disallow: /favorites/
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /index.php?do=*
Disallow: /*print
Disallow: /*print:*
Disallow: /*rss.xml
Disallow: /addnews.html
Disallow: /favorites/

User-agent: Googlebot
Allow: /*.js
Allow: /*.css
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/
Disallow: /engine/*
Disallow: */page/*/
Disallow: */page/
Disallow: /user/*
Disallow: /lastnews/*
Disallow: /catalog/*
Disallow: /newposts/*
Disallow: /favorites/
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /index.php?do=*
Disallow: /*print
Disallow: /*print:*
Disallow: /*rss.xml
Disallow: /addnews.html
Disallow: /favorites/

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

 

Ясненько)))
И раз уж на то пошло, user - это не папка, а директория по которой создаются пользователи, которые размещают в поле о себе ссылки на свои сайты. А принт это обыкновенный дубли ваших текстов, которые вы даже не удосужились закрыть... и причем тут "юзерам нет входа"?
Господи, не позорьтесь лучше, вы команда форума, вы хоть это знать должны
Больше ничего не напишу в этом теме... всех благ

 

Кто нибудь напишет идеальный роботс в этом веке?

 

Burial нет !

 

Иногда лучше промолчать, если не уверен на все 100% в том что пишешь!
Страницы юзеров, пагинация и т.п. второстепенные страницы хорошо закрываются метатегом ноиндекс.

 

ага))) особенно для гугла noindex самое то)))

а чего вы кстати поредактировали сообщения PunPana, в которых он меня оскорбляет?) или он сам решил не позорится больше?

Кстати кстати кстати, только сейчас заметил, что роботс который в самом первом посте от PunPun - координально изменен и приведен в более менее нормальный и умный вариант... Где же исходный вариант уважаемый PunPun, который считался правильным? А то люди заходят и не понимают в чем собственно весь этот срач заключается... решили так выкрутится и меня в дураки выставить? Вы извинится случайно не хотите?

 

для гугла никто не отменял роботс:

Код:

<meta name="robots" content="noindex,nofollow" />

или

Код:

<meta name="robots" content="noindex,follow" />

тема подчищена! Продолжите в данном разделе подобное общение - оба инициатора получат РО на сутки!

 

Да просто на многих форумах за подобные высказывания штрафуют и кидают предупреждение, не понимаю почему у вас не так, ведь вы являетесь лидирующем форумом по киносайтам... просто тема подчищается и не наказывается нарушитель, ведь у вас в правилах написано - запрещено использовать оскорбительные выражения, в итоге я был и балаболом и тупицей и тд... а ТС тему просто поправил пост и я в дураках, не очень то и приятно
я конечно всё понимаю, что я новичок... но всё же

 

GUEVARA брань не приветствуется нигде! Сообщения подтерты! Все наезды что были - не по теме и они удалены! Первое сообщение отредактировано - это уже другой вопрос. Первый вариант файла был правильным, добавлять его новыми строками было не обязательно, но раз уж ТС решил так сделать - то пускай так и остается.