Обсуждение Robots.txt или как правильно?

[Расим]

Сейчас мой файл роботс выклядит вот так

User-agent: *
Disallow: /
Disallow: /user/
Disallow: /favorites/
Disallow: /tags/
Disallow: /backup/
Disallow: /language/
Disallow: /admin.php
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /engine/go.php
Disallow: /abuse.html
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /blocks/
Disallow: */page/*
Disallow: /page*
Disallow: /index.php?do=orderdesc*
Disallow: /playlists/*
Disallow: /xfsearch/*
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Правильно ли я закрыл доп.поля страницы пагинации и тп?
Исправьте,и меня интересуют ваши мнения о правильном роботс
И стоит ли покупать ДОНБОТ от Алаича?
П.СЫ. Ссылки на разные блоги,алаича и тп не надо

 

[KinoFex]

На мой взгляд нормальный роботс.
Вот какой идеальный роботс должен быть, так считает АЛЫЧ
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

 

[Romantv]

не спорю с АЛЫЧ и его мнение не оспариваю.но мое субъективное мнение,этот роботс не годится. возьмем к прмеру первый попавшейся сайт,смотрим в яндексе http://prntscr.com/8tuis7 видим дубли главной странице,и также категорий http://prntscr.com/8tujg1 а потом бывают вопросу почему нет трафа. так же и в гугле

 

[Doktormgdn]

Кстати тоже давно терзает вопрос, а может закрыть от индексации категории? Чтобы в итоге только главная и контент индексировались. И как это правильно сделать? Хотя может я и гоню 😀

 

[Romantv]

верху робот нормальный. хотя я сделал проще
в манин
[not-aviable=showfull|cat|main]
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
[/not-aviable]

[aviable=main|cat][not-group=1]

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
[/not-group][/aviable]
</head>

 

[Расим]

А кто посоветует роботс по лучше?

 

[FOX]

@Расим, Главное забыл: Disallow: /*do=search

 

[Doktormgdn]

А у меня Гугл сожрал все включая папку /tags/ которая естесственно закрыта в роботсе. И написал типа дескрипшена нет так как эта страница закрыта в файле роботс, но страницы то он проиндексировал.

 

[Den]

Правильно ли я закрыл доп.поля страницы пагинации и тп?

Корректность правил можно проверить в явебмастере.

но страницы то он проиндексировал.

Проиндексировал или посетил? 🙂

 

[Расим]

А у меня Гугл сожрал все включая папку /tags/ которая естесственно закрыта в роботсе. И написал типа дескрипшена нет так как эта страница закрыта в файле роботс, но страницы то он проиндексировал.

Такая же беда

 

[Расим]

@Расим, Главное забыл: Disallow: /*do=search

Спасибо исправил

 

[Doktormgdn]

@- Den -, короч RDS bar пишет - количество страниц сайта в Google: 142 (0%)
Ну и по команде "site:mysite.ru/&" выдает все страницы сайта включая те что закрыты от индексировпния в роботсе.
Я вот думаю по хорошему и категории бы закрыть нафиг. Кто может подсказать действенный способ? Заранее спасибо.

 

[PunPun]

robots.txt может быть проигнорирован ПС. Лучше использовать meta robots

 

[Doktormgdn]

@Gameer, а поподробнее можешь показать что куда писать? Думаю здесь это многим будет полезно.

 

[Расим]

@Gameer, а поподробнее можешь показать что куда писать? Думаю здесь это многим будет полезно.

Donbot от алаича в помощь+он удобен
500р на алаич стор

 

[Doktormgdn]

Так метатэги Я и руками пропишу, а на 500 рублей контента прикуплю.

 

[PunPun]

На счет meta закрытия других страниц, то тут вам решать, ведь вы можете превратить некоторые из них в свою пользу. Обычно я использую такую конструкцию :

{include file='engine/modules/donbot.php?tag=nofollow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags,xfsearch,catalog,mainp'}
{include file='engine/modules/donbot.php?tag=follow&pages=pages,catp'}

То есть так без модуля

[aviable=addnews|feedback|lostpassword|register|rules|stats|search|pm|favorites|newposts|lastnews|lastcomments|date|userinfo|allnews|alltags|tags|xfsearch|catalog]
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
[/aviable]
[aviable=cat|main]
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"/>
[/aviable]

 

[S.T.A.L.K.E.R.]

На счет meta закрытия других страниц, то тут вам решать, ведь вы можете превратить некоторые из них в свою пользу. Обычно я использую такую конструкцию :

{include file='engine/modules/donbot.php?tag=nofollow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags,xfsearch,catalog,mainp'}
{include file='engine/modules/donbot.php?tag=follow&pages=pages,catp'}

То есть так без модуля

[aviable=addnews|feedback|lostpassword|register|rules|stats|search|pm|favorites|newposts|lastnews|lastcomments|date|userinfo|allnews|alltags|tags|xfsearch|catalog]
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
[/aviable]
[aviable=cat|main]
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"/>
[/aviable]

Это в Main.tpl нужно вставлять?

 

[PunPun]

Это м Main.tpl нужно вставлять?

Ну да, только туда.

 

[S.T.A.L.K.E.R.]

Ну да, только туда.

а после какой строчки этот код нужно вставить?