Обсуждение Проблемы с robots.txt

[ExScorpio]

Все какие-то проблемы у меня. Сейчас в роботс такая тема:

Спойлер

User-agent: *
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Disallow: /backup/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /admin.php*
Disallow: /2016/
Disallow: */page/*
Disallow: /page*
Disallow: /?*
Disallow: /find/*

Гугл вроде норм индексирует, но и лишнее тоже, яндекс же пишет, что Сайт закрыт к индексации в файле robots.txt
вообще хотел сделать, чтобы индексировались только главная, категории и новости делал так:
[not-aviable=showfull|cat|main]<meta name="robots" content="noindex,nofollow">[/not-aviable]
[not-page-count=1]<meta name="robots" content="noindex,nofollow">[/not-page-count] но все равно индексировались теги и прочая шелупонь. и в донботе такая тема:

Спойлер

{include file='engine/modules/donbot.php?tag=nofollow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags,xfsearch,catalog'}
{include file='engine/modules/donbot.php?tag=follow&pages=pages,mainp,catp'}

в чем проблема может быть?

 

[ExScorpio]

Эх...

 

[aeneas]

Эх...

1. поставь донбот http://alaev.info/blog/post/4481
у меня прописано так в майне -
{include file='engine/modules/donbot.php?tag=follow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags,mainp,catp'}

2. после выполнения первого пункта пропиши в роботсе так -
User-agent: *
Allow: /engine/classes/min/*
Allow: /engine/data/emoticons/*
Disallow: /engine/
Host: сайт.ру
Sitemap: http://сайт.ру/sitemap.xml

и будет тебе счастье, не будешь говорить - эх.... ))))

 

[aeneas]

о сорь, не заметил что донбот стоит уже, не все дочитал
в общем вот так пропиши как я выше написал, и все будет нормуль, не насилуй мозг себе

 

[ExScorpio]

о сорь, не заметил что донбот стоит уже, не все дочитал
в общем вот так пропиши как я выше написал, и все будет нормуль, не насилуй мозг себе

а вот это убрать ?

Спойлер

[not-aviable=showfull|cat|main]<meta name="robots" content="noindex,nofollow">[/not-aviable]
[not-page-count=1]<meta name="robots" content="noindex,nofollow">[/not-page-count]

 

[Sland]

а вот это убрать ?

Спойлер

[not-aviable=showfull|cat|main]<meta name="robots" content="noindex,nofollow">[/not-aviable]
[not-page-count=1]<meta name="robots" content="noindex,nofollow">[/not-page-count]

Дон бот это делает сам.

Или оставь это и удали дон бот

 

[Fazer]

Зачем вы такой огород городите... чем плох обычный роботс без всякой дополнительной ерунды?!

 

[aeneas]

Дон бот это делает сам.

Или оставь это и удали дон бот

убирай, это все донбот делает

Зачем вы такой огород городите... чем плох обычный роботс без всякой дополнительной ерунды?!

зачем себе геморой придумывать если донбот все делает двумя кликами мышки и без головняков типа думать че прикрыть че не прикрыть

 

[aeneas]

@ExScorpio, нурулаеву ответил )) убирай короче

 

[ExScorpio]

@ExScorpio, нурулаеву ответил )) убирай короче

смотрите, у меня после вот этого знака & pages - красная. Так и должно быть или мб ошибка какая-то?

 

[aeneas]

смотрите, у меня после вот этого знака & pages - красная. Так и должно быть или мб ошибка какая-то?

куда смотреть ? ))) я хз че ты и как там делаешь, я не ясновидящий, да и не консультант, совет дал дальше ипитесь сами сэр )

 

[ExScorpio]

Напишу тут же, как закрыть вот эти ссылки без потери веса ( и вообще стоит ли их закрывать? это авторизация через соц.сети на сайте )
скрин

 

[aeneas]

Напишу тут же, как закрыть вот эти ссылки без потери веса ( и вообще стоит ли их закрывать? это авторизация через соц.сети на сайте )
скрин

без потери веса никак, тока если скриптом
не заморачивайся забей

 

[MaHarder]

Host: сайт.ру
Sitemap: http://сайт.ру/sitemap.xml

@ExScorpio, то, что кот написал, добавь в роботс. была та же проблема, поставил и яндекс скушал

 

[aeneas]

кот хуйню не напишет, делайте как у кота и все будет чотко 😱

 

[Ботяра]

без потери веса никак, тока если скриптом

@ExScorpio, псевдо-ссылками нормально скрывается такое 🙂

 

[Sland]

Кто может поделиться Модулем DonBot?

Если нельзя, то напишите, удалю пост)

 

[Karabas Barabas]

Кто может поделиться Модулем DonBot?

Если нельзя, то напишите, удалю пост)

Да глянь в гугле, стопудово найдёшь

 

[Romantv]

Кто может поделиться Модулем DonBot?

Если нельзя, то напишите, удалю пост)

он не нужен
[not-aviable=showfull|cat|main]
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
[/not-aviable]

[aviable=main|cat][page-count=1]
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"/>
<META NAME="REVISIT-AFTER" CONTENT="1 DAYS"/>
[/page-count][/aviable]
и в файле engine.php пропиши
HTML;
if (

(intval($_GET['cstart']) > 1 )) $metatags .= <<<HTML
\n<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
HTML;

if($dle_module=='main' OR $dle_module=='cat'){
$property_url = $url_page . "/";
$metatags .= <<<HTML
\n
<link rel="canonical" href="{$property_url}"/>
HTML;
}
if($dle_module=='showfull' ){
$property_url = $url_page . "/";
$metatags .= <<<HTML
\n


<link rel="canonical" href="{$full_link}"/>
HTML;
}
if (
$dle_module == 'showfull') $metatags .= <<<HTML
\n
<META NAME= "ROBOTS" CONTENT= "INDEX,FOLLOW"/>
<META NAME="REVISIT-AFTER" CONTENT="1 DAYS"/>
HTML;
if ($config['allow_rss']) $metatags .= <<<HTML

HTML;

 

[aeneas]

Кто может поделиться Модулем DonBot?

Если нельзя, то напишите, удалю пост)

ты уверен что он тебе нужен ? )