Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Проблемы с robots.txt

Тема в разделе "Яндекс", создана пользователем ExScorpio, 25 окт 2016.

25.10.16 в 13:24
ExScorpio
29.11.16 в 12:56
Sland
20
3.446
0
Ответить в теме
Страница 1 из 2
  1. TopicStarter Overlay
    ExScorpio

    ExScorpio Бывалый

    Сообщения:
    100
    Симпатии:
    17
    Лучших ответов:
    0
    Все какие-то проблемы у меня. Сейчас в роботс такая тема:
    User-agent: *
    Host: site.ru
    Sitemap: http://site.ru/sitemap.xml
    Disallow: /backup/
    Disallow: /engine/go.php
    Disallow: /user/
    Disallow: /newposts/
    Disallow: /lastnews/
    Disallow: /statistics.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search
    Disallow: /admin.php*
    Disallow: /2016/
    Disallow: */page/*
    Disallow: /page*
    Disallow: /?*
    Disallow: /find/*
    Гугл вроде норм индексирует, но и лишнее тоже, яндекс же пишет, что Сайт закрыт к индексации в файле robots.txt
    вообще хотел сделать, чтобы индексировались только главная, категории и новости делал так:
    [not-aviable=showfull|cat|main]<meta name="robots" content="noindex,nofollow">[/not-aviable]
    [not-page-count=1]<meta name="robots" content="noindex,nofollow">[/not-page-count] но все равно индексировались теги и прочая шелупонь. и в донботе такая тема:
    {include file='engine/modules/donbot.php?tag=nofollow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags,xfsearch,catalog'}
    {include file='engine/modules/donbot.php?tag=follow&pages=pages,mainp,catp'}
    в чем проблема может быть?
     
    Последнее редактирование: 25 окт 2016
    ExScorpio, 25 окт 2016
    #1
  2. TopicStarter Overlay
    ExScorpio

    ExScorpio Бывалый

    Сообщения:
    100
    Симпатии:
    17
    Лучших ответов:
    0
    Эх...
     
    ExScorpio, 26 окт 2016
    #2
  3. aeneas

    aeneas Забанен

    Сообщения:
    11.450
    Симпатии:
    3.808
    Лучших ответов:
    10
    1. поставь донбот http://alaev.info/blog/post/4481
    у меня прописано так в майне -
    {include file='engine/modules/donbot.php?tag=follow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags,mainp,catp'}

    2. после выполнения первого пункта пропиши в роботсе так -
    User-agent: *
    Allow: /engine/classes/min/*
    Allow: /engine/data/emoticons/*
    Disallow: /engine/
    Host: сайт.ру
    Sitemap: http://сайт.ру/sitemap.xml

    и будет тебе счастье, не будешь говорить - эх.... ))))
     
    aeneas, 26 окт 2016
    #3
    • Нравится Нравится x 2
  4. aeneas

    aeneas Забанен

    Сообщения:
    11.450
    Симпатии:
    3.808
    Лучших ответов:
    10
    о сорь, не заметил что донбот стоит уже, не все дочитал
    в общем вот так пропиши как я выше написал, и все будет нормуль, не насилуй мозг себе
     
    aeneas, 26 окт 2016
    #4
  5. TopicStarter Overlay
    ExScorpio

    ExScorpio Бывалый

    Сообщения:
    100
    Симпатии:
    17
    Лучших ответов:
    0
    а вот это убрать ?
    [not-aviable=showfull|cat|main]<meta name="robots" content="noindex,nofollow">[/not-aviable]
    [not-page-count=1]<meta name="robots" content="noindex,nofollow">[/not-page-count]
     
    ExScorpio, 26 окт 2016
    #5
  6. Sland

    Sland PRO Users

    Сообщения:
    305
    Симпатии:
    41
    Лучших ответов:
    1
    Дон бот это делает сам.

    Или оставь это и удали дон бот
     
    Sland, 26 окт 2016
    #6
    • Нравится Нравится x 1
  7. Fazer

    Fazer Бывалый

    Сообщения:
    881
    Симпатии:
    547
    Лучших ответов:
    0
    Зачем вы такой огород городите... чем плох обычный роботс без всякой дополнительной ерунды?!
     
    Fazer, 26 окт 2016
    #7
  8. aeneas

    aeneas Забанен

    Сообщения:
    11.450
    Симпатии:
    3.808
    Лучших ответов:
    10
    убирай, это все донбот делает

    зачем себе геморой придумывать если донбот все делает двумя кликами мышки и без головняков типа думать че прикрыть че не прикрыть
     
    aeneas, 26 окт 2016
    #8
  9. aeneas

    aeneas Забанен

    Сообщения:
    11.450
    Симпатии:
    3.808
    Лучших ответов:
    10
    @ExScorpio, нурулаеву ответил )) убирай короче
     
    aeneas, 26 окт 2016
    #9
    • Нравится Нравится x 1
  10. TopicStarter Overlay
    ExScorpio

    ExScorpio Бывалый

    Сообщения:
    100
    Симпатии:
    17
    Лучших ответов:
    0
    смотрите, у меня после вот этого знака & pages - красная. Так и должно быть или мб ошибка какая-то?
     
    ExScorpio, 26 окт 2016
    #10
  11. aeneas

    aeneas Забанен

    Сообщения:
    11.450
    Симпатии:
    3.808
    Лучших ответов:
    10
    куда смотреть ? ))) я хз че ты и как там делаешь, я не ясновидящий, да и не консультант, совет дал дальше ипитесь сами сэр )
     
    aeneas, 26 окт 2016
    #11
  12. TopicStarter Overlay
    ExScorpio

    ExScorpio Бывалый

    Сообщения:
    100
    Симпатии:
    17
    Лучших ответов:
    0
    Напишу тут же, как закрыть вот эти ссылки без потери веса ( и вообще стоит ли их закрывать? это авторизация через соц.сети на сайте )
    скрин
     
    ExScorpio, 27 окт 2016
    #12
  13. aeneas

    aeneas Забанен

    Сообщения:
    11.450
    Симпатии:
    3.808
    Лучших ответов:
    10
    без потери веса никак, тока если скриптом
    не заморачивайся забей
     
    aeneas, 27 окт 2016
    #13
  14. MaHarder

    MaHarder Местный

    Сообщения:
    1.054
    Симпатии:
    326
    Лучших ответов:
    0
    @ExScorpio, то, что кот написал, добавь в роботс. была та же проблема, поставил и яндекс скушал
     
    MaHarder, 27 окт 2016
    #14
  15. aeneas

    aeneas Забанен

    Сообщения:
    11.450
    Симпатии:
    3.808
    Лучших ответов:
    10
    кот хуйню не напишет, делайте как у кота и все будет чотко :eek:
     
    aeneas, 27 окт 2016
    #15
  16. Ботяра

    Ботяра Забанен

    Сообщения:
    0
    Симпатии:
    0
    Лучших ответов:
    54
    @ExScorpio, псевдо-ссылками нормально скрывается такое :)
     
    Ботяра, 27 окт 2016
    #16
  17. Sland

    Sland PRO Users

    Сообщения:
    305
    Симпатии:
    41
    Лучших ответов:
    1
    Кто может поделиться Модулем DonBot?

    Если нельзя, то напишите, удалю пост)
     
    Sland, 29 ноя 2016
    #17
  18. Karabas Barabas

    Karabas Barabas Команда форума VIP Кинотрафик v2

    Сообщения:
    8.150
    Симпатии:
    3.713
    Лучших ответов:
    1
    Да глянь в гугле, стопудово найдёшь
     
    Karabas Barabas, 29 ноя 2016
    #18
    • Нравится Нравится x 1
  19. Romantv

    Romantv Забанен

    Сообщения:
    6.946
    Симпатии:
    1.815
    Лучших ответов:
    6
    он не нужен
    [not-aviable=showfull|cat|main]
    <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
    [/not-aviable]

    [aviable=main|cat][page-count=1]
    <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"/>
    <META NAME="REVISIT-AFTER" CONTENT="1 DAYS"/>
    [/page-count][/aviable]
    и в файле engine.php пропиши
    HTML;
    if (

    (intval($_GET['cstart']) > 1 )) $metatags .= <<<HTML
    \n<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
    HTML;

    if($dle_module=='main' OR $dle_module=='cat'){
    $property_url = $url_page . "/";
    $metatags .= <<<HTML
    \n
    <link rel="canonical" href="{$property_url}"/>
    HTML;
    }
    if($dle_module=='showfull' ){
    $property_url = $url_page . "/";
    $metatags .= <<<HTML
    \n


    <link rel="canonical" href="{$full_link}"/>
    HTML;
    }
    if (
    $dle_module == 'showfull') $metatags .= <<<HTML
    \n
    <META NAME= "ROBOTS" CONTENT= "INDEX,FOLLOW"/>
    <META NAME="REVISIT-AFTER" CONTENT="1 DAYS"/>
    HTML;
    if ($config['allow_rss']) $metatags .= <<<HTML

    HTML;
     
    Romantv, 29 ноя 2016
    #19
  20. aeneas

    aeneas Забанен

    Сообщения:
    11.450
    Симпатии:
    3.808
    Лучших ответов:
    10
    ты уверен что он тебе нужен ? )
     
    aeneas, 29 ноя 2016
    #20
Страница 1 из 2
Похожие темы
  1. lycorp

    Как исправить robots.txt?

    lycorp, 31 июл 2015, в разделе: Google
    Ответов:
    2
    Просмотров:
    993
    zhd
    31 июл 2015
  2. Расим

    Robots.txt или как правильно?

    Расим, 21 окт 2015, в разделе: Свободное общение
    Ответов:
    28
    Просмотров:
    5.459
    Doktormgdn
    12 дек 2015
Загрузка...