Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Проблемы с robots.txt

Тема в разделе "Яндекс", создана пользователем ExScorpio, 25 окт 2016.

25.10.16 в 13:24
ExScorpio
29.11.16 в 12:56
Sland
20
3.458
0
Ответить в теме
Страница 1 из 2
  1. TopicStarter Overlay
    ExScorpio

    ExScorpio Бывалый

    Регистрация:
    13 май 2016
    Сообщения:
    100
    Лучших ответов:
    0
    Рейтинги:
    +17 / 0 / -0
    Все какие-то проблемы у меня. Сейчас в роботс такая тема:
    User-agent: *
    Host: site.ru
    Sitemap: http://site.ru/sitemap.xml
    Disallow: /backup/
    Disallow: /engine/go.php
    Disallow: /user/
    Disallow: /newposts/
    Disallow: /lastnews/
    Disallow: /statistics.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search
    Disallow: /admin.php*
    Disallow: /2016/
    Disallow: */page/*
    Disallow: /page*
    Disallow: /?*
    Disallow: /find/*
    Гугл вроде норм индексирует, но и лишнее тоже, яндекс же пишет, что Сайт закрыт к индексации в файле robots.txt
    вообще хотел сделать, чтобы индексировались только главная, категории и новости делал так:
    [not-aviable=showfull|cat|main]<meta name="robots" content="noindex,nofollow">[/not-aviable]
    [not-page-count=1]<meta name="robots" content="noindex,nofollow">[/not-page-count] но все равно индексировались теги и прочая шелупонь. и в донботе такая тема:
    {include file='engine/modules/donbot.php?tag=nofollow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags,xfsearch,catalog'}
    {include file='engine/modules/donbot.php?tag=follow&pages=pages,mainp,catp'}
    в чем проблема может быть?
     
    #1 ExScorpio, 25 окт 2016
    Последнее редактирование: 25 окт 2016
  2. TopicStarter Overlay
    ExScorpio

    ExScorpio Бывалый

    Регистрация:
    13 май 2016
    Сообщения:
    100
    Лучших ответов:
    0
    Рейтинги:
    +17 / 0 / -0
    Эх...
     
    #2 ExScorpio, 26 окт 2016
  3. aeneas

    aeneas
    Забанен

    Регистрация:
    12 мар 2016
    Сообщения:
    11.450
    Лучших ответов:
    10
    Рейтинги:
    +4.027 / 208 / -0
    1. поставь донбот http://alaev.info/blog/post/4481
    у меня прописано так в майне -
    {include file='engine/modules/donbot.php?tag=follow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags,mainp,catp'}

    2. после выполнения первого пункта пропиши в роботсе так -
    User-agent: *
    Allow: /engine/classes/min/*
    Allow: /engine/data/emoticons/*
    Disallow: /engine/
    Host: сайт.ру
    Sitemap: http://сайт.ру/sitemap.xml

    и будет тебе счастье, не будешь говорить - эх.... ))))
     
    #3 aeneas, 26 окт 2016
    • Нравится Нравится x 2
  4. aeneas

    aeneas
    Забанен

    Регистрация:
    12 мар 2016
    Сообщения:
    11.450
    Лучших ответов:
    10
    Рейтинги:
    +4.027 / 208 / -0
    о сорь, не заметил что донбот стоит уже, не все дочитал
    в общем вот так пропиши как я выше написал, и все будет нормуль, не насилуй мозг себе
     
    #4 aeneas, 26 окт 2016
  5. TopicStarter Overlay
    ExScorpio

    ExScorpio Бывалый

    Регистрация:
    13 май 2016
    Сообщения:
    100
    Лучших ответов:
    0
    Рейтинги:
    +17 / 0 / -0
    а вот это убрать ?
    [not-aviable=showfull|cat|main]<meta name="robots" content="noindex,nofollow">[/not-aviable]
    [not-page-count=1]<meta name="robots" content="noindex,nofollow">[/not-page-count]
     
    #5 ExScorpio, 26 окт 2016
  6. Sland

    Sland
    PRO Users

    Регистрация:
    28 авг 2016
    Сообщения:
    305
    Лучших ответов:
    1
    Рейтинги:
    +47 / 1 / -0
    Дон бот это делает сам.

    Или оставь это и удали дон бот
     
    #6 Sland, 26 окт 2016
    • Нравится Нравится x 1
  7. Fazer

    Fazer Бывалый

    Регистрация:
    15 дек 2015
    Сообщения:
    881
    Лучших ответов:
    0
    Рейтинги:
    +552 / 1 / -0
    Зачем вы такой огород городите... чем плох обычный роботс без всякой дополнительной ерунды?!
     
    #7 Fazer, 26 окт 2016
  8. aeneas

    aeneas
    Забанен

    Регистрация:
    12 мар 2016
    Сообщения:
    11.450
    Лучших ответов:
    10
    Рейтинги:
    +4.027 / 208 / -0
    убирай, это все донбот делает

    зачем себе геморой придумывать если донбот все делает двумя кликами мышки и без головняков типа думать че прикрыть че не прикрыть
     
    #8 aeneas, 26 окт 2016
  9. aeneas

    aeneas
    Забанен

    Регистрация:
    12 мар 2016
    Сообщения:
    11.450
    Лучших ответов:
    10
    Рейтинги:
    +4.027 / 208 / -0
    @ExScorpio, нурулаеву ответил )) убирай короче
     
    #9 aeneas, 26 окт 2016
    • Нравится Нравится x 1
  10. TopicStarter Overlay
    ExScorpio

    ExScorpio Бывалый

    Регистрация:
    13 май 2016
    Сообщения:
    100
    Лучших ответов:
    0
    Рейтинги:
    +17 / 0 / -0
    смотрите, у меня после вот этого знака & pages - красная. Так и должно быть или мб ошибка какая-то?
     
    #10 ExScorpio, 26 окт 2016
  11. aeneas

    aeneas
    Забанен

    Регистрация:
    12 мар 2016
    Сообщения:
    11.450
    Лучших ответов:
    10
    Рейтинги:
    +4.027 / 208 / -0
    куда смотреть ? ))) я хз че ты и как там делаешь, я не ясновидящий, да и не консультант, совет дал дальше ипитесь сами сэр )
     
    #11 aeneas, 26 окт 2016
  12. TopicStarter Overlay
    ExScorpio

    ExScorpio Бывалый

    Регистрация:
    13 май 2016
    Сообщения:
    100
    Лучших ответов:
    0
    Рейтинги:
    +17 / 0 / -0
    Напишу тут же, как закрыть вот эти ссылки без потери веса ( и вообще стоит ли их закрывать? это авторизация через соц.сети на сайте )
    скрин
     
    #12 ExScorpio, 27 окт 2016
  13. aeneas

    aeneas
    Забанен

    Регистрация:
    12 мар 2016
    Сообщения:
    11.450
    Лучших ответов:
    10
    Рейтинги:
    +4.027 / 208 / -0
    без потери веса никак, тока если скриптом
    не заморачивайся забей
     
    #13 aeneas, 27 окт 2016
  14. MaHarder

    MaHarder Местный

    Регистрация:
    9 июн 2015
    Сообщения:
    1.054
    Лучших ответов:
    0
    Рейтинги:
    +334 / 0 / -0
    @ExScorpio, то, что кот написал, добавь в роботс. была та же проблема, поставил и яндекс скушал
     
    #14 MaHarder, 27 окт 2016
  15. aeneas

    aeneas
    Забанен

    Регистрация:
    12 мар 2016
    Сообщения:
    11.450
    Лучших ответов:
    10
    Рейтинги:
    +4.027 / 208 / -0
    кот хуйню не напишет, делайте как у кота и все будет чотко :eek:
     
    #15 aeneas, 27 окт 2016
  16. Ботяра

    Ботяра
    Забанен

    Регистрация:
    10 окт 2015
    Сообщения:
    0
    Лучших ответов:
    54
    Рейтинги:
    +711 / 74 / -0
    @ExScorpio, псевдо-ссылками нормально скрывается такое :)
     
    #16 Ботяра, 27 окт 2016
  17. Sland

    Sland
    PRO Users

    Регистрация:
    28 авг 2016
    Сообщения:
    305
    Лучших ответов:
    1
    Рейтинги:
    +47 / 1 / -0
    Кто может поделиться Модулем DonBot?

    Если нельзя, то напишите, удалю пост)
     
    #17 Sland, 29 ноя 2016
  18. Karabas Barabas

    Karabas Barabas
    Команда форума VIP Кинотрафик v2

    Регистрация:
    20 ноя 2015
    Сообщения:
    8.150
    Лучших ответов:
    1
    Рейтинги:
    +3.748 / 12 / -0
    Да глянь в гугле, стопудово найдёшь
     
    #18 Karabas Barabas, 29 ноя 2016
    • Нравится Нравится x 1
  19. Romantv

    Romantv
    Забанен

    Регистрация:
    17 июл 2015
    Сообщения:
    6.946
    Лучших ответов:
    6
    Рейтинги:
    +1.994 / 141 / -0
    он не нужен
    [not-aviable=showfull|cat|main]
    <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
    [/not-aviable]

    [aviable=main|cat][page-count=1]
    <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"/>
    <META NAME="REVISIT-AFTER" CONTENT="1 DAYS"/>
    [/page-count][/aviable]
    и в файле engine.php пропиши
    HTML;
    if (

    (intval($_GET['cstart']) > 1 )) $metatags .= <<<HTML
    \n<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
    HTML;

    if($dle_module=='main' OR $dle_module=='cat'){
    $property_url = $url_page . "/";
    $metatags .= <<<HTML
    \n
    <link rel="canonical" href="{$property_url}"/>
    HTML;
    }
    if($dle_module=='showfull' ){
    $property_url = $url_page . "/";
    $metatags .= <<<HTML
    \n


    <link rel="canonical" href="{$full_link}"/>
    HTML;
    }
    if (
    $dle_module == 'showfull') $metatags .= <<<HTML
    \n
    <META NAME= "ROBOTS" CONTENT= "INDEX,FOLLOW"/>
    <META NAME="REVISIT-AFTER" CONTENT="1 DAYS"/>
    HTML;
    if ($config['allow_rss']) $metatags .= <<<HTML

    HTML;
     
    #19 Romantv, 29 ноя 2016
  20. aeneas

    aeneas
    Забанен

    Регистрация:
    12 мар 2016
    Сообщения:
    11.450
    Лучших ответов:
    10
    Рейтинги:
    +4.027 / 208 / -0
    ты уверен что он тебе нужен ? )
     
    #20 aeneas, 29 ноя 2016
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)
Страница 1 из 2
Похожие темы
  1. lycorp

    Как исправить robots.txt?

    lycorp, 31 июл 2015, в разделе: Google
    Ответов:
    2
    Просмотров:
    994
    zhd
    31 июл 2015
  2. Расим

    Robots.txt или как правильно?

    Расим, 21 окт 2015, в разделе: Свободное общение
    Ответов:
    28
    Просмотров:
    5.462
    Doktormgdn
    12 дек 2015
Загрузка...
Переключить ширину
Стиль
Zerocool-New
Язык
Russian (RU)
Яндекс.Метрика