Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Robots.txt или как правильно?

Тема в разделе "Свободное общение", создана пользователем Расим, 21 окт 2015.

21.10.15 в 21:50
Расим
12.12.15 в 02:44
Doktormgdn
28
5.450
0
Ответить в теме
Страница 1 из 2
  1. TopicStarter Overlay
    Расим

    Расим Бывалый

    Регистрация:
    28 сен 2015
    Сообщения:
    493
    Лучших ответов:
    0
    Рейтинги:
    +61 / 0 / -0
    Сейчас мой файл роботс выклядит вот так
    Код:
    User-agent: *
Disallow: /
Disallow: /user/
Disallow: /favorites/
Disallow: /tags/
Disallow: /backup/
Disallow: /language/
Disallow: /admin.php
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /engine/go.php
Disallow: /abuse.html
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /blocks/
Disallow: */page/*
Disallow: /page*
Disallow: /index.php?do=orderdesc*
Disallow: /playlists/*
Disallow: /xfsearch/*
Host: site.ru

Sitemap: http://site.ru/sitemap.xml



    Правильно ли я закрыл доп.поля страницы пагинации и тп?
    Исправьте,и меня интересуют ваши мнения о правильном роботс
    И стоит ли покупать ДОНБОТ от Алаича?
    П.СЫ. Ссылки на разные блоги,алаича и тп не надо
     
    #1 Расим, 21 окт 2015
  2. KinoFex

    KinoFex
    Забанен

    Регистрация:
    12 окт 2015
    Сообщения:
    261
    Лучших ответов:
    0
    Рейтинги:
    +26 / 0 / -0
    На мой взгляд нормальный роботс.
    Вот какой идеальный роботс должен быть, так считает АЛЫЧ
    User-agent: *
    Disallow: /engine/
    Host: site.ru
    Sitemap: http://site.ru/sitemap.xml
     
    #2 KinoFex, 21 окт 2015
    • Нравится Нравится x 1
  3. Romantv

    Romantv
    Забанен

    Регистрация:
    17 июл 2015
    Сообщения:
    6.946
    Лучших ответов:
    6
    Рейтинги:
    +1.994 / 141 / -0
    не спорю с АЛЫЧ и его мнение не оспариваю.но мое субъективное мнение,этот роботс не годится. возьмем к прмеру первый попавшейся сайт,смотрим в яндексе http://prntscr.com/8tuis7 видим дубли главной странице,и также категорий http://prntscr.com/8tujg1 а потом бывают вопросу почему нет трафа. так же и в гугле
     
    #3 Romantv, 22 окт 2015
  4. Doktormgdn

    Doktormgdn
    Команда форума VIP Кинотрафик v2

    Регистрация:
    4 окт 2015
    Сообщения:
    1.124
    Лучших ответов:
    0
    Рейтинги:
    +489 / 0 / -0
    Кстати тоже давно терзает вопрос, а может закрыть от индексации категории? Чтобы в итоге только главная и контент индексировались. И как это правильно сделать? Хотя может я и гоню :D
     
    #4 Doktormgdn, 22 окт 2015
  5. Romantv

    Romantv
    Забанен

    Регистрация:
    17 июл 2015
    Сообщения:
    6.946
    Лучших ответов:
    6
    Рейтинги:
    +1.994 / 141 / -0
    верху робот нормальный. хотя я сделал проще
    в манин
    [not-aviable=showfull|cat|main]
    <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
    [/not-aviable]

    [aviable=main|cat][not-group=1]

    <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
    [/not-group][/aviable]
    </head>
     
    #5 Romantv, 22 окт 2015
  6. TopicStarter Overlay
    Расим

    Расим Бывалый

    Регистрация:
    28 сен 2015
    Сообщения:
    493
    Лучших ответов:
    0
    Рейтинги:
    +61 / 0 / -0
    А кто посоветует роботс по лучше?
     
    #6 Расим, 22 окт 2015
  7. FOX

    FOX Бывалый

    Регистрация:
    26 авг 2015
    Сообщения:
    189
    Лучших ответов:
    1
    Рейтинги:
    +29 / 1 / -0
    @Расим, Главное забыл: Disallow: /*do=search
     
    #7 FOX, 22 окт 2015
    • Нравится Нравится x 1
  8. Doktormgdn

    Doktormgdn
    Команда форума VIP Кинотрафик v2

    Регистрация:
    4 окт 2015
    Сообщения:
    1.124
    Лучших ответов:
    0
    Рейтинги:
    +489 / 0 / -0
    А у меня Гугл сожрал все включая папку /tags/ которая естесственно закрыта в роботсе. И написал типа дескрипшена нет так как эта страница закрыта в файле роботс, но страницы то он проиндексировал.
     
    #8 Doktormgdn, 22 окт 2015
  9. Den

    Den
    Команда форума VIP Кинотрафик v2

    Регистрация:
    19 окт 2015
    Сообщения:
    2.097
    Лучших ответов:
    0
    Рейтинги:
    +1.002 / 7 / -0
    Корректность правил можно проверить в явебмастере.
    Проиндексировал или посетил? :)
     
    #9 Den, 22 окт 2015
  10. TopicStarter Overlay
    Расим

    Расим Бывалый

    Регистрация:
    28 сен 2015
    Сообщения:
    493
    Лучших ответов:
    0
    Рейтинги:
    +61 / 0 / -0
    Такая же беда
     
    #10 Расим, 22 окт 2015
  11. TopicStarter Overlay
    Расим

    Расим Бывалый

    Регистрация:
    28 сен 2015
    Сообщения:
    493
    Лучших ответов:
    0
    Рейтинги:
    +61 / 0 / -0
    Спасибо исправил
     
    #11 Расим, 22 окт 2015
  12. Doktormgdn

    Doktormgdn
    Команда форума VIP Кинотрафик v2

    Регистрация:
    4 окт 2015
    Сообщения:
    1.124
    Лучших ответов:
    0
    Рейтинги:
    +489 / 0 / -0
    @- Den -, короч RDS bar пишет - количество страниц сайта в Google: 142 (0%)
    Ну и по команде "site:mysite.ru/&" выдает все страницы сайта включая те что закрыты от индексировпния в роботсе.
    Я вот думаю по хорошему и категории бы закрыть нафиг. Кто может подсказать действенный способ? Заранее спасибо.
     
    #12 Doktormgdn, 22 окт 2015
  13. PunPun

    PunPun
    VIP Кинотрафик v2

    Регистрация:
    11 июн 2015
    Сообщения:
    7.433
    Лучших ответов:
    32
    Рейтинги:
    +4.062 / 137 / -0
    robots.txt может быть проигнорирован ПС. Лучше использовать meta robots
     
    #13 PunPun, 22 окт 2015
    • Нравится Нравится x 1
  14. Doktormgdn

    Doktormgdn
    Команда форума VIP Кинотрафик v2

    Регистрация:
    4 окт 2015
    Сообщения:
    1.124
    Лучших ответов:
    0
    Рейтинги:
    +489 / 0 / -0
    @Gameer, а поподробнее можешь показать что куда писать? Думаю здесь это многим будет полезно.
     
    #14 Doktormgdn, 22 окт 2015
  15. TopicStarter Overlay
    Расим

    Расим Бывалый

    Регистрация:
    28 сен 2015
    Сообщения:
    493
    Лучших ответов:
    0
    Рейтинги:
    +61 / 0 / -0
    Donbot от алаича в помощь+он удобен
    500р на алаич стор
     
    #15 Расим, 22 окт 2015
  16. Doktormgdn

    Doktormgdn
    Команда форума VIP Кинотрафик v2

    Регистрация:
    4 окт 2015
    Сообщения:
    1.124
    Лучших ответов:
    0
    Рейтинги:
    +489 / 0 / -0
    Так метатэги Я и руками пропишу, а на 500 рублей контента прикуплю.
     
    #16 Doktormgdn, 22 окт 2015
  17. PunPun

    PunPun
    VIP Кинотрафик v2

    Регистрация:
    11 июн 2015
    Сообщения:
    7.433
    Лучших ответов:
    32
    Рейтинги:
    +4.062 / 137 / -0
    На счет meta закрытия других страниц, то тут вам решать, ведь вы можете превратить некоторые из них в свою пользу. Обычно я использую такую конструкцию :
    Код:
    {include file='engine/modules/donbot.php?tag=nofollow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags,xfsearch,catalog,mainp'}
{include file='engine/modules/donbot.php?tag=follow&pages=pages,catp'}
    То есть так без модуля
    Код:
    [aviable=addnews|feedback|lostpassword|register|rules|stats|search|pm|favorites|newposts|lastnews|lastcomments|date|userinfo|allnews|alltags|tags|xfsearch|catalog]
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
[/aviable]
[aviable=cat|main]
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"/>
[/aviable]
     
    #17 PunPun, 22 окт 2015
    • Нравится Нравится x 2
  18. S.T.A.L.K.E.R.

    S.T.A.L.K.E.R.
    Команда форума VIP Кинотрафик v2

    Регистрация:
    16 окт 2015
    Сообщения:
    135
    Лучших ответов:
    0
    Рейтинги:
    +9 / 0 / -0
    Это в Main.tpl нужно вставлять?
     
    #18 S.T.A.L.K.E.R., 22 окт 2015
  19. PunPun

    PunPun
    VIP Кинотрафик v2

    Регистрация:
    11 июн 2015
    Сообщения:
    7.433
    Лучших ответов:
    32
    Рейтинги:
    +4.062 / 137 / -0
    Ну да, только туда.
     
    #19 PunPun, 22 окт 2015
  20. S.T.A.L.K.E.R.

    S.T.A.L.K.E.R.
    Команда форума VIP Кинотрафик v2

    Регистрация:
    16 окт 2015
    Сообщения:
    135
    Лучших ответов:
    0
    Рейтинги:
    +9 / 0 / -0
    а после какой строчки этот код нужно вставить?
     
    #20 S.T.A.L.K.E.R., 22 окт 2015
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)
Страница 1 из 2
Похожие темы
  1. lycorp

    Как исправить robots.txt?

    lycorp, 31 июл 2015, в разделе: Google
    Ответов:
    2
    Просмотров:
    993
    zhd
    31 июл 2015
  2. Webster

    Robots.txt, как правильно настроить?

    Webster, 17 июл 2016, в разделе: Вопросы- ответы
    Ответов:
    25
    Просмотров:
    5.809
    texnar349
    5 сен 2017
  3. ExScorpio

    Проблемы с robots.txt

    ExScorpio, 25 окт 2016, в разделе: Яндекс
    Ответов:
    20
    Просмотров:
    3.440
    Sland
    29 ноя 2016
Загрузка...
Переключить ширину
Стиль
Zerocool-New
Язык
Russian (RU)
Яндекс.Метрика