Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Robots.txt или как правильно?

Тема в разделе "Свободное общение", создана пользователем Расим, 21 окт 2015.

21.10.15 в 21:50
12.12.15 в 02:44
28
3.949
0
  1. TopicStarter Overlay
    Расим

    Расим Бывалый

    Регистрация:
    28 сен 2015
    Сообщения:
    493
    Лучших ответов:
    0
    Рейтинги:
    +61 / 0 / -0
    Сейчас мой файл роботс выклядит вот так
    Код:
    User-agent: *
    Disallow: /
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /tags/
    Disallow: /backup/
    Disallow: /language/
    Disallow: /admin.php
    Disallow: /newposts/
    Disallow: /lastnews/
    Disallow: /engine/go.php
    Disallow: /abuse.html
    Disallow: /statistics.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /blocks/
    Disallow: */page/*
    Disallow: /page*
    Disallow: /index.php?do=orderdesc*
    Disallow: /playlists/*
    Disallow: /xfsearch/*
    Host: site.ru
    
    Sitemap: http://site.ru/sitemap.xml



    Правильно ли я закрыл доп.поля страницы пагинации и тп?
    Исправьте,и меня интересуют ваши мнения о правильном роботс
    И стоит ли покупать ДОНБОТ от Алаича?
    П.СЫ. Ссылки на разные блоги,алаича и тп не надо
     
  2. KinoFex

    Забанен

    Регистрация:
    12 окт 2015
    Сообщения:
    261
    Лучших ответов:
    0
    Рейтинги:
    +26 / 0 / -0
    На мой взгляд нормальный роботс.
    Вот какой идеальный роботс должен быть, так считает АЛЫЧ
    User-agent: *
    Disallow: /engine/
    Host: site.ru
    Sitemap: http://site.ru/sitemap.xml
     
    • Нравится Нравится x 1
  3. Romantv

    Забанен

    Регистрация:
    17 июл 2015
    Сообщения:
    6.992
    Лучших ответов:
    6
    Рейтинги:
    +2.000 / 141 / -0
    не спорю с АЛЫЧ и его мнение не оспариваю.но мое субъективное мнение,этот роботс не годится. возьмем к прмеру первый попавшейся сайт,смотрим в яндексе http://prntscr.com/8tuis7 видим дубли главной странице,и также категорий http://prntscr.com/8tujg1 а потом бывают вопросу почему нет трафа. так же и в гугле
     
  4. Doktormgdn

    Команда форума VIP Кинотрафик v2

    Регистрация:
    4 окт 2015
    Сообщения:
    1.130
    Лучших ответов:
    0
    Рейтинги:
    +490 / 0 / -0
    Кстати тоже давно терзает вопрос, а может закрыть от индексации категории? Чтобы в итоге только главная и контент индексировались. И как это правильно сделать? Хотя может я и гоню :D
     
  5. Romantv

    Забанен

    Регистрация:
    17 июл 2015
    Сообщения:
    6.992
    Лучших ответов:
    6
    Рейтинги:
    +2.000 / 141 / -0
    верху робот нормальный. хотя я сделал проще
    в манин
    [not-aviable=showfull|cat|main]
    <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
    [/not-aviable]

    [aviable=main|cat][not-group=1]

    <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
    [/not-group][/aviable]
    </head>
     
  6. TopicStarter Overlay
    Расим

    Расим Бывалый

    Регистрация:
    28 сен 2015
    Сообщения:
    493
    Лучших ответов:
    0
    Рейтинги:
    +61 / 0 / -0
    А кто посоветует роботс по лучше?
     
  7. FOX

    FOX Бывалый

    Регистрация:
    26 авг 2015
    Сообщения:
    192
    Лучших ответов:
    1
    Рейтинги:
    +29 / 1 / -0
    @Расим, Главное забыл: Disallow: /*do=search
     
    • Нравится Нравится x 1
  8. Doktormgdn

    Команда форума VIP Кинотрафик v2

    Регистрация:
    4 окт 2015
    Сообщения:
    1.130
    Лучших ответов:
    0
    Рейтинги:
    +490 / 0 / -0
    А у меня Гугл сожрал все включая папку /tags/ которая естесственно закрыта в роботсе. И написал типа дескрипшена нет так как эта страница закрыта в файле роботс, но страницы то он проиндексировал.
     
  9. Den

    Den
    Команда форума VIP Кинотрафик v2

    Регистрация:
    19 окт 2015
    Сообщения:
    2.129
    Лучших ответов:
    0
    Рейтинги:
    +1.004 / 6 / -0
    Корректность правил можно проверить в явебмастере.
    Проиндексировал или посетил? :)
     
  10. TopicStarter Overlay
    Расим

    Расим Бывалый

    Регистрация:
    28 сен 2015
    Сообщения:
    493
    Лучших ответов:
    0
    Рейтинги:
    +61 / 0 / -0
    Такая же беда
     
  11. TopicStarter Overlay
    Расим

    Расим Бывалый

    Регистрация:
    28 сен 2015
    Сообщения:
    493
    Лучших ответов:
    0
    Рейтинги:
    +61 / 0 / -0
    Спасибо исправил
     
  12. Doktormgdn

    Команда форума VIP Кинотрафик v2

    Регистрация:
    4 окт 2015
    Сообщения:
    1.130
    Лучших ответов:
    0
    Рейтинги:
    +490 / 0 / -0
    @- Den -, короч RDS bar пишет - количество страниц сайта в Google: 142 (0%)
    Ну и по команде "site:mysite.ru/&" выдает все страницы сайта включая те что закрыты от индексировпния в роботсе.
    Я вот думаю по хорошему и категории бы закрыть нафиг. Кто может подсказать действенный способ? Заранее спасибо.
     
  13. PunPun

    VIP Кинотрафик v2

    Регистрация:
    11 июн 2015
    Сообщения:
    7.292
    Лучших ответов:
    31
    Рейтинги:
    +3.892 / 96 / -0
    robots.txt может быть проигнорирован ПС. Лучше использовать meta robots
     
    • Нравится Нравится x 1
  14. Doktormgdn

    Команда форума VIP Кинотрафик v2

    Регистрация:
    4 окт 2015
    Сообщения:
    1.130
    Лучших ответов:
    0
    Рейтинги:
    +490 / 0 / -0
    @Gameer, а поподробнее можешь показать что куда писать? Думаю здесь это многим будет полезно.
     
  15. TopicStarter Overlay
    Расим

    Расим Бывалый

    Регистрация:
    28 сен 2015
    Сообщения:
    493
    Лучших ответов:
    0
    Рейтинги:
    +61 / 0 / -0
    Donbot от алаича в помощь+он удобен
    500р на алаич стор
     
  16. Doktormgdn

    Команда форума VIP Кинотрафик v2

    Регистрация:
    4 окт 2015
    Сообщения:
    1.130
    Лучших ответов:
    0
    Рейтинги:
    +490 / 0 / -0
    Так метатэги Я и руками пропишу, а на 500 рублей контента прикуплю.
     
  17. PunPun

    VIP Кинотрафик v2

    Регистрация:
    11 июн 2015
    Сообщения:
    7.292
    Лучших ответов:
    31
    Рейтинги:
    +3.892 / 96 / -0
    На счет meta закрытия других страниц, то тут вам решать, ведь вы можете превратить некоторые из них в свою пользу. Обычно я использую такую конструкцию :
    Код:
    {include file='engine/modules/donbot.php?tag=nofollow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags,xfsearch,catalog,mainp'}
    {include file='engine/modules/donbot.php?tag=follow&pages=pages,catp'}
    То есть так без модуля
    Код:
    [aviable=addnews|feedback|lostpassword|register|rules|stats|search|pm|favorites|newposts|lastnews|lastcomments|date|userinfo|allnews|alltags|tags|xfsearch|catalog]
    <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"/>
    [/aviable]
    [aviable=cat|main]
    <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"/>
    [/aviable]
     
    • Нравится Нравится x 2
  18. S.T.A.L.K.E.R.

    Команда форума VIP Кинотрафик v2

    Регистрация:
    16 окт 2015
    Сообщения:
    145
    Лучших ответов:
    0
    Рейтинги:
    +10 / 0 / -0
    Это в Main.tpl нужно вставлять?
     
  19. PunPun

    VIP Кинотрафик v2

    Регистрация:
    11 июн 2015
    Сообщения:
    7.292
    Лучших ответов:
    31
    Рейтинги:
    +3.892 / 96 / -0
    Ну да, только туда.
     
  20. S.T.A.L.K.E.R.

    Команда форума VIP Кинотрафик v2

    Регистрация:
    16 окт 2015
    Сообщения:
    145
    Лучших ответов:
    0
    Рейтинги:
    +10 / 0 / -0
    а после какой строчки этот код нужно вставить?
     
Яндекс.Метрика