Dismiss Notice
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Помогите отредактировать robots.txt

Discussion in 'Яндекс' started by Fant13k, Feb 16, 2016.

16.02.16 в 17:40
16.02.16 в 20:41
7
1,929
0
  1. TopicStarter Overlay
    Fant13k

    Fant13k Посетитель

    Messages:
    73
    Likes Received:
    10
    Best Answers:
    0
    Здравствуйте. Знаю что скорее всего на форуме где-то есть подобная тема, но честно сказать я пересмотрел разделы Яндекс и Google но не нашел ответа на свой вопрос. Подскажите как правильно составить robots для Яндекса и Гугла.
    User-agent: *
    Disallow: /year/
    Disallow: /country/
    Disallow: /produce/
    Disallow: /actors/
    Disallow: /engine/go.php
    Disallow: /engine/download.php
    Disallow: /user/
    Disallow: /newposts/
    Disallow: */page/
    Disallow: /statistics.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search
     
  2. crank

    crank Зелёный

    Messages:
    18
    Likes Received:
    4
    Best Answers:
    0
    У каждого по своему
    User-agent: Yandex
    Disallow: /user/
    Disallow: /backup/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /upgrade/
    Disallow: /uploads/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=register
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?subaction=newposts
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Host: са-йт.ru

    User-agent: *
    Disallow: /backup/
    Disallow: /user/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /upgrade/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=register
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?subaction=newposts
    Disallow: /?do=lastcomments
    Disallow: /statistics.html

    Sitemap: http://са-йт.ru/sitemap.xml
     
  3. Den

    Den Staff Member VIP Кинотрафик v2

    Messages:
    2,097
    Likes Received:
    980
    Best Answers:
    0
    Означает, что эти правила действуют для всех роботов.
    Для яндекса можешь добавить внизу главное зеркало и ссылку на карту сайта:
    Code:
    Host: mysite.ru
    Sitemap: http://mysite.ru/sitemap.xml
     
  4. doz

    doz Staff Member VIP Кинотрафик v2

    Messages:
    1,335
    Likes Received:
    540
    Best Answers:
    0
    User-agent: *
    Disallow: /engine/
    Sitemap: http://site.ru/sitemap.xml
    Host: site.ru

    остальное закрывается метатегом.
     
  5. TopicStarter Overlay
    Fant13k

    Fant13k Посетитель

    Messages:
    73
    Likes Received:
    10
    Best Answers:
    0
    Спасибо всем. @doz, можно по подробнее о метатеге?
     
  6. TopicStarter Overlay
    Fant13k

    Fant13k Посетитель

    Messages:
    73
    Likes Received:
    10
    Best Answers:
    0
    Модуль от Gameer NoIndex подойдет для этого?
     
  7. Uralbox

    Uralbox Staff Member VIP Кинотрафик v2

    Messages:
    1,566
    Likes Received:
    174
    Best Answers:
    0
    Конечно, 100%
     
  8. TopicStarter Overlay
    Fant13k

    Fant13k Посетитель

    Messages:
    73
    Likes Received:
    10
    Best Answers:
    0
    Еще один вопрос, не хочу создавать отдельно тему.
    Подскажите какова частотность ВЧ, СЧ, НЧ для киносайта.