Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Помогите настроить файл robots.txt

Тема в разделе "Аудиты сайтов - оценка функционала, юзабилити", создана пользователем Superwanget, 21 фев 2017.

21.02.17 в 19:46
21.02.17 в 20:00
2
513
0
  1. TopicStarter Overlay
    Superwanget

    PRO Users

    Регистрация:
    16 фев 2017
    Сообщения:
    262
    Лучших ответов:
    0
    Рейтинги:
    +40 / 14 / -0
    Я знаю, что было много тем, но конкретного ответа я так и не нашел, мой файл роботс выглядит так, что нужно добавить или убрать? В файле присутствует hosts, просто не хочу палить сайт пока что) Буду рад адекватным ответам, спасибо.


    User-agent: *
    Disallow: /engine/go.php
    Disallow: /engine/download.php
    Disallow: /user/
    Disallow: /addnews
    Disallow: /newposts/
    Disallow: /statistics.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search
     
  2. doNoth1ng

    doNoth1ng Бывалый

    Регистрация:
    14 янв 2017
    Сообщения:
    173
    Лучших ответов:
    1
    Рейтинги:
    +26 / 1 / -0
    Ну это все индивидуально... убери из роботс те dissalow, которые не нужны и добавь те страницы, которые нужны. Все очевидно и просто. Тут нет шаблона..
    Например добавь карту сайта, так же можешь запретить индексацию страниц (/page/2/, page/3/), если есть не нужные страницы для ПС типо (правообладателям, реклама на нашем сайте и т.д.) то тоже можешь смело их закрыть.
    Думать ты уловил о чем речь.
     
    • Нравится Нравится x 1
  3. Karabas Barabas

    Команда форума VIP Кинотрафик v2

    Регистрация:
    20 ноя 2015
    Сообщения:
    8.172
    Лучших ответов:
    1
    Рейтинги:
    +3.756 / 12 / -0
    Ставь don bot от алаича http://alaev.info/blog/post/4481 и в роботс оставить только
    Код:
    User-agent: *
    Disallow: /engine/
    Allow: /engine/classes/js/
    Allow: /engine/classes/min/index.php
    Allow: /engine/data/emoticons/
    ну и хост и сайт мап добавить ещё.
     
    • Нравится Нравится x 1
Яндекс.Метрика