Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Robot.txt правильно ли я сделал ?

Тема в разделе "Google", создана пользователем netlip09, 13 сен 2019.

13.09.19 в 23:03
21.09.19 в 17:34
14
1.209
0
  1. TopicStarter Overlay
    netlip09

    netlip09 Новичок

    Регистрация:
    7 сен 2019
    Сообщения:
    41
    Лучших ответов:
    0
    Рейтинги:
    +5 / 6 / -0
    Disallow: /xfsearch/actors/
    Disallow: /xfsearch/directors/

    Хотел чтобы поисковики не индексировали актеров и режисеров, пожалуйста подскажите правильно ли это. Вот целый робот тхт. в конце добавил эти строки
    User-agent: *
    Disallow: /engine/go.php
    Disallow: /user/
    Disallow: /newposts/
    Disallow: /statistics.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search
    Disallow: /*do=download
    Disallow: /*do=go
    Disallow: /xfsearch/actors/
    Disallow: /xfsearch/directors/
     
  2. D-Base

    PRO Users

    Регистрация:
    26 май 2017
    Сообщения:
    386
    Лучших ответов:
    1
    Рейтинги:
    +95 / 36 / -0
    Двигло хотя бы закрой: Disallow: /engine/
    На счет этого:
    Disallow: /xfsearch/actors/
    Disallow: /xfsearch/directors/

    Ни че не индексирует, постоянно проверяю...лишнего ни чего не вылазит...Проиндексирует, тогда проверишь...xfsearch думаю можно нах убрать...оставить конкретную дерикторию...У всех роботцы разные, взависимосмте от сайта....единого не существует....где-то тема была на форуме...чуть ли не до скандала...:D
     
    • Нравится Нравится x 1
  3. TopicStarter Overlay
    netlip09

    netlip09 Новичок

    Регистрация:
    7 сен 2019
    Сообщения:
    41
    Лучших ответов:
    0
    Рейтинги:
    +5 / 6 / -0
    Так ?
    User-agent: *
    Disallow: /engine/go.php
    Disallow: /user/
    Disallow: /newposts/
    Disallow: /statistics.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search
    Disallow: /*do=download
    Disallow: /*do=go
    Disallow: /actors/
    Disallow: /directors/
    Disallow: /engine/
     
  4. Romantv

    Забанен

    Регистрация:
    17 июл 2015
    Сообщения:
    6.992
    Лучших ответов:
    6
    Рейтинги:
    +2.000 / 141 / -0
    Смотри у меня как
    Disallow: /xfsearch/* - не индексирует
    Disallow: /tags/* - не индексирует
    Disallow: /xfsearch/year/2019/page/*/ - не индексирует
    Allow: /xfsearch/year/2019/ - индексирует
    Allow: /tags/%D0%9C%D0%BE%D1%81%D1%84%D0%B8%D0%BB%D1%8C%D0%BC/ - индексирует
    На этом примере и делай.
     
    • Лучший Лучший x 1
  5. Felix10

    Felix10 Бывалый

    Регистрация:
    20 май 2019
    Сообщения:
    238
    Лучших ответов:
    0
    Рейтинги:
    +62 / 8 / -0
    Disallow: /xfsearch/
     
    • Нравится Нравится x 1
  6. TopicStarter Overlay
    netlip09

    netlip09 Новичок

    Регистрация:
    7 сен 2019
    Сообщения:
    41
    Лучших ответов:
    0
    Рейтинги:
    +5 / 6 / -0
    Подскажи еще как сделать так чтобы не индексировал страницы /page/
     
  7. Romantv

    Забанен

    Регистрация:
    17 июл 2015
    Сообщения:
    6.992
    Лучших ответов:
    6
    Рейтинги:
    +2.000 / 141 / -0
    Disallow: /page/*/
    Можно и так
    Disallow: /page/*
     
    • Нравится Нравится x 1
  8. olegaby

    PRO Users

    Регистрация:
    28 окт 2015
    Сообщения:
    975
    Лучших ответов:
    4
    Рейтинги:
    +257 / 80 / -0
    netlip09 В яндекс вебмастере есть проверка роботса - меняй и проверяй разные ссылки и узнаешь индексируется или нет. Если сайт на клаудфларе, то когда меняешь роботс включай мод разработчика (и проверяй сам файл роботс в браузере) или как он там называется.
     
    • Лучший Лучший x 1
  9. olegaby

    PRO Users

    Регистрация:
    28 окт 2015
    Сообщения:
    975
    Лучших ответов:
    4
    Рейтинги:
    +257 / 80 / -0
    у меня так закрыто:
    Disallow: /page/
    Disallow: /page/*/
    Disallow: */page/*
    Видно на всякий случай всё втыкнул :)
    netlip09
    И вот это закрыто у меня:
    Disallow: /*?*
    Disallow: /*?
    Вроде как не нужное поисковику.
    Очень давно собирал роботс, тогда еще инфы не было особо в нете, сейчас не парюсь копирую роботс на другие сайты.
     
    • Нравится Нравится x 1
  10. givi33

    givi33 Бывалый

    Регистрация:
    30 июл 2019
    Сообщения:
    552
    Лучших ответов:
    0
    Рейтинги:
    +46 / 18 / -0
    Аналогично.
    Подскажите пожалуйста по моему файлу:oops:
    Яндекс скидывает отчет о добавлении страниц в поиск, но в 99,9 случаем это актеры и режиссёры((
    Как сделать что бы он ссылки на фильмы добавлять начал, а не актеров и режиссёров(((

    Код:
    User-agent:*
    Disallow: /engine/go.php
    Disallow: /user/
    Disallow: /newposts/
    Disallow: /statistics.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search
    Disallow: /*do=download
    Disallow: /*do=go
    
    Host: https://ckopokino.online
    Sitemap: https://ckopokino.online/sitemap.xml
    На сайте алаева прочитал про вот такой роботс
    Код:
    User-agent: *
    Disallow: /engine/
    Host: site.ru
    Sitemap: http://site.ru/sitemap.xml
    Но так же он написал что это для чистого двига, из коробки.
     
  11. sunx

    PRO Users

    Регистрация:
    9 ноя 2015
    Сообщения:
    272
    Лучших ответов:
    1
    Рейтинги:
    +177 / 34 / -0
    Зачем?
    Кто или что может индексировать директорию движка? Да и что там индексировать?
     
  12. Evurg

    Evurg Бывалый

    Регистрация:
    10 апр 2017
    Сообщения:
    565
    Лучших ответов:
    0
    Рейтинги:
    +174 / 48 / -0
    met.JPG

    Тебя это не смущает?
     
  13. givi33

    givi33 Бывалый

    Регистрация:
    30 июл 2019
    Сообщения:
    552
    Лучших ответов:
    0
    Рейтинги:
    +46 / 18 / -0
    Evurg я уже отправил сигнал об исправлении. Жду сижу.
    Он постоянно ругается на один и тот же фильм "доктор стрэндж"
     
  14. givi33

    givi33 Бывалый

    Регистрация:
    30 июл 2019
    Сообщения:
    552
    Лучших ответов:
    0
    Рейтинги:
    +46 / 18 / -0
    Evurg А с robots можешь помочь?!:rolleyes:
     
  15. wawe

    PRO Users

    Регистрация:
    23 янв 2017
    Сообщения:
    3.549
    Лучших ответов:
    6
    Рейтинги:
    +1.574 / 404 / -0
    Зачем вы ищете себе проблемы и придумываете велосипед ? o_O
    Мой роботс в связке с donbot:

    User-agent: *
    Disallow: /engine/
    Disallow: /engine/go.php
    Disallow: /engine/download.php

    Более абсолютно не чего не нужно.
    Всё остальное - только сугубо ваше надуманное.
    Страдаете херней, зарабатывая геморой.
     
Яндекс.Метрика