Обсуждение Robot.txt правильно ли я сделал ?

[netlip09]

Disallow: /xfsearch/actors/
Disallow: /xfsearch/directors/

Хотел чтобы поисковики не индексировали актеров и режисеров, пожалуйста подскажите правильно ли это. Вот целый робот тхт. в конце добавил эти строки
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=download
Disallow: /*do=go
Disallow: /xfsearch/actors/
Disallow: /xfsearch/directors/

 

[D-Base]

Disallow: /xfsearch/actors/
Disallow: /xfsearch/directors/

Хотел чтобы поисковики не индексировали актеров и режисеров, пожалуйста подскажите правильно ли это. Вот целый робот тхт. в конце добавил эти строки
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=download
Disallow: /*do=go
Disallow: /xfsearch/actors/
Disallow: /xfsearch/directors/

Двигло хотя бы закрой: Disallow: /engine/
На счет этого:
Disallow: /xfsearch/actors/
Disallow: /xfsearch/directors/

Ни че не индексирует, постоянно проверяю...лишнего ни чего не вылазит...Проиндексирует, тогда проверишь...xfsearch думаю можно нах убрать...оставить конкретную дерикторию...У всех роботцы разные, взависимосмте от сайта....единого не существует....где-то тема была на форуме...чуть ли не до скандала...😀

 

[netlip09]

Двигло хотя бы закрой: Disallow: /engine/
На счет этого:
Disallow: /xfsearch/actors/
Disallow: /xfsearch/directors/

Ни че не индексирует, постоянно проверяю...лишнего ни чего не вылазит...Проиндексирует, тогда проверишь...xfsearch думаю можно нах убрать...оставить конкретную дерикторию...У всех роботцы разные, взависимосмте от сайта....единого не существует....где-то тема была на форуме...чуть ли не до скандала...😀

Так ?
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=download
Disallow: /*do=go
Disallow: /actors/
Disallow: /directors/
Disallow: /engine/

 

[Romantv]

Смотри у меня как
Disallow: /xfsearch/* - не индексирует
Disallow: /tags/* - не индексирует
Disallow: /xfsearch/year/2019/page/*/ - не индексирует
Allow: /xfsearch/year/2019/ - индексирует
Allow: /tags/%D0%9C%D0%BE%D1%81%D1%84%D0%B8%D0%BB%D1%8C%D0%BC/ - индексирует
На этом примере и делай.

 

[Felix10]

Disallow: /actors/
Disallow: /directors/

Disallow: /xfsearch/

 

[netlip09]

Смотри у меня как
Disallow: /xfsearch/* - не индексирует
Disallow: /tags/* - не индексирует
Disallow: /xfsearch/year/2019/page/*/ - не индексирует
Allow: /xfsearch/year/2019/ - индексирует
Allow: /tags/%D0%9C%D0%BE%D1%81%D1%84%D0%B8%D0%BB%D1%8C%D0%BC/ - индексирует
На этом примере и делай.

Подскажи еще как сделать так чтобы не индексировал страницы /page/

 

[Romantv]

Подскажи еще как сделать так чтобы не индексировал страницы /page/

Disallow: /page/*/
Можно и так
Disallow: /page/*

 

[olegaby]

netlip09 В яндекс вебмастере есть проверка роботса - меняй и проверяй разные ссылки и узнаешь индексируется или нет. Если сайт на клаудфларе, то когда меняешь роботс включай мод разработчика (и проверяй сам файл роботс в браузере) или как он там называется.

 

[olegaby]

Disallow: /page/*/
Можно и так
Disallow: /page/*

у меня так закрыто:
Disallow: /page/
Disallow: /page/*/
Disallow: */page/*
Видно на всякий случай всё втыкнул 🙂
netlip09
И вот это закрыто у меня:
Disallow: /*?*
Disallow: /*?
Вроде как не нужное поисковику.
Очень давно собирал роботс, тогда еще инфы не было особо в нете, сейчас не парюсь копирую роботс на другие сайты.

 

[givi33]

Аналогично.
Подскажите пожалуйста по моему файлу😳
Яндекс скидывает отчет о добавлении страниц в поиск, но в 99,9 случаем это актеры и режиссёры((
Как сделать что бы он ссылки на фильмы добавлять начал, а не актеров и режиссёров(((

User-agent:*
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=download
Disallow: /*do=go

Host: https://ckopokino.online
Sitemap: https://ckopokino.online/sitemap.xml

На сайте алаева прочитал про вот такой роботс

User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Но так же он написал что это для чистого двига, из коробки.

 

[sunx]

Disallow: /engine/

Зачем?
Кто или что может индексировать директорию движка? Да и что там индексировать?

 

[Evurg]

Яндекс скидывает отчет о добавлении страниц в поиск, но в 99,9 случаем это актеры и режиссёры((
Как сделать что бы он ссылки на фильмы добавлять начал, а не актеров и режиссёров(((

Тебя это не смущает?

 

[givi33]

Evurg я уже отправил сигнал об исправлении. Жду сижу.
Он постоянно ругается на один и тот же фильм "доктор стрэндж"

 

[givi33]

Evurg А с robots можешь помочь?!🙄

 

[wawe]

Зачем вы ищете себе проблемы и придумываете велосипед ? 😵
Мой роботс в связке с donbot:

User-agent: *
Disallow: /engine/
Disallow: /engine/go.php
Disallow: /engine/download.php

Более абсолютно не чего не нужно.
Всё остальное - только сугубо ваше надуманное.
Страдаете херней, зарабатывая геморой.