Robot.txt правильно ли я сделал ?

Двигло хотя бы закрой: Disallow: /engine/
На счет этого:
Disallow: /xfsearch/actors/
Disallow: /xfsearch/directors/

Ни че не индексирует, постоянно проверяю...лишнего ни чего не вылазит...Проиндексирует, тогда проверишь...xfsearch думаю можно нах убрать...оставить конкретную дерикторию...У всех роботцы разные, взависимосмте от сайта....единого не существует....где-то тема была на форуме...чуть ли не до скандала...

 

Смотри у меня как
Disallow: /xfsearch/* - не индексирует
Disallow: /tags/* - не индексирует
Disallow: /xfsearch/year/2019/page/*/ - не индексирует
Allow: /xfsearch/year/2019/ - индексирует
Allow: /tags/%D0%9C%D0%BE%D1%81%D1%84%D0%B8%D0%BB%D1%8C%D0%BC/ - индексирует
На этом примере и делай.

 

Disallow: /xfsearch/

 

Disallow: /page/*/
Можно и так
Disallow: /page/*

 

netlip09 В яндекс вебмастере есть проверка роботса - меняй и проверяй разные ссылки и узнаешь индексируется или нет. Если сайт на клаудфларе, то когда меняешь роботс включай мод разработчика (и проверяй сам файл роботс в браузере) или как он там называется.

 

у меня так закрыто:
Disallow: /page/
Disallow: /page/*/
Disallow: */page/*
Видно на всякий случай всё втыкнул
netlip09
И вот это закрыто у меня:
Disallow: /*?*
Disallow: /*?
Вроде как не нужное поисковику.
Очень давно собирал роботс, тогда еще инфы не было особо в нете, сейчас не парюсь копирую роботс на другие сайты.

 

Аналогично.
Подскажите пожалуйста по моему файлу
Яндекс скидывает отчет о добавлении страниц в поиск, но в 99,9 случаем это актеры и режиссёры((
Как сделать что бы он ссылки на фильмы добавлять начал, а не актеров и режиссёров(((

Code:

User-agent:*
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=download
Disallow: /*do=go

Host: https://ckopokino.online
Sitemap: https://ckopokino.online/sitemap.xml

На сайте алаева прочитал про вот такой роботс

Code:

User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Но так же он написал что это для чистого двига, из коробки.

 

Зачем?
Кто или что может индексировать директорию движка? Да и что там индексировать?

 

Тебя это не смущает?

 

Evurg я уже отправил сигнал об исправлении. Жду сижу.
Он постоянно ругается на один и тот же фильм "доктор стрэндж"

 

Evurg А с robots можешь помочь?!

 

Зачем вы ищете себе проблемы и придумываете велосипед ?
Мой роботс в связке с donbot:

User-agent: *
Disallow: /engine/
Disallow: /engine/go.php
Disallow: /engine/download.php

Более абсолютно не чего не нужно.
Всё остальное - только сугубо ваше надуманное.
Страдаете херней, зарабатывая геморой.