@aeneas, Вот так сделано на кинокрике User-agent: * Disallow: /user/ Disallow: /tags/ Disallow: /backup/ Disallow: /language/ Disallow: /admin.php Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /2014/ Disallow: /pravoobladatelyam.html Disallow: */page/* Disallow: /page* Disallow: /*.php* Allow: /templates/ Host: kinokrik.net Sitemap: http://kinokrik.net/sitemap.xml
может это и было правильно когда то, я тоже раньше примерно такие портянки делал но жизнь не стоит на месте, в том числе меняются и требования с алгоритмами ПС года два назад было актуально алаича метод, сейчас он уже не совсем актуален, нужно делать коррективы а на крике хз, портянка, каждый делает как хочет в общем )
выше же все расписано ) по алаичу так - User-agent: * Disallow: /engine/ Host: site.ru Sitemap: http://site.ru/sitemap.xml теперь надо как минимум так - User-agent: * Allow: engine/classes/min/* Allow: engine/data/emoticons/* Disallow: /engine/ Host: site.ru Sitemap: http://site.ru/sitemap.xml
@aeneas, Ещё вопросик, раз вы уж пользуетесь методом Алаича, подскажите, стоит ли закрывать страницы пагинации и категорий. Интересуют пункты, которые я указал ниже, как правильней делать? Заранее спасибо. //(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */ //($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */ //($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */ //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */ //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
вот пример влияния дублей на уникальный вроде бы на странице текст - http://vivkino.ru/88-belosnezhka-i-ohotnik2-2016.html Уникальность: 71.41% vivkino.ru/fjentjezi 28% vivkino.ru/dramy/ 27% за дубли обе ПС санцкии накладывают уже давно однозначно пагинацию к чертям в буржуе принято вообще категории полностью закрывать, там гугл жестко опускает за дубли оставляйте только главную страницу категорий
Устранять Прочти внимательно справку, и все станет понятно: https://support.google.com/webmasters/answer/6153277 Смотри на заблокированный ресурс, у меня до..бался вот до этого: http://site.ru/index.php?do=lastcomments Из-за этого заблочил 547 страниц, не нравится ему строка в роботсе *do=lastcomments - удалил посмотрим
Ок, а почему по результатам проверки robots.txt в Яндекс.Вебмастере он ругается на это? 2: Allow: engine/classes/min/* Правило начинается не с символа '/' и не с символа '*' 3: Allow: engine/data/emoticons/* Правило начинается не с символа '/' и не с символа '*'
ну это да, по сервисам проверки если есть - желательно проверять всё, т.к. часто бывает что / и " забыл указать - и косяки могут быть
в гугле - да! он будет видеть все JS/CSS если они сжаты стандартными средствами min.php... тогда в "посмотреть к гугбот" сайт должен выглядеть в обоих колонках одинаково!