Редактор темы

Реклама
Реклама
Реклама
Реклама

Че за херня с гуглом ?

  • Автор темы Автор темы MFilms
  • Дата начала Дата начала
@aeneas,

Вот так сделано на кинокрике

User-agent: *
Disallow: /user/
Disallow: /tags/
Disallow: /backup/
Disallow: /language/
Disallow: /admin.php
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /2014/
Disallow: /pravoobladatelyam.html
Disallow: */page/*
Disallow: /page*
Disallow: /*.php*

Allow: /templates/

Host: kinokrik.net
Sitemap: http://kinokrik.net/sitemap.xml
 
@aeneas,

Вот так сделано на кинокрике

User-agent: *
Disallow: /user/
Disallow: /tags/
Disallow: /backup/
Disallow: /language/
Disallow: /admin.php
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /2014/
Disallow: /pravoobladatelyam.html
Disallow: */page/*
Disallow: /page*
Disallow: /*.php*

Allow: /templates/

Host: kinokrik.net
Sitemap: http://kinokrik.net/sitemap.xml

может это и было правильно когда то, я тоже раньше примерно такие портянки делал
но жизнь не стоит на месте, в том числе меняются и требования с алгоритмами ПС
года два назад было актуально алаича метод, сейчас он уже не совсем актуален, нужно делать коррективы
а на крике хз, портянка, каждый делает как хочет в общем )
 
@aeneas, а что Алаича метод сейчас не актуален?
 
@aeneas, а что Алаича метод сейчас не актуален?

выше же все расписано )
по алаичу так -
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

теперь надо как минимум так -
User-agent: *
Allow: engine/classes/min/*
Allow: engine/data/emoticons/*
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
 
@aeneas,

Понятно, просмотрел)
 
@aeneas, Ещё вопросик, раз вы уж пользуетесь методом Алаича, подскажите, стоит ли закрывать страницы пагинации и категорий. Интересуют пункты, которые я указал ниже, как правильней делать? Заранее спасибо.

//(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
//($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
//($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
//($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
//($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
 
@aeneas, Ещё вопросик, раз вы уж пользуетесь методом Алаича, подскажите, стоит ли закрывать страницы пагинации и категорий. Интересуют пункты, которые я указал ниже, как правильней делать? Заранее спасибо.

//(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
//($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
//($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
//($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
//($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */

вот пример влияния дублей на уникальный вроде бы на странице текст -

http://vivkino.ru/88-belosnezhka-i-ohotnik2-2016.html
Уникальность: 71.41%
vivkino.ru/fjentjezi 28%
vivkino.ru/dramy/ 27%

за дубли обе ПС санцкии накладывают уже давно
однозначно пагинацию к чертям
в буржуе принято вообще категории полностью закрывать, там гугл жестко опускает за дубли
оставляйте только главную страницу категорий
 
Это серьезно? Почитал тему, так и не нашел ответа.

http://floomby.ru/s2/tg2v3f

что делать с этим?
Устранять 🙂
Прочти внимательно справку, и все станет понятно: https://support.google.com/webmasters/answer/6153277
Смотри на заблокированный ресурс, у меня до..бался вот до этого:

http://site.ru/index.php?do=lastcomments
Из-за этого заблочил 547 страниц, не нравится ему строка в роботсе *do=lastcomments - удалил посмотрим
 
так в том и дело, что это же не мой сайт. каким образом я должен открывать ему доступ? 😕
 
вообще короче не вдупляю. кто прошарен в этом, кто может помочь? не за бесплатно естессно.
 
выше же все расписано )
по алаичу так -
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

теперь надо как минимум так -
User-agent: *
Allow: engine/classes/min/*
Allow: engine/data/emoticons/*
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Ок, а почему по результатам проверки robots.txt в Яндекс.Вебмастере он ругается на это?

2: Allow: engine/classes/min/* Правило начинается не с символа '/' и не с символа '*'
3: Allow: engine/data/emoticons/* Правило начинается не с символа '/' и не с символа '*'
 
Ок, а почему по результатам проверки robots.txt в Яндекс.Вебмастере он ругается на это?

2: Allow: engine/classes/min/* Правило начинается не с символа '/' и не с символа '*'
3: Allow: engine/data/emoticons/* Правило начинается не с символа '/' и не с символа '*'
ну поставь слешь - будет явно указывать от корня сайта 😉
 
видимо aeneas завтыкал, вот так насоветуют не проверяя, а потом ошибки
ну это да, по сервисам проверки если есть - желательно проверять всё, т.к. часто бывает что / и " забыл указать - и косяки могут быть 😳
 
byroot, а что ты думаешь по поводу этих двух строк? на деле они устраняют ошибки?
 
byroot, а что ты думаешь по поводу этих двух строк? на деле они устраняют ошибки?
в гугле - да! он будет видеть все JS/CSS если они сжаты стандартными средствами min.php...
тогда в "посмотреть к гугбот" сайт должен выглядеть в обоих колонках одинаково!
 

Похожие темы Последние темы Популярные темы

Назад
Сверху