Обсуждение Вопрос? Правильный ли robots

[simon70]

Правильный ли robots

Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=download
Disallow: /*do=go

может что включить надо?

Disallow: /*do=download за что отвечает?

Disallow: /*subaction=newposts

Disallow: /newposts/

а то что то на сайте проели количество посетителей.... на минус 1к

 

[Пафнутий]

Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=download
Disallow: /*do=go

Это все можешь одной строкой заменить:

Disallow: /*?

 

[simon70]

что означает /*? .... , как будет в индексе?

 

[Donate]

Можете брать любой robots с сайтов, стоящих в ТОП-10 по ВЧ. 🙂 Не ошибетесь.

 

[simon70]

как взять роботс с сайтов?

 

[Sunny_Curtis]

как взять роботс с сайтов?

К адресу сайта дописываешь /robots.txt

 

[simon70]

Allow: /*.jpg это разрешает картинки в индексе?
Allow: /*.png - это разрешает картинки в индексе?
Allow: /*.gif это разрешает картинки в индексе?
Allow: /*?page
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=download
Disallow: /*do=go

Sitemap: сайт/sitemap.xml

-----------

Allow: /*.css - это чтение кода?

так нормально?

 

[Пафнутий]

Allow: /*.jpg это разрешает картинки в индексе?
Allow: /*.png - это разрешает картинки в индексе?
Allow: /*.gif это разрешает картинки в индексе?
Allow: /*?page

Это ни к чему. Все что не запрещено, все разрешено

 

[simon70]

Disallow: /newposts/ это новая тема не разрешено?

 

[Пафнутий]

Disallow: /newposts/ это новая тема не разрешено?

Новые посты, закрыты потому что обычно дублируют новости на главной странице

 

[Slavchik]

Это все можешь одной строкой заменить:

Disallow: /*?

Не ошиблись? Инет говорит что это означает

 

[Пафнутий]

Не ошиблись? Инет говорит что это означает
Посмотреть вложение 31648

Исхожу из того, что используется dle с включенным по умолчанию ЧПУ
url с параметрами (в которых символ "?") - служебные страницы, которые в индексе не нужны

 

[Sardorbek]

Это все можешь одной строкой заменить:

Disallow: /*?

Разве это не закрывает вес контент?)

 

[Пафнутий]

Разве это не закрывает вес контент?)

Нет.