Че за херня с гуглом ?

а зачем вообще закрывать папку engine ? ну проиндексируют ее и че

 

зачем оно надо?
engine/print.php
engine/opensearch.php
engine/rss.php
да и прочего хлама много в engine/*, который в поисковой выдаче не нужен!

 

вот
траф 50к, заработок 350к, продан на телдери >4 млн недавно
честно говоря хз, там вот не закрыто

 

так норм (если открыть что на скрине надо, а там смотреть че еще вылезет) -
User-agent: *
Disallow: /engine/
Alow: engine/classes/min/*
Alow: engine/data/emoticons/*
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

 

у них и /xfsearch/ закрыто, хотя на сайте нет ни одной ссылки из перекрестных ссылок доп полей...

 

как всетаки правильно сделать )) подразумеваю только папку engine, остальное я закрываю модулем донбот

 

бери с киномассы и не парься

 

а как же эта байда ? -
engine/print.php
engine/opensearch.php
engine/rss.php

 

Я бы не искал аргументы что там закрыто, а тут нет... придерживаюсь короткого роботса Алаева, ну а чтобы гугл мог индекировать нужные скрипты и смайлы - добавить Allow перед запрещающей строкой engine на нужные директории. Остальное всё закрывать через метатеги на страницах, которые не нужны в поиске. Можно пойти другим путем, и устроить такой, например, изврат.

 

не, я тоже алаича пользую вариант в связке с его же донботом, но факт остается фактом - ошибки прут как на скрине выше
так что же все таки такой ? -
User-agent: *
Alow: engine/classes/min/*
Alow: engine/data/emoticons/*
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

или как в киномассе )) я почему у них сразу глянул - в лоте при продаже он писал что мол недавно провели сео оптимизацию сайта бла бла

 

Alow - две L надо (пропустил выше когда писал...), и не будет тех ошибок в гугле
Allow

 

спс

 

У меня в роботс сделано так:

Disallow: /

А дерективами Allow открыто только то что нужно

 

если категории сделаны жанрами - сколько получится строк в файле? поисковик будет только robots.txt читать и забивать на поиски разрешенных файлов для загрузки
sitemap.xml то хоть разрешен?

 

Все сделано как надо, зато 200% что фуфел в индекс не выпадет.

 

вы извращенец сударь ))))

 

15 строк, за то поисковые боты не шаряться где не надо.

 

он уж сколько лет просто так висел как цыферка )