зачем оно надо? engine/print.php engine/opensearch.php engine/rss.php да и прочего хлама много в engine/*, который в поисковой выдаче не нужен!
так норм (если открыть что на скрине надо, а там смотреть че еще вылезет) - User-agent: * Disallow: /engine/ Alow: engine/classes/min/* Alow: engine/data/emoticons/* Host: site.ru Sitemap: http://site.ru/sitemap.xml
как всетаки правильно сделать )) подразумеваю только папку engine, остальное я закрываю модулем донбот
Я бы не искал аргументы что там закрыто, а тут нет... придерживаюсь короткого роботса Алаева, ну а чтобы гугл мог индекировать нужные скрипты и смайлы - добавить Allow перед запрещающей строкой engine на нужные директории. Остальное всё закрывать через метатеги на страницах, которые не нужны в поиске. Можно пойти другим путем, и устроить такой, например, изврат.
не, я тоже алаича пользую вариант в связке с его же донботом, но факт остается фактом - ошибки прут как на скрине выше так что же все таки такой ? - User-agent: * Alow: engine/classes/min/* Alow: engine/data/emoticons/* Disallow: /engine/ Host: site.ru Sitemap: http://site.ru/sitemap.xml или как в киномассе )) я почему у них сразу глянул - в лоте при продаже он писал что мол недавно провели сео оптимизацию сайта бла бла
если категории сделаны жанрами - сколько получится строк в файле? поисковик будет только robots.txt читать и забивать на поиски разрешенных файлов для загрузки sitemap.xml то хоть разрешен?
