Обсуждение Че за херня с гуглом ?

[aeneas]

а зачем вообще закрывать папку engine ? ну проиндексируют ее и че

 

[Ботяра]

а зачем вообще закрывать папку engine ? ну проиндексируют ее и че

зачем оно надо?
engine/print.php
engine/opensearch.php
engine/rss.php
да и прочего хлама много в engine/*, который в поисковой выдаче не нужен!

 

[aeneas]

зачем оно надо?
engine/print.php
engine/opensearch.php
engine/rss.php
да и прочего хлама много в engine/*, который в поисковой выдаче не нужен!

вот
траф 50к, заработок 350к, продан на телдери >4 млн недавно
честно говоря хз, там вот не закрыто

 

[aeneas]

так норм (если открыть что на скрине надо, а там смотреть че еще вылезет) -
User-agent: *
Disallow: /engine/
Alow: engine/classes/min/*
Alow: engine/data/emoticons/*
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

 

[Ботяра]

вот
траф 50к, заработок 350к, продан на телдери >4 млн недавно
честно говоря хз, там вот не закрыто

у них и /xfsearch/ закрыто, хотя на сайте нет ни одной ссылки из перекрестных ссылок доп полей...

 

[aeneas]

у них и /xfsearch/ закрыто, хотя на сайте нет ни одной ссылки из перекрестных ссылок доп полей...

как всетаки правильно сделать )) подразумеваю только папку engine, остальное я закрываю модулем донбот

 

[Ботяра]

как всетаки правильно сделать )) подразумеваю только папку engine, остальное я закрываю модулем донбот

бери с киномассы и не парься 🙂

 

[aeneas]

бери с киномассы и не парься 🙂

а как же эта байда ? -
engine/print.php
engine/opensearch.php
engine/rss.php

 

[Ботяра]

Я бы не искал аргументы что там закрыто, а тут нет... придерживаюсь короткого роботса Алаева, ну а чтобы гугл мог индекировать нужные скрипты и смайлы - добавить Allow перед запрещающей строкой engine на нужные директории. Остальное всё закрывать через метатеги на страницах, которые не нужны в поиске. Можно пойти другим путем, и устроить такой, например, изврат. 😀

 

[aeneas]

Я бы не искал аргументы что там закрыто, а тут нет... придерживаюсь короткого роботса Алаева, ну а чтобы гугл мог индекировать нужные скрипты и смайлы - добавить Allow перед запрещающей строкой engine на нужные директории. Остальное всё закрывать через метатеги на страницах, которые не нужны в поиске. Можно пойти другим путем, и устроить такой, например, изврат. 😀

не, я тоже алаича пользую вариант в связке с его же донботом, но факт остается фактом - ошибки прут как на скрине выше
так что же все таки такой ? -
User-agent: *
Alow: engine/classes/min/*
Alow: engine/data/emoticons/*
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

или как в киномассе )) я почему у них сразу глянул - в лоте при продаже он писал что мол недавно провели сео оптимизацию сайта бла бла

 

[Ботяра]

Alow - две L надо (пропустил выше когда писал...), и не будет тех ошибок в гугле 🙂
Allow

 

[aeneas]

Alow - две L надо (пропустил выше когда писал...), и не будет тех ошибок в гугле 🙂
Allow

спс

 

[softerline]

У меня в роботс сделано так:

Disallow: /

А дерективами Allow открыто только то что нужно

 

[Ботяра]

А дерективами Allow открыто только то что нужно

😱
если категории сделаны жанрами - сколько получится строк в файле? нихуяси поисковик будет только robots.txt читать и забивать на поиски разрешенных файлов для загрузки
sitemap.xml то хоть разрешен? 😀

 

[softerline]

😱
если категории сделаны жанрами - сколько получится строк в файле? нихуяси поисковик будет только robots.txt читать и забивать на поиски разрешенных файлов для загрузки
sitemap.xml то хоть разрешен? 😀

Все сделано как надо, зато 200% что фуфел в индекс не выпадет.

 

[aeneas]

Все сделано как надо, зато 200% что фуфел в индекс не выпадет.

вы извращенец сударь ))))

 

[softerline]

вы извращенец сударь ))))

15 строк, за то поисковые боты не шаряться где не надо.

 

[Olegjan]

PR обнулился, всё 🙁

 

[aeneas]

PR обнулился, всё 🙁

он уж сколько лет просто так висел как цыферка )

 

[Olegjan]

он уж сколько лет просто так висел как цыферка )

15 лет.