Вопрос про быстробота

скриптом каким то фигачат обновление всех страниц - следствие - куча мусора в выдаче, до поры до времени это всё.

 

щяс бы сайты в 2к16 на юкозе держать.

 

обновление по яндексу

а вот мой сайт. я обновляю примерно 7-8 фильмов в сутки.обновляй штук по 50 и будет хавать через 5 минут

 

дай пожалуйста линк откуда инфу берёшь?

 

@disazakon, xtool

 

за этим сайтом замечал,один и тот же фильм, в выдаче каждый день смотришь и написано добавлен час назад

 

один раз сделал спецыльно закладку в выдачи через три дня ищу тот же фильм и выдаче было написано добавлен час назад

 

подозреваю что связано с заголовком Last-Modified

 

если нужен заголовок в файл индех этот скрипт поставь
<?php
$LastModified_unix = strtotime(date("D, d M Y H:i:s", filectime($_SERVER['SCRIPT_FILENAME'])));
$LastModified = gmdate("D, d M Y H:i:s \G\M\T", $LastModified_unix);
$IfModifiedSince = false;

if (isset($_ENV['HTTP_IF_MODIFIED_SINCE']))
$IfModifiedSince = strtotime(substr($_ENV['HTTP_IF_MODIFIED_SINCE'], 5));

if (isset($_SERVER['HTTP_IF_MODIFIED_SINCE']))
$IfModifiedSince = strtotime(substr($_SERVER['HTTP_IF_MODIFIED_SINCE'], 5));

if ($IfModifiedSince && $IfModifiedSince >= $LastModified_unix) {
header($_SERVER['SERVER_PROTOCOL'] . ' 304 Not Modified');
exit;
}

header('Last-Modified: '. $LastModified);

?>

 

робот когда приходит на сайт он первым делом смотрит заголовок Last-Modified - это дата последнего изменения документа

 

с заголовками это связано

 

на сайте живет быстробот. постоянное обновление идет за счет смены урлов фильмов...