Реально ли полностью закрыть сайт от индексации?

Заблокировать юзерагент bot Bot на сервере или клоудфаере.

 

Закрыть сайт от индексации в robots.txt, как скрыть сайт от поисковых систем Яндекс и Google через файл роботс и meta-тегом

 

Блокировка индексирования при помощи директивы noindex | Центр Google Поиска  |  Документация  |  Google for Developers

как закрыть сайт от индексации - Поиск в Google

 

Подниму тему вот каким вопросом.

Смотрите, имеется сайт с киношками. Весь контент виден лишь авторизованным юзерам. На главной для неавторизованных юзеров отображается только форма авторизации и регистрации, ну и небольшое описание самого сайта. Больше ничего.
После авторизации юзер находит нужный контент и просматривает его. А Браузеры каким то образом передают инфу на сторонние ресурсы (на те же поисковики) о том, что имеется такая то страница с таким то содержимым? И правовики смогут узнать об этом?

 

Скриншот пришлите что отображается в поисковике

 

Да конечно. По ощущениям, тот же Яндекс-браузер собирает данные о посещаемых страницах, даже если на сайте не установлена Яндекс метрика.

 

Для Яндекса сработает, в гугл влетят страницы: будет title и ниже - описание страницы недоступно.

Надёжнее - метатег noindex,nofollow в коде страницы.

А ещё надёжнее - блокировка ботов по user agent на уровне сервера или cloudlare

 

Я в данном случае использую функцию проверки бота и если положительно то блокирую полностью (Отдаю код 403 и прекращаю выполнение скрипта)

Спойлер: Код

PHP:

function isGoogleBot() {
    $userAgent = $_SERVER['HTTP_USER_AGENT'];
    // Список известных ботов Google
    $googleBotUserAgents = [
        "Googlebot",
        "Googlebot-Image",
        "Googlebot-Video",
        "Googlebot-News",
        "Googlebot-Mobile",
        "Mediapartners-Google",
        "AdsBot-Google",
        "AdsBot-Google-Mobile",
        "Google-InspectionTool"
    ];

    // Проверяем, содержит ли User-Agent имя какого-либо бота Google
    foreach ($googleBotUserAgents as $botUserAgent) {
        if (stripos($userAgent, $botUserAgent) !== false) {
            return true; // User-Agent содержит имя бота Google
        }
    }

    return false; // User-Agent не содержит имена бота Google
}

function isYandexBotCheck() {
    $userAgent = isset($_SERVER['HTTP_USER_AGENT']) ? $_SERVER['HTTP_USER_AGENT'] : '';

    // Список известных User-Agent ботов Яндекса
    $yandexBotNames = array(
        'YandexBot',
        'YandexImages',
        'YandexFavicons',
        'YandexDirect',
        'YandexVideo',
        'YandexMedia',
        'YandexBlogs',
        'YandexCatalog',
        'YandexNews',
        'YandexMetrika',
        'YandexAccessibilityBot',
        'YandexMarket',
        'YandexSitelinks',
        'YandexAdNet',
        'YandexForDomain',
        'YandexSpravBot',
        'YandexVertis',
        'YandexDirectDyn',
        'YandexCalendar',
        'YandexVerticals',
        'YandexMobileBot',
        'YandexFlights',
        'YandexTravel',
        'YandexDirectTurbo',
        'YandexScreenshotBot',
        'YandexDirectXML',
        'YandexCalendarBot',
        'YandexDirectDyn-32',
        'YandexDirectDyn-21',
        'YandexCalendarMobileBot',
        'YandexMarketChecker',
        'YandexMetrikaCounter',
        'YandexDirect/PA',
        'YandexDirect/Video',
    );

    foreach ($yandexBotNames as $botName) {
        if (stripos($userAgent, $botName) !== false) {
            return true; // Нашли совпадение с ботом Яндекса
        }
    }

    return false; // Бот Яндекса не обнаружен
}

//Пример использование

if(isYandexBotCheck()){
   http_response_code(403);
   die("Доступ запрещен");
   exit();
}


 

А Гугл берет title из тега <title>Кино</title>, или он может взять например из <H1>Кино</H1>