Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Антибот защита сайта от ботов semrushbot ahrefsbot linkpadbot и тд

Тема в разделе "Свободное общение", создана пользователем ИльяPRO, 7 май 2020.

07.05.20 в 03:53
ИльяPRO
11.05.20 в 13:21
Mik Foxi
7
1.952
0
Ответить в теме
  1. TopicStarter Overlay
    ИльяPRO

    ИльяPRO Бывалый

    Регистрация:
    1 апр 2016
    Сообщения:
    115
    Лучших ответов:
    0
    Рейтинги:
    +84 / 2 / -0
    Если покопаться в логах, можно найти огромное число запросов от seo сервисов.
    Эти боты могут создавать не малую нагрузку на ваш сервер копаша ваш сайт в поиске ссылок и анализируя контент.
    Вам пользы от этих ботов просто 0. А значит и терпеть лишнюю нагрузку на сервер не имеет никакого смысла.
    Лучшее решение забанить их через файл .htaccess

    PHP:
    RewriteCond %{HTTP_USER_AGENT} AhrefsBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} Ahrefs
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} SemrushBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} Semrush
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} DotBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} MJ12bot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} MauiBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} dotbot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} Riddler
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} LinkpadBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} BLEXBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} aiHitBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} trovitBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} BUbiNG
    RewriteRule     (.*) - [F,L]
     
    #1 ИльяPRO, 7 май 2020
  2. byroot

    byroot
    Забанен

    Регистрация:
    10 окт 2015
    Сообщения:
    12.295
    Лучших ответов:
    54
    Рейтинги:
    +5.206 / 74 / -0
    зачем он два раза прописан?
    2020-05-07_14-45-09.png
     
    #2 byroot, 7 май 2020
  3. Terras

    Terras
    PRO Users

    Регистрация:
    18 мар 2017
    Сообщения:
    307
    Лучших ответов:
    3
    Рейтинги:
    +56 / 1 / -0
    Насколько я знаю это не помогает, сколько не пробовал закрывать сайты от ahrefs подобных, ссылки все равно появляются в сервисе. Они тоже ребята прошаренные и у них как у яши есть хитроботы которые под пользователей косят
     
    #3 Terras, 7 май 2020
  4. Roman.U

    Roman.U
    PRO Users

    Регистрация:
    13 ноя 2015
    Сообщения:
    6.580
    Лучших ответов:
    5
    Рейтинги:
    +1.122 / 139 / -0
    Глупая затея, во первых не поможет, во 2 захочешь проверить свой сайт каким-то сервисом аналитики, и обломаешся).
    Если и закрывть, нужно хорошо подумать что закрыть а что нет.
     
    #4 Roman.U, 7 май 2020
  5. evgfreeman

    evgfreeman
    VIP Кинотрафик v2

    Регистрация:
    26 апр 2016
    Сообщения:
    3.349
    Лучших ответов:
    7
    Рейтинги:
    +1.520 / 210 / -0
    Глупая фигня) это не совсем то что ты подумал автор)
     
    #5 evgfreeman, 7 май 2020
  6. Mik Foxi

    Mik Foxi Бывалый

    Регистрация:
    8 апр 2020
    Сообщения:
    136
    Лучших ответов:
    0
    Рейтинги:
    +49 / 8 / -0
    Все правильно ТС делает, такие левые ненужные боты часто создают высокую нагрузку, особенно если это многостраничный вордпресс и т.п. Если бот имеет свое имя и он не нужен и он на сайт ходит активно (логи смотреть свои, а не соседа) - таких ботов надо банить на уровне .htaccess или nginx, это проще и дешевле, чем получать от хостера сообщения о перерасходе серверных ресурсов, видеть тормозящий сервер и платить больше денег за переход на тариф повыше.
    Но списки эти нужно создавать по своим логам и под свои надобности (некоторые вебмастера в такие списки могут заносить и бинг бота, как например я делаю и яндекс бота, как делают буржуйские вебмастера), а не копипастить из интернетов.
    А хитроботов, которые прикидываются браузером - надо не пускать моим клауд антиботом )))
     
    #6 Mik Foxi, 8 май 2020
  7. sandwich

    sandwich Бывалый

    Регистрация:
    8 сен 2017
    Сообщения:
    129
    Лучших ответов:
    1
    Рейтинги:
    +46 / 1 / -0
    Что у вас за сервера такие ? Которые нагружаются от ботов, при этом на сайт они заходят не 24/7.
    Никогда не страдал такой ерундой и вам не рекомендую.
     
    #7 sandwich, 11 май 2020
  8. Mik Foxi

    Mik Foxi Бывалый

    Регистрация:
    8 апр 2020
    Сообщения:
    136
    Лучших ответов:
    0
    Рейтинги:
    +49 / 8 / -0
    Сервера такие, чтоб хватало на сайт с людьми и гуглоботом, без учета 5 кратной нагрузки от ненужных ботов. Вот только с неделю назад сталкивался очередной клиент, вордпресс 1 сайт на 5 баксовом вдс хостинге, работал кряхтел, потом стал периодически падать и всю ночь зависшим висеть, пока его утром не ребутнут. Хостер сказал что пора 5$ менять на 15 в месяц. Но забанив таких ненужных именных ботов в нгинксе + повесил антибот + немного поднастроил сервер и все летает уже неделю пулей. Но можно было конечно просто начать тратить в месяц на 10$ больше ради блога...
     
    #8 Mik Foxi, 11 май 2020
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)
Похожие темы
  1. DDDD4

    Защита сайта от блокировок роскомнадзора

    DDDD4, 19 фев 2017, в разделе: Полезный софт
    Ответов:
    29
    Просмотров:
    13.993
    golodny
    3 июн 2022
  2. Romantv

    Защита сайта на dle и не только,от взлома с смс уведомлением!

    Romantv, 4 фев 2018, в разделе: Модули DLE
    Ответов:
    0
    Просмотров:
    1.152
    Romantv
    4 фев 2018
  3. Core System

    Сопровождение вашего сайта, защита от взлома, мониторинг, бекап, лечение от вирусов, etc.

    Core System, 9 июн 2019, в разделе: Прочие услуги
    Ответов:
    0
    Просмотров:
    2.193
    Core System
    9 июн 2019
  4. blacktds

    Антибот клоака blacktds \ blacktds antibot cloacking system

    blacktds, 25 июл 2019, в разделе: Прочие услуги
    Ответов:
    1
    Просмотров:
    649
    Roman.U
    26 июл 2019
Загрузка...
Переключить ширину
Стиль
Zerocool-New
Язык
Russian (RU)
Яндекс.Метрика