Обсуждение Антибот защита сайта от ботов semrushbot ahrefsbot linkpadbot и тд

[ИльяPRO]

Если покопаться в логах, можно найти огромное число запросов от seo сервисов.
Эти боты могут создавать не малую нагрузку на ваш сервер копаша ваш сайт в поиске ссылок и анализируя контент.
Вам пользы от этих ботов просто 0. А значит и терпеть лишнюю нагрузку на сервер не имеет никакого смысла.
Лучшее решение забанить их через файл .htaccess

RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Ahrefs
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Semrush
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} DotBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MauiBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BUbiNG
RewriteRule (.*) - [F,L]

 

[Ботяра]

dotbot

зачем он два раза прописан?

 

[Terras]

Насколько я знаю это не помогает, сколько не пробовал закрывать сайты от ahrefs подобных, ссылки все равно появляются в сервисе. Они тоже ребята прошаренные и у них как у яши есть хитроботы которые под пользователей косят

 

[Roman.U]

Глупая затея, во первых не поможет, во 2 захочешь проверить свой сайт каким-то сервисом аналитики, и обломаешся).
Если и закрывть, нужно хорошо подумать что закрыть а что нет.

 

[evgfreeman]

Глупая фигня) это не совсем то что ты подумал автор)

 

[Mik Foxi]

Все правильно ТС делает, такие левые ненужные боты часто создают высокую нагрузку, особенно если это многостраничный вордпресс и т.п. Если бот имеет свое имя и он не нужен и он на сайт ходит активно (логи смотреть свои, а не соседа) - таких ботов надо банить на уровне .htaccess или nginx, это проще и дешевле, чем получать от хостера сообщения о перерасходе серверных ресурсов, видеть тормозящий сервер и платить больше денег за переход на тариф повыше.
Но списки эти нужно создавать по своим логам и под свои надобности (некоторые вебмастера в такие списки могут заносить и бинг бота, как например я делаю и яндекс бота, как делают буржуйские вебмастера), а не копипастить из интернетов.
А хитроботов, которые прикидываются браузером - надо не пускать моим клауд антиботом )))

 

[sandwich]

Что у вас за сервера такие ? Которые нагружаются от ботов, при этом на сайт они заходят не 24/7.
Никогда не страдал такой ерундой и вам не рекомендую.

 

[Mik Foxi]

Что у вас за сервера такие ? Которые нагружаются от ботов, при этом на сайт они заходят не 24/7.
Никогда не страдал такой ерундой и вам не рекомендую.

Сервера такие, чтоб хватало на сайт с людьми и гуглоботом, без учета 5 кратной нагрузки от ненужных ботов. Вот только с неделю назад сталкивался очередной клиент, вордпресс 1 сайт на 5 баксовом вдс хостинге, работал кряхтел, потом стал периодически падать и всю ночь зависшим висеть, пока его утром не ребутнут. Хостер сказал что пора 5$ менять на 15 в месяц. Но забанив таких ненужных именных ботов в нгинксе + повесил антибот + немного поднастроил сервер и все летает уже неделю пулей. Но можно было конечно просто начать тратить в месяц на 10$ больше ради блога...