Antibotwaf — защита сайта от ботов, накрутки поведенческих факторов и т.п.

Для Cloudflare установите следующие настройки:

[header_proxy]
enabled = On ; Включает обработку дополнительных заголовков
header_ip = HTTP_CF_CONNECTING_IP ; ip-адрес
header_http_version = ; версия HTTP
header_protocol = ; http или https

 

Один из клиентов попросил избавить его от ПФ ботов. На графике ниже видно, что основная часть ботов заходила со Смартфонов. После включения капчи посещаемость с мобилок упала с 20к до 1.5к в месяц. Ниша у клиента на 99% заточена под поиск товаров на ПК (работа менеджеров в офисе).

 

Выпущено обновление для тестировщиков v0.5.0
https://github.com/githubniko/antibot/tree/dev
Из основных изменений:
– Возможность блокировать/разрешать: сети, диапазоны IP-адресов
– Блокировка/капча по ASN
– Скорректирован приоритет фильтров
– Совместимость с Cloudflare, DDOS-сервисами, NGINX-прокси
– Исправление багов
Кто может протестируйте у себя? Если всё хорошо, то солью с основной веткой.

 

Скоро капча станет неотъемлемым элементом всех сайтов. На том же Али и Маркете показывается при заходах в режиме Инкогнито. Можно отключить для авторизованных пользователей, либо выставить повторный показ через определенный срок или частоту кликов.
На текущий момент реализовал WAF с возможностью показа капчи для выбранного трафика, либо блокировка (по аналогии с WAF Cloudflare). Авто-определение ботов будет так же внедрено, при поддержке пользователей.

 

Обновлена ветка master в репозитории https://github.com/githubniko/antibot [v0.6.2]
Основные фильтры:
– Белый/черный список по IP, Network, ASN
– Индексирующие роботы (определяет полезных ботов по обратной DNS записи)
– Исключение по User-agent (для ваших ботов)
– Фильтрация по URL (например для JSON и REST API)
– Блокировка ботов без JavaScript и/или Cookie
– Поддержка IPv6
– Блокировка по HTTP
– Мобильный девайс
– Прямые заходы
– Открытие сайта в iframe
– Переход из Tor-сети
– Блокировка по FingerPrint
– и другое

 

Это что-то вроде слепков как у Killbot

 

# Вышло обновление защиты от ботов [v0.7.3-alpha]
https://github.com/githubniko/antibot/

## Новое

- Добавлена мультиязычность: русский, английский, китайский
- Новый механизм AWESSION для обеспечения совместимости с различными CMS
- Улучшена устойчивость к браузеру BAS
- Добавлена возможность создания своей капчи (см. skins/example.php)
- Добавлена новая капча slider_zsay (демо: Один момент…)
- Добавлена возможность передачи IP-адреса и FingerPrint в статистику Яндекс Метрики без необходимости отключения старого счетчика

## Изменения

- Оптимизация производительности: Ускорен процесс измерения FPS
- Безопасность: Усилена защита капчи (CSRF теперь недоступен через API)
- Оптимизация запросов: Сокращено количество обращений к xhr.php
- Кросс-доменная ошибка: Исправлена проблема с lFrame cross domain
- Исправлены незначительные ошибки

## Пример новых капч:
Скин slider_zsay (демо: Один момент…)


Скин slider

 

Пример того как антибот меняет нагрузку на хостинг.
На графике видно, что до установки защиты нагрузка выходила за пределы 100cp и хостер замедлял работу сайта. После установки, значение держится в пределах 30-50% от максимального. Снижение нагрузки в 10 раз.