Обсуждение Платно Power-log by sander [dle 9.6-11.1 и старше]

[Sander]

Данный модуль предназначен для ведения подробного лога всех запросов к сайту.
С его помощью можно вести анализ трафика, поведение пользователей, нагрузку страниц, статистику посещения поисковых ботов, вычисление грабберов с зеркальщиками и многое другое.Изначально модуль задумывался для выявления "медленных" страниц и/или страниц создающих слишком высокую нагрузку.
Но в процессе написания он стал обрастать все большим и большим функционалом, благодаря чему я теперь не могу перечислить все области его применения. Но могу сказать однозначно, он будет полезен абсолютно всем сайтам и администраторам, которые желают знать что происходит у них на сайте.
Большая просьба подробно прочитать все описание, в нем я постараюсь наиболее подробно перечислить все возможности данного модуля.



Главная страница, данные:
Данные предоставлены с 3х сайтов:

Полученные результаты можно сгруппировать кликнув по параметру прямо в таблице.
Гуппировать можно по: коду страны, IP адресу, URL, типу страницы, количеству запросов в БД (базу данных), поисковому боту, типу запроса.
Иконка рядом с IP это User-Agent посетителя:

Имейте ввиду, что злоумышленник может легко подставлять любой User-Agent и представляться хоть гуглоботом, хоть яндексом.
Красным цветом подсвечивается IP адрес который по данным базы сайта blocklist.de является каким-либо ботом или еще чем-то вредным.
Общее время окрашивается оранжевым цветом если время загрузки превысило 0.5 сек, красным - если дольше 1 сек и если дольше 2 сек, то приписываются восклицательные знаки.
Количество запросов иногда может быть и 100 и 1000 и даже 5000. Это нормальная работа движка, раз в 2 часа крон переносит количество просмотров новостей из одной таблицы в другую (если включено кеширование просмотров).



Главная страница, фильтры и прочие параметры:
Непосредственно над таблицей с данными выводится форма с параметрами по которым можно отфильтровать, искать, группировать и сортировать полученные результаты.
Исходное состояние формы, ни один параметр не выбран:

Выбраны несколько параметров:

При группировании результатов по какому-либо параметру в таблице добавляется колонка "Количество".
Пример группировки по URL:

Таким образом легко можно посмотреть какие страницы пользуются популярностью за любой промежуток времени.

Группируем данные по IP:

Тут видно кто сколько сделал запросов, кликнув по IP можно посмотреть все его запросы. Если был выбран диапазон дат, то будет отображена активность только за выбранный промежуток времени.

Группировать можно по одному любому из параметров представленных на скриншоте:

Так же можно отсортировать результаты по любому из параметров по любому направлению. Вот пример страницы где показаны страницы с самой долгой загрузкой:

Отдельно опишу функционал кнопок:
Кнопка "Сбросить все параметры" обнуляет все выбранные параметры, т.е. просто открывает исходную главную страницу.
"Экспорт в Excel" - позволяет скачать все отфильтрованные результаты в текстовом формате, которые легко импортируются в Excel файл простым перетаскиванием файла в рабочую область программы Excel.
"Очистить лог" - удаляет из базы все отфильтрованные результаты. Если не выбран ни один из фильтров, то очищена будет вся таблица.



Страница статистики
Для удобства и наглядности можно посмотреть общую статистику по определенным параметрам:

Страница с графиками
Это больше экспериментальный раздел. Тут выводится только график посещений и диаграмма ботосодержания в общем трафике

Тут же хорошо видно, когда начинается аномальная активность со стороны ботов, людей или еще каких зловредов.
Так же можно ограничить вывод статистики, например за последние 3 дня:

Страница с подозрительными IP адресами
В модуле можно включить анализ активности, который наблюдает за активностью пользователей и при достижении заданных параметров пользователь добавляется в список подозрительных и админу отправляется письмо с уведомлением.
Уведомление отправляется не чаще 1 раза в час.
Под заданными параметрами подразумевается совершение X запросов за Y минут. X и Y - можно изменить в настройках.

Результаты отсортированы по общему количеству запросов. В колонке даты стоит дата фиксации последней подозрительной активности. Красным подсвечены адреса которые находятся в списке подозрительных у сервиса blocklist.de
Если вы уверены, что IP адрес не является зловредом или это поисковый бот, вы можете добавить его в "Белый лист", список адресов на которые не будет реагировать анализатор подозрительной активности.
С одного адреса совершались запросы с частотой 6 запросов в секунду. Вероятнее всего это какой-то бот. А вот что делать с ним - решать уже вам. Заблокировать в htaccess или проигнорировать.



Настройки

Подробно описывать все параметры не буду, там и так вроде все ясно, опишу только непонятные.
Анализ. Сейчас стоят параметры 10 запросов за 1 минуту. Т.е. любой пользователь или бот, который зайдет на сайт более 10 раз в течении 1 минуты - будет считаться подозрительными и будет занесен в базу. А если указан E-Mail адрес, то так же будет отправлено уведомление на почту.
Браузер. В базу записывается значение User-Agent пользователя. Этот параметр увеличивает объем памяти в БД, но если это не критично, то желательно не выключать.
Реферер. В базу записывается адрес - откуда пришел посетитель. Аналогично браузеру так же увеличивает объем БД.
Количество записей на страницу. Сколько записей выводится в админке на главной на 1 страницу.
Время хранения лога. Модуль автоматически удаляет старые данные.
Подсветка ботов. Этот параметр позволяет проверять все IP адреса по базе сайта blocklist.de Данные с сайта обновляются автоматически при входе в админку 2 раза в сутки.
Белый список IP адресов. В списке с новой строки перечислены IP адреса поисковых ботов. В данном случае несколько гуглов и один яндекс. Можно записывать как полный адрес, так и первые несколько его чисел, у поисковиков довольно таки много IP адресов, чтобы перечислять их всех
Идентификаторы ботов. Тут перечислены все основные боты. Этот параметр позволяет группировать/фильтровать по общим ботам. Например только Yandex, а у него уже подвиды: YandexBot, YandexMobileBot, YandexMetrika и т.п.
Внешняя база данных. При большом желании можно хранить лог в другой базе данных. Лично я не рекомендую использовать этот параметр, потому что это может увеличить время загрузки страницы, особенно если сервер стоит в германии, а БД в США.



По вопросу о нагрузке.
Она ничтожно мала. Скорость работы никак не сказывается на работе сайта. Со включенным анализом активности, средняя скорость работы модуля - 0.0012 сек. Это при активности 2000 просмотров в час.
Установка модуля заключается в заливке файлов на сервер и копировании 1 строки в 1 php файл.



Информация
Стоимость модуля: 15wmz
Лицензия выдается под 2 сайта.
Стоимость доп.лицензии: 5wmz
Для работы модуля - требуется ionCube Loader v.5.x

Версия DLE: 9.6 и старше (может и младше тоже поддерживает, не проверял)
Версия PHP: 5.3 - 5.6

Купить: shop.sandev.pro

ICQ: 404-037-556
Skype: Sander8804
E-Mail: [email protected]

С уважением,
Олег Александрович a.k.a. Sander

 

[Sland]

установил. много интересного теперь вижу. Спасибо.

 

[shevket007]

По мне та модуль очень полезный, пока себе еще не ставил, но скора поставлю и посмотрим с чем его едят😀

 

[MegaMonstr]

Тоже буду ставить, завтра наверно куплю и установлю.

 

[sas7110]

Офигенный модуль, жаль платный ) Скидок предновогодних нет?

 

[Intention]

жаль платный )

уверен ты делаешь это бесплатно

 

[mwax]

@Sander, спс за мод.
Выявил много медленных страниц.

Время компиляции шаблонов некоторых страниц очень долгое.
В это время происходит загрузка всех элементов страницы html, css, img и т.д.
Если я правильно понимаю, то хотелось бы прояснить моменты оптимизации долгой загрузки страниц, возможно имеются рекомендации и полезные советы по ускорению их загрузки.
Не понятно почему несмотря на одинаковое количество запросов в бд одна страница в один момент может загружаться быстро, а в другой медленно...

 

[kild]

если есть на странице модули с внешними подключениями то причиной будут они. чаще всего у меня это модуль рейтинга из кп и имдб, так как сервера кп откуда этот рейтинг тянется часто подвисают

 

[mwax]

если есть на странице модули с внешними подключениями то причиной будут они. чаще всего у меня это модуль рейтинга из кп и имдб, так как сервера кп откуда этот рейтинг тянется часто подвисают

Да есть такое, стоит модуль рейтинга из кп и имдб Gameer, но в не же вроде как кеширование есть...

 

[kild]

сравни скорость при первом заходе после очистки кеша и при втором

 

[mwax]

сравни скорость при первом заходе после очистки кеша и при втором

Уже сравниваю, для эксперимента отключил мод рейтинга из кп и имдб вообще.

 

[MegaMonstr]

отличный модуль, купил поставил, спасибо автору!!!

Вот только было бы не плохо, если бы модуль записывал и отображал какие запросы были сделаны, а то написано что к примеру 10 запросов, а что за запросы, не понятно.

 

[mwax]

записывал и отображал какие запросы были сделаны

в этом тебе поможет showstat

Там можешь подробно посмотреть какие были запросы.

 

[MegaMonstr]

посмотреть

Спасибо, про этот способ знаю.

 

[MegaMonstr]

Кто может подсказать, что это за запрос?

0,01005292 сек. - [ SELECT p.id, p.date, p.short_story, p.xfields, p.title, p.category, p.alt_name FROM dle_post p LEFT JOIN dle_post_extras e ON (p.id=e.news_id) WHERE p.approve=1 AND p.date >= '2016-10-16 15:20:26' - INTERVAL 1 MONTH AND p.date < '2016-10-16 15:20:26' ORDER BY rating DESC, comm_num DESC, news_read DESC, date DESC LIMIT 0,10 ]

Постоянно долго выполняется, кеш везде включен. Но именно этот запрос все косячет.

И еще бывает вот этот:

0,04577088 сек. - [ SELECT p.id, p.autor, p.date, p.short_story, CHAR_LENGTH(p.full_story) as full_story, p.xfields, p.title, p.category, p.alt_name, p.comm_num, p.allow_comm, p.fixed, p.tags, e.news_read, e.allow_rate, e.rating, e.vote_num, e.votes, e.view_edit, e.editdate, e.editor, e.reason FROM dle_post p LEFT JOIN dle_post_extras e ON (p.id=e.news_id) WHERE id IN ('8','7','5','6','9','10','11','13','14','15','16','19','21','23','24','25','26','27','28','29','30','31','34','35','36','37','38','39','40','41','42','43','44','45','46','48','51','52','53','54','55','56','58','60','62','63','64','65','66','67','68','69','70','71','72','73','74','75','76','77','78','79','80','81','88','91','92','94','95','96','97','98','100','102','105','106','107','108','109','110','111','112','115','116','117','118','119','120','121','122','123','124','125','126','127','128','129','130','131','135','137','138','139','141','143','144','145','146','147','148','149','150','151','152','153','154','155','156','157','158','159','160','161','162','163','164','165','166','169','170','171','172','173','174','176','177','178','179','180','181','182','184','185','186','187','188','189','191','194','195','196','197','199','200','201','202','203','206','207','208','209','212','213','214','215','216','217','218','219','220','221','222','224','225','228','229','230','231','232','233','234','235','236','237','238','239','240','241','242','243','244','245','246','247','250','251','252','253','255','256','257','258','259','260','261','262','263','264','265','266','267','268','287','290','291','292','293','294','298','301','307','308','309','311','313','314','315','316','317','318','319','320','321','322','323','324','325','326','328','332','333','335','337','338','339','340','344','356','358','361','365','367','368','370','371','376','377','378','379','383','384','385','386','387','389','395','396','397','402','403','406','407','450','451','453','454','455','456','457','458','460','461','462','463','464','469','470','472','473','478','479','480','481','495','497','501','513','521','529','530','531','533','535','536','538','539','540','541','542','548','549','550','551','552','555','556','557','558','561','562','565','566','567','568','569','570','571','572','582','584','585','586','588','590','594','598','599','600','609','613','621','627','628','630','634','636','638','641','642','643','644','645','646','647','648','649','650','651','654','656','657','658','659','660','661','666','683','685','689','690','692','694','701','702','706','709','710','711','713','714','717','720','721','723','733','734','735','736','737','738','739','740','741','742','756','757','759','770','774','775','782','783','784','785','786','787','791','808','810','811','820','823','824','825','829','830','831','846','847','848','849','850','852','853','854','855','856','858','859','860','861','862','863','864','865','866','868','870','882','892','896','897','899','900','901','902','903','904','905','906','907','908','910','923','924','936','937','938','941','942','943','944','945','946','947','950','951','954','956','957','958','961','963','964','965','966','967','969','970','972','973','974','975','976','980','981','982','983','984','985','986','987','988','989','992','993','994','996','997','998','1000','1018','1024','1035','1051','1052','1053','1054','1159','1160','1161','1177','1233','1234','1235','1236','1237','1250','1251','1277','1278','1279','1285','1286','1287','1288','1289','1290','1291','1292','1293','1294','1295','1296','1297','1298','1299','1301','1302','1303','1304','1305','1306','1310') AND category regexp '[[:<:]](1|3)[[:>:]]' AND p.xfields NOT LIKE '%трейлер%' AND p.xfields NOT LIKE '%скоро%' AND approve=1 AND date < '2016-10-16 15:22:44' ORDER BY SUBSTRING_INDEX( SUBSTRING_INDEX( xfields, 'kinopoisk|', -1 ) , '||', 1 ) DESC LIMIT 0,10 ]

Но второй отображается если кеш очистить. Что за куча цифр, вообще не понимаю, если это новости которые выводятся на странице, то сразу напишу, такого количества точно нет.

Помогите разобраться.

 

[PunPun]

Кто может подсказать, что это за запрос?

0,01005292 сек. - [ SELECT p.id, p.date, p.short_story, p.xfields, p.title, p.category, p.alt_name FROM dle_post p LEFT JOIN dle_post_extras e ON (p.id=e.news_id) WHERE p.approve=1 AND p.date >= '2016-10-16 15:20:26' - INTERVAL 1 MONTH AND p.date < '2016-10-16 15:20:26' ORDER BY rating DESC, comm_num DESC, news_read DESC, date DESC LIMIT 0,10 ]

Постоянно долго выполняется, кеш везде включен. Но именно этот запрос все косячет.

И еще бывает вот этот:

0,04577088 сек. - [ SELECT p.id, p.autor, p.date, p.short_story, CHAR_LENGTH(p.full_story) as full_story, p.xfields, p.title, p.category, p.alt_name, p.comm_num, p.allow_comm, p.fixed, p.tags, e.news_read, e.allow_rate, e.rating, e.vote_num, e.votes, e.view_edit, e.editdate, e.editor, e.reason FROM dle_post p LEFT JOIN dle_post_extras e ON (p.id=e.news_id) WHERE id IN ('8','7','5','6','9','10','11','13','14','15','16','19','21','23','24','25','26','27','28','29','30','31','34','35','36','37','38','39','40','41','42','43','44','45','46','48','51','52','53','54','55','56','58','60','62','63','64','65','66','67','68','69','70','71','72','73','74','75','76','77','78','79','80','81','88','91','92','94','95','96','97','98','100','102','105','106','107','108','109','110','111','112','115','116','117','118','119','120','121','122','123','124','125','126','127','128','129','130','131','135','137','138','139','141','143','144','145','146','147','148','149','150','151','152','153','154','155','156','157','158','159','160','161','162','163','164','165','166','169','170','171','172','173','174','176','177','178','179','180','181','182','184','185','186','187','188','189','191','194','195','196','197','199','200','201','202','203','206','207','208','209','212','213','214','215','216','217','218','219','220','221','222','224','225','228','229','230','231','232','233','234','235','236','237','238','239','240','241','242','243','244','245','246','247','250','251','252','253','255','256','257','258','259','260','261','262','263','264','265','266','267','268','287','290','291','292','293','294','298','301','307','308','309','311','313','314','315','316','317','318','319','320','321','322','323','324','325','326','328','332','333','335','337','338','339','340','344','356','358','361','365','367','368','370','371','376','377','378','379','383','384','385','386','387','389','395','396','397','402','403','406','407','450','451','453','454','455','456','457','458','460','461','462','463','464','469','470','472','473','478','479','480','481','495','497','501','513','521','529','530','531','533','535','536','538','539','540','541','542','548','549','550','551','552','555','556','557','558','561','562','565','566','567','568','569','570','571','572','582','584','585','586','588','590','594','598','599','600','609','613','621','627','628','630','634','636','638','641','642','643','644','645','646','647','648','649','650','651','654','656','657','658','659','660','661','666','683','685','689','690','692','694','701','702','706','709','710','711','713','714','717','720','721','723','733','734','735','736','737','738','739','740','741','742','756','757','759','770','774','775','782','783','784','785','786','787','791','808','810','811','820','823','824','825','829','830','831','846','847','848','849','850','852','853','854','855','856','858','859','860','861','862','863','864','865','866','868','870','882','892','896','897','899','900','901','902','903','904','905','906','907','908','910','923','924','936','937','938','941','942','943','944','945','946','947','950','951','954','956','957','958','961','963','964','965','966','967','969','970','972','973','974','975','976','980','981','982','983','984','985','986','987','988','989','992','993','994','996','997','998','1000','1018','1024','1035','1051','1052','1053','1054','1159','1160','1161','1177','1233','1234','1235','1236','1237','1250','1251','1277','1278','1279','1285','1286','1287','1288','1289','1290','1291','1292','1293','1294','1295','1296','1297','1298','1299','1301','1302','1303','1304','1305','1306','1310') AND category regexp '[[:<:]](1|3)[[:>:]]' AND p.xfields NOT LIKE '%трейлер%' AND p.xfields NOT LIKE '%скоро%' AND approve=1 AND date < '2016-10-16 15:22:44' ORDER BY SUBSTRING_INDEX( SUBSTRING_INDEX( xfields, 'kinopoisk|', -1 ) , '||', 1 ) DESC LIMIT 0,10 ]

Но второй отображается если кеш очистить. Что за куча цифр, вообще не понимаю, если это новости которые выводятся на странице, то сразу напишу, такого количества точно нет.

Помогите разобраться.

Наверное custom

 

[MegaMonstr]

Наверное

Есть возможность это все дело как то оптимизирвовать? Кеш включен в кустомах.

 

[Sander]

Офигенный модуль, жаль платный ) Скидок предновогодних нет?

Вы можете воспользоваться бесплатной версией:
http://zerocoolpro.biz/forum/threads/power-log-light-by-sander-dle-9-6-i-starshe.6931/

@Sander, спс за мод.
Выявил много медленных страниц.
Время компиляции шаблонов некоторых страниц очень долгое.

Все php файлы подключаемые в шаблонах {include file="....php"} наматывают счетчик работы шаблонов. Нужно смотреть те файлы, как и сказал @kild проблемным может быть модуль получающий рейтинг с кинопоиска.

Вот только было бы не плохо, если бы модуль записывал и отображал какие запросы были сделаны, а то написано что к примеру 10 запросов, а что за запросы, не понятно.

Можно и так, я думал об этом. Но это очень значительно увеличит объем лога и установка будет не в виде подключения 1й строки, а значительно сложнее. Для таких случаев реально проще и правильнее будет использовать модуль Паши showstat.

Постоянно долго выполняется, кеш везде включен. Но именно этот запрос все косячет.

Это {topnews}.

Что за куча цифр, вообще не понимаю, если это новости которые выводятся на странице, то сразу напишу, такого количества точно нет.

А это уже какой-то сторонний модуль, он выводит top10 вышедших фильмов отсортированных по рейтингу кинопоиска.

 

[Spaweb]

использую модуль. очень крутой!

как оказалось - достаточно заблокировать нескольких роботов и ip - нагрузка на проект уменьшилась в 2-3 раза

 

[MegaMonstr]

нескольких роботов и ip

Можно пример, чего заблокировал?