Образовательный проект «SnakeProject» Михаила Козлова

⇒ Python ⇐

CISCO

Voice(Asterisk\Cisco)

Microsoft

Powershell

SQL\T-SQL

FreeBSD and Nix

1С

Общая

WEB Разработка

ORACLE SQL \ JAVA

Мото

Стрельба, пневматика, оружие

Саморазвитие и психология

Скрипт подсчета заполнения полей веб-формы из логов nginx

Скрипт подсчета заполнения полей веб-формы из логов nginx

Дано:
Сайт с несколькими поисковыми формами (3 формы по ссылкам: site.org/vsrf site.org/regular site.org/law)
Необходимо посчитать за определенные дни:
сколько полей в формах было заполнено, а сколько были пустыми при запросах

Пример одного запроса, который попадает в лог nginx:

В конце видим якорь #searchResult
Любое поле с окончанием на & и без текста между знаками = и & считается пустыми
Любое поле с окончанием на & и любым текстом между знаками = и & считается заполненным
Поле в конце по аналогии за исключением замены знака & на #searchResult

К примеру апрель месяц 2019 года
Архив с именем var/log/nginx/site.org.access.log.9.gz был за первое число
И т.д. 8.gz - второе и т.п.
Интерес за неделю с первого по седьмое число - arch_numbers="9 8 7 6 5 4 3"

/tmp/script.sh

#!/bin/bash fields_vsrf="vsrf-txt=& vsrf-case_doc=& vsrf-date_from=& vsrf-date_to=& vsrf-judge=#searchResult " fields_regular="regular-case_doc=& regular-area=& regular-court=& regular-judge=#searchResult" fields_law="law-txt=& law-name=& law-law_type=& law-law_actuality=& law-sorter=#searchResult" arch_numbers="9 8 7 6 5 4 3" function get_value(){ searchs="site.org/vsrf site.org/regular site.org/law" day="April " case $1 in 9) day=$day"1: " ;; 8) day=$day"2: " ;; 7) day=$day"3: " ;; 6) day=$day"4: " ;; 5) day=$day"5: " ;; 4) day=$day"6: " ;; 3) day=$day"7: " ;; esac for search in $searchs do fields="" case $search in site.org/vsrf) fields=$fields_vsrf ;; site.org/regular) fields=$fields_regular ;; site.org/law) fields=$fields_law ;; esac zcat /var/log/nginx/site.org.access.log.$1.gz | grep $search | grep 'searchResult' > /tmp/tmp.site.log for field in $fields do counts=`grep -c $field /tmp/tmp.site.log` echo $day$search" - "$field" is "$counts clean_field=`echo $field | sed 's/&//' | sed 's/#searchResult//'` counts=`grep -v $field /tmp/tmp.site.log | grep -c $clean_field` echo $day$search" - "$clean_field" is "$counts done; done; shift } for v in $arch_numbers do get_value $v done;

Собственно на выходе имеем что-то типа:

April 1: site.ru/vsrf - vsrf-txt=& is 3
April 1: site.ru/vsrf - vsrf-txt= is 121
April 1: site.ru/vsrf - vsrf-case_doc=& is 123
April 1: site.ru/vsrf - vsrf-case_doc= is 1
April 1: site.ru/vsrf - vsrf-date_from=& is 123
April 1: site.ru/vsrf - vsrf-date_from= is 1
April 1: site.ru/vsrf - vsrf-date_to=& is 123
April 1: site.ru/vsrf - vsrf-date_to= is 1
April 1: site.ru/vsrf - vsrf-judge=#searchResult is 124
April 1: site.ru/vsrf - vsrf-judge= is 0
...

Комментарии пользователей