[Comm] Подскажите регулярное выражение для обработки лога rails
Денис Черносов
=?iso-8859-1?q?denis0=2Eru_=CE=C1_gmail=2Ecom?=
Пт Янв 16 14:04:22 MSK 2009
Возникла необходимость посчитать посещаемость на rails-ресурсе. Для
этого нужно лог фильтрануть и завести результат в rails-контроллер,
после чего данные можно будет вертеть, как угодно. Проблема в том, что
в этом логе одно событие на разное количество строк размазано и
приходится их группировать... Кроме того, на первом этапе хочется
считать только успешные визиты на определенную часть сайта (определяем
по url). В процессе отладки фильтра дошел до такой команды (пока не
причёсывал - ногами не бейте):
~/myapp/log]$ cat production.log | grep -B 5 -A 1 "200 OK
\[http://www.cfd-fx.ru" | grep "^Processing\|^Completed\|^$" | sed
"s/^.*(for \(.*\)).*$/\1/" | sed "s/.*cfd\-fx\.ru\(.*\)\]/\1/" | sed
"s/\n\(.*at.*\)\n\(\/.*\)\n/\n\1 on \2\n/"
и до такого вида:
81.29.134.168 at 2008-10-24 08:09:24
/
81.29.134.168 at 2008-10-24 08:09:29
/pages/5
81.29.134.168 at 2008-10-24 08:10:10
/pages/2
81.29.134.168 at 2008-10-24 12:03:58
/
81.29.134.168 at 2008-10-24 12:04:06
/pages/5
а хочу получить в одну строку для каждого посещения. Типа так:
81.29.134.168 at 2008-10-24 08:09:24 to /
81.29.134.168 at 2008-10-24 08:09:29 to /pages/5
81.29.134.168 at 2008-10-24 08:10:10 to /pages/2
81.29.134.168 at 2008-10-24 12:03:58 to /
81.29.134.168 at 2008-10-24 12:04:06 to /pages/5
ну и далее, как-то так:
81.29.134.168;2008-10-24;08:09:24;/
81.29.134.168;2008-10-24;08:09:29;/pages/5
81.29.134.168;2008-10-24;08:10:10;/pages/2
81.29.134.168;2008-10-24;12:03:58;/
81.29.134.168;2008-10-24;12:04:06;/pages/5
с последним я и сам смогу справиться, а вот как нормально склеить
строки - уже голову сломал, но так ничего и не придумал... Видимо в
sed нужно как-то буфера и доп. команды использовать, но я пока до
этого не дорос...
Возможно есть какие-то системные утилитки для этих целей?
Хелп!!!
Подробная информация о списке рассылки community