[Comm] [JT] Форматирование логов: shell или perl

[Ilya Palagin]

Flach wrote:
> Добрый день!
> Вопрос не по системе, поэтому обозначил его как второстепенный.
> Есть необходимость переформатировать и отсортировать содержимое логов трафика 
> пользователей. Для этих целей решил использовать grep, awk, sed и, конечно, 
> sort. Во время теста скрипта на живом логе (7 Мб) все прошло замечательно. Но 
> я не учел, что тот самый лог был один из первых, когда в системе было всего 
> 12 пользователей. А их на самом деле гораздо больше. Сейчас суточные логи 
> представляют собой файлы размером до 100 Мб.   Загрузка процессора на sort , 
> если верить top,  составляет 99,5. В результате, на больших логах имею массу 
> ошибок. 
> Кинулся тоже самле делать в perl, который по-идее для этого и предназначен, 
> но червь сомнения точит. А не повторится ли ситуация при обработке больших 
> логов? 
Повторится, конечно. Лучше бросайте логи в mуsql базу (с помощью перла, 
например) и генерируйте репорты средствами mysql (перл здесь понадобится 
лишь для форматирования). Это быстро, надежно и практично, к тому же 
можно будет накопить данные за годы!