[Comm] Re: [JT] Форматирование логов: shell или perl
Ilya Palagin
=?iso-8859-1?q?tux_=CE=C1_fioc=2Ekz?=
Ср Янв 29 16:33:10 MSK 2003
Flach wrote:
>>Повторится, конечно. Лучше бросайте логи в mуsql базу (с помощью перла,
>>например) и генерируйте репорты средствами mysql (перл здесь понадобится
>>лишь для форматирования). Это быстро, надежно и практично, к тому же
>>можно будет накопить данные за годы!
>
>
> Спасибо, Ilya.
> Тут встает другой вопрос. Машинка на которой работают mysql и Apache не очень
> мощная - PIII-800, 256Mb, HDD20Gb и все это на маме Gyga с чипсетом i815. Я
Для данной задачи это СЛИШКОМ мощная машина.
> совсем недавно начал работать с MySQL и Perl и поэтому пока не очень
> ориентируюсь в их потребностях. Но есть какое-то сомнение, что эта машинка
> сможет быстро шевелиться проглатывая ежедневно по 50 Мегов информации. Кроме
Вряд ли вы заметите нагрузку.
> того, для того чтобы лог кинуть в базу в любом случае его надо как-то
> отформатировать и тогда мы возвращаемся к первому вопросу.
Тормоза у вас возникают из-за того, что используемые утилиты работают с
текстовыми файлами построчно. mysql делает сортировку и запросы гораздо
более эффективными способами (если, конечно, вы установите индексы на
столбцы, по которым будете делать сортировку), т.е. загрузка и время
выполнения будут несравнимо меньшими.
Посмотрите, насколько проще стала задача:
1.Ввод данных в mysql базу с помощью perl скрипта (который будет
содержать лишь 2 основных команды - regex для разбиения строки на
элементы записи и sql команду INSERT)
2. Вывод данных с помощью perl скрипта (который будет содержать лишь 2
основных команды - sql команду SELECT и print)
И всё.
Об удобстве хранения информации в этом случае я уже говорил.
Подробная информация о списке рассылки community