[Comm] Re: [JT] Форматирование логов: shell или perl
Sergey Degtyaryov
=?iso-8859-1?q?maga_=CE=C1_replay=2Eru?=
Ср Янв 29 15:54:46 MSK 2003
Flach wrote:
>>Повторится, конечно. Лучше бросайте логи в mуsql базу (с помощью перла,
>>например) и генерируйте репорты средствами mysql (перл здесь понадобится
>>лишь для форматирования). Это быстро, надежно и практично, к тому же
>>можно будет накопить данные за годы!
>
>
> Спасибо, Ilya.
> Тут встает другой вопрос. Машинка на которой работают mysql и Apache не очень
> мощная - PIII-800, 256Mb, HDD20Gb и все это на маме Gyga с чипсетом i815. Я
> совсем недавно начал работать с MySQL и Perl и поэтому пока не очень
> ориентируюсь в их потребностях. Но есть какое-то сомнение, что эта машинка
> сможет быстро шевелиться проглатывая ежедневно по 50 Мегов информации. Кроме
> того, для того чтобы лог кинуть в базу в любом случае его надо как-то
> отформатировать и тогда мы возвращаемся к первому вопросу.
А какого рода ошибки?
Я сейчас специально погонял свою считалку.
Это cgi-ха, на perl.
У меня маленькие логи, но я специально раздул их:
[maga на spb maga]$ du access.log
45M access.log
Итак, считалка говорит:
Lines in access.log: 363375 lines
Time to analize: 78.221583 sec
Lines per sec: 4645 ln/sec
И ТТХ машинки:
iP166 на 262 Mhz, 64 RAM
[maga на spb maga]$ sudo hdparm -t /dev/hda
/dev/hda:
Timing buffered disk reads: 64 MB in 4.20 seconds = 15.24 MB/sec
Отработала нормально, и текст и картинка, загрузка была около
90%. В скрипте есть проверки по времени, по типу запроса и
сортировки.
--
Сергей Дегтярев
Подробная информация о списке рассылки community