[hpc-devel] Q: бездисковые узлы

[Serge Ryabchun]

13.09.07, Michael Shigorin<mike на osdn.org.ua> написал(а):
> On Thu, Sep 13, 2007 at 02:00:31PM +0300, Denis Pynkin wrote:
> > на данный момент обслуживается 2 класса на GE (15 и 9 машин) -
> > тормозов не наблюдается - хотя тут скорее узким горлышком
> > является дисковая подсистема на сервере (было бы в распоряжении
> > побольше машин - попробовал бы еще gfs/lustre/oraclefs
>
> Зачем?  Для начала лучше затюнить имеющееся -- несколько
> шпинделей в RAID1 или 1+0, -o noatime, hdparm -a $побольше
> на получившийся /dev/mdX, прогнать по разным i/o schedulers.
> Или ещё гиг памяти докинуть, чтоб легче кэшировалось ;-)

Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
backup.icyb      8G 80275  92 149919  37 75464  17 73042  77 213505
21 500.5   0
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
backup.icyb,8G,80275,92,149919,37,75464,17,73042,77,213505,21,500.5,0,16,+++++,+++,+++++,+++,+++++,+++,+++++,+++,+++++,+++,++++

Вторая треть диска на RAID6 на 6-ти шпинделях
for i in a b c d e f g; do hdparm -a 8192 /dev/sd$i; done
hdparm -a 32768 /dev/md1 # это не обязательно

А это на 8-ми шпинделях в 1-й трети:
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
backup.icyb      8G 85380  97 212083  51 108910  22 82774  84 316116
32 586.7   1
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
backup.icyb,8G,85380,97,212083,51,108910,22,82774,84,316116,32,586.7,1,16,+++++,+++,+++++,+++,+++++,+++,+++++,+++,+++++,+++,+++

Диски не самые быстрые, ext3
На 2.6.22 RAID6 уже вполне вменяемый ;-)