[Sysadmins] Лучшний RAID?

[Michael Shigorin]

Попробую к шапочному разбору с т.з. хозмастера ftp.linux.kiev.ua.

On Mon, Nov 24, 2008 at 03:22:10PM +0300, Max Ivanov wrote:
> Есть задача - отдавать много большой статики (фильмы). Денег нет :)
> Значит будет софтовый RAID. Что лучше: 2 по RAID1 или 1 RAID 10?

Как уже и сказали, 10 != 1+0 или 0+1 -- подробнее см. тж. md(4).
Пользоваться лучше одним md высшего порядка, поскольку иначе
двойной расход stripe cache как минимум.

---

На ftp.linux.kiev.ua используется 2xRAID5 по 4 диска для основной
части и NxMD RAID1 по 2..4 диска (кусочки тех же шпинделей, что
не очень хорошо) -- для ответственной; возможно, вскоре буду
смотреть на осмысленность переезда одной из основных частей
на RAID10 (/pub/Linux/ALT), но пока не уверен.

Планируемая замена попала, в частности, под такие тесты
(варьировать stripe size и -p для меня оказалось без смысла;
это 4xHitachi HDS721010-KLA330):

==> bonnie-raid10-64k-xfs.log <==
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
gig              4G 45448  98 142184  21 45937  13 48763  95 167759  25 533.6   1
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  2815  19 +++++ +++  9311  52  5999  32 +++++ +++  4755  32
gig,4G,45448,98,142184,21,45937,13,48763,95,167759,25,533.6,1,16,2815,19,+++++,+++,9311,52,5999,32,+++++,+++,4755,32

==> bonnie-raid5-64k-xfs.log <==
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
gig              4G 39882  89 46028   9 22759   8 44967  92 204721  61 418.3   1
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  1170   2 +++++ +++  1263   2  1425   2 +++++ +++   987   2
gig,4G,39882,89,46028,9,22759,8,44967,92,204721,61,418.3,1,16,1170,2,+++++,+++,1263,2,1425,2,+++++,+++,987,2

(следует иметь в виду, что при втором читателе RAID10 сможет
выдать по существу вдвое больший throughput)

При этом был благополучно забыт целый ряд вещей (к сожалению,
не скопировал выхлоп с их учётом -- raid5 заметно полегчало):

- noatime для смонтированной руками xfs ;-)
- hdparm -a 1024 /dev/sd[a-h]; hdparm -a 4096 /dev/mdX
- echo 2048 > /sys/block/mdX/md/stripe_cache_size

Ещё в целевом rc.local наблюдается такое (возможно, неактуально
-- была проблема в ioscheduler из ядра Server 4.0.0):

for i in a b c d e f g h; do
        echo deadline > /sys/block/sd$i/queue/scheduler
        echo 1024 > /sys/block/sd$i/queue/read_ahead_kb
done

---

Кстати, если есть небольшой относительно RAM, но сильно активно
разбираемый файл (у нас fgsetup-1.0.0.exe сейчас образует порядка
трети трафика, имея размер 173M -- одно из официальных зеркал)
-- сильно помогает его держать в tmpfs.  Схожая нагрузка на
видавшем виды SCSI не ощущается вообще; SAS тоже совсем другой
вид спорта относительно SATA.

-- 
 ---- WBR, Michael Shigorin <mike на altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/