[Sysadmins] compare lvm on mdadm vs lvm-raid

[Alexey Shabalin]

19 января 2014 г., 18:55 пользователь Alexey Shabalin
<a.shabalin на gmail.com>написал:

> Добрый вечер.
>
> Господа, у меня до четверга(23.01) есть свободный сервер для тестов.
> Меня интересует сравнение lvm поверх mdadm и raid средствами lvm (без
> mdadm).
> Какие средства для тестирования рекомендуете?
> Я пока остановился на fio. Может порекомендуете какие параметры для него
> правильно использовать? может у кого-то есть готовые шаблоны?
>
> Спасибо!
>
> PS: обновленные lvm и fio отправил в сизиф :) для чистоты экспериментов.
>
>
Потестировал.
Вывалю сюда некоторые результаты, может поможете их интерпретировать.

Под рукой оказался сервер ibm x3550 m4 с 32 ядрами 2GHz и 128 Гб
опреативки. И только 3 HDD (подключенные корзины не использовал).

За основу брал скрипты отсюда:
http://louwrentius.com/benchmark-results-of-random-io-performance-of-different-raid-levels.html



Скриптами создавались раид с помощью mdadm, lvm поверх mdadm, только lvm с
параметрами --type raid1 и --type raid5 -i 2.
Возможно поэтому реальные результаты могут отличаться, т.к. времени на
синхронизацию раидов не давал, и диски помимо тестов еще заняты были
синхронизацией.

остальное в атаче.

По графикам вижу провал у lvm --type raid1 при чтении.
Почему-то запись на простой mdadm raid хуже, чем при использовании поверх
lvm или lvm --type raid5. возможно для lvm где-то не отключил буферы или
кэширование.

А в остальном, lvcreate --type raidX вполне можно использовать вместо
связки lvm-on-mdadm.

ссылки на результаты тестов и графики.

 test2.tar.xz<https://docs.google.com/file/d/0B_nxjPw-zbJBYUU0T0pVVER3blE/edit?usp=drive_web>

 compare-raid-5-write-depth-32-bw-2Dtrend.png<https://docs.google.com/file/d/0B_nxjPw-zbJBenNMOTVlQ05Kd1E/edit?usp=drive_web>

 compare-raid-5-write-depth-32-bw-2Dsmooth.png<https://docs.google.com/file/d/0B_nxjPw-zbJBdU5QRkpOei1TMHM/edit?usp=drive_web>

 compare-raid-5-write-depth-32-bw-2Draw.png<https://docs.google.com/file/d/0B_nxjPw-zbJBcmxsNFUydlJtcVE/edit?usp=drive_web>

 compare-raid-1-write-depth-32-iops-2Draw.png<https://docs.google.com/file/d/0B_nxjPw-zbJBalFQTDRIWEdPcDA/edit?usp=drive_web>

 compare-raid-1-write-depth-32-iops-2Dsmooth.png<https://docs.google.com/file/d/0B_nxjPw-zbJBbmRHYWVxbEhyRFU/edit?usp=drive_web>

 compare-raid-1-read-depth-32-bw-2Dsmooth.png<https://docs.google.com/file/d/0B_nxjPw-zbJBc2FjMXFwZWxMdWs/edit?usp=drive_web>

 compare-raid-1-read-depth-32-iops-2Dtrend.png<https://docs.google.com/file/d/0B_nxjPw-zbJBcjRENzhzdUQ3bEE/edit?usp=drive_web>

 compare-raid-1-read-depth-32-iops-2Dsmooth.png<https://docs.google.com/file/d/0B_nxjPw-zbJBa0txRFdxZjk1dGM/edit?usp=drive_web>

 compare-raid-5-read-depth-32-iops-2Dsmooth.png<https://docs.google.com/file/d/0B_nxjPw-zbJBZmloYnpDd2UteVk/edit?usp=drive_web>

 compare-raid-1-read-depth-32-bw-2Draw.png<https://docs.google.com/file/d/0B_nxjPw-zbJBZmFnWGNBSzg4dU0/edit?usp=drive_web>

 compare-raid-1-write-depth-32-bw-2Dsmooth.png<https://docs.google.com/file/d/0B_nxjPw-zbJBZHVYOVFfVTRJSGs/edit?usp=drive_web>

 compare-raid-1-write-depth-32-bw-2Dtrend.png<https://docs.google.com/file/d/0B_nxjPw-zbJBSlpvVTBhSU9nWUE/edit?usp=drive_web>

 compare-raid-5-read-depth-32-iops-2Dtrend.png<https://docs.google.com/file/d/0B_nxjPw-zbJBTENtZjhULW1PaEU/edit?usp=drive_web>

 compare-raid-1-read-depth-32-iops-2Draw.png<https://docs.google.com/file/d/0B_nxjPw-zbJBVUZXSDcteUQyajg/edit?usp=drive_web>

 compare-raid-5-read-depth-32-iops-2Draw.png<https://docs.google.com/file/d/0B_nxjPw-zbJBX0hHUVVpaDAzU3M/edit?usp=drive_web>

 compare-raid-5-read-depth-32-bw-2Dsmooth.png<https://docs.google.com/file/d/0B_nxjPw-zbJBSERUdEgzMjd5b3c/edit?usp=drive_web>

 compare-raid-5-write-depth-32-iops-2Dtrend.png<https://docs.google.com/file/d/0B_nxjPw-zbJBRy1nR0tVd1dNcmc/edit?usp=drive_web>

 compare-raid-5-read-depth-32-bw-2Dtrend.png<https://docs.google.com/file/d/0B_nxjPw-zbJBQllyRkZmUTFSS0U/edit?usp=drive_web>

 compare-raid-5-read-depth-32-bw-2Draw.png<https://docs.google.com/file/d/0B_nxjPw-zbJBQ3Uza2dUY3Z1RjQ/edit?usp=drive_web>

 compare-raid-5-write-depth-32-iops-2Draw.png<https://docs.google.com/file/d/0B_nxjPw-zbJBMVdMd241c0ZfUGc/edit?usp=drive_web>

 compare-raid-1-read-depth-32-bw-2Dtrend.png<https://docs.google.com/file/d/0B_nxjPw-zbJBNFNkQjYwbFhUYW8/edit?usp=drive_web>

 compare-raid-1-write-depth-32-bw-2Draw.png<https://docs.google.com/file/d/0B_nxjPw-zbJBNVJXX1NwU0tFQlk/edit?usp=drive_web>

 compare-raid-5-write-depth-32-iops-2Dsmooth.png<https://docs.google.com/file/d/0B_nxjPw-zbJBNlp6N2NkdWNRbWs/edit?usp=drive_web>

 compare-raid-1-write-depth-32-iops-2Dtrend.png<https://docs.google.com/file/d/0B_nxjPw-zbJBM0NlcjR1S0FicFk/edit?usp=drive_web>

-- 
Alexey Shabalin
----------- следующая часть -----------
Вложение в формате HTML было удалено...
URL: <http://lists.altlinux.org/pipermail/sysadmins/attachments/20140121/facbc5b6/attachment-0001.html>