[devel] zfs Re: архивирование репозиториев

[Alexey V. Vissarionov]

On 2020-08-30 00:12:09 +0300, Anton Farygin wrote:

 >>> А как оценивается скорость работы ? Может быть оно у нас тоже
 >>> тормозит, просто я этого не замечаю.
 >> При копировании задания сначала скриптом делается
 >> хардлинкование с уже существующими локально файлами, а потом
 >> rsync всего нового поверх этого. Так вот, это иногда может
 >> занимать до 5 минут (для репозитория одного задания).
 > Да, у нас примерно так же по скорости. Первый раз 40 секунд,
 > второй - 20. Но zfs живёт поверх ceph. Что самое плохое - это
 > самый быстрый результат из современных файловых систем.

В принципе, не особо удивительно.

 > btrfs ещё медленнее.

Оно еще и корявенькое...

 > Можно, наверное, посмотреть причину её тормозов, но скорее
 > всего она кроется в архитектуре.

Ага. Только не ФС, а хранилища в целом.

 > С другой стороны - скорость заполнения меня не очень беспокоит.
 > 30 секунд для задания, в принципе, можно потерпеть.

Дальше это время будет только расти. Экс-по-нен-ци-аль-но (голосом
ежика из мультика, ага).

Я бы в сторону шардинга подумал.


-- 
Alexey V. Vissarionov
gremlin ПРИ altlinux ТЧК org; +vii-cmiii-ccxxix-lxxix-xlii
GPG: 0D92F19E1C0DC36E27F61A29CD17E2B43D879005 @ hkp://keys.gnupg.net