[devel] архивирование репозиториев

[Leonid Krivoshein]

29.08.2020 7:58, Anton Farygin пишет:
> On 29.08.2020 05:22, Leonid Krivoshein wrote:
>>
>> 28.08.2020 8:03, Anton Farygin пишет:
>>> On 28.08.2020 03:58, Leonid Krivoshein wrote:
>>>> [...]
>>>> rm -rf ... всё же очень дорогая операция на изначально не 64-бит ФС.
>>>> В этом плане jfs рвёт её на части. Может, есть смысл бега для этих фс?
>>>>
>>>>
>>> Когда то давным давно я пробовал сделать зеркало архива на разных 
>>> файловых системах.
>>>
>>> jfs умерла первой
>>>
>>> за ней с небольшим отрывом пошёл xfs
>>>
>>> на третьем месте оказался btrfs
>>>
>>> на втором пришёл zfs
>>>
>>> ext4 была быстрее всех.
>>>
>>>
>>> Тест был очень простой - заливались архивы (правда, без хардлинков 
>>> для симлинков) и время от времени на произвольном таске делался du -s
>>>
>>>  zfs сейчас отлично справляется даже с включенным сжатием.
>>>
>>
>> А у меня противоположный экспериенс с jfs и zfs. К счастью, никто не 
>> умер.)) Но с zfs система иногда внезапно висла.
>>
>> Что значит первой умерла? И как давно это было? О каких архивах речь? 
>> Об очень больших файлах?
>>
> Год назад, на jfs залили порядка 100 миллионов файлов, хардлинков и 
> симлинков.
>
> с zfs вообще проблем нет.
>
> Кстати, смотреть на ней начали после твоего совета.

У меня было старое медленное железо, файлов было на пару порядков 
меньше, и было это несколько лет назад на ядрах 2.6~3.14. Хардлинки для 
rsync --link-dest я использовал интенсивно, тут заметно проявлялось 
преимущество jfs, связанное с динамическим выделением inod'ов под 
элементы каталога, поскольку изменения содержимого файлов были 
незначительные. Последние три года, на Альте, не использовал. Так что 
жаль, если так. Но важно, как это всё проверялось, был ли там 
out-of-tree код чего-то ещё, типа zfs, итд.

Независимо от того, будет ext4 или jfs на сборочнице, было бы хорошо 
поставить NVRAM с батарейкой и вынести журнал на неё.

Вообще, ни на одной другой файловой системе rm -rf так сильно не 
тормозит. А если через md или drbd, это вообще мегатормоз, когда речь 
даже о нескольких сотнях тысяч файлов.


-- 
Best regards,
Leonid Krivoshein.