[devel] overoptimizing hasher

[Anton Farygin]

03.04.2019 0:40, Igor Vlasenko пишет:
> On Mon, Mar 25, 2019 at 04:14:09AM +0300, Dmitry V. Levin wrote:
>> Тестовая пересборка проводится на снапшоте репозитория,
>> что создаёт предпосылки для оптимизации.
>>
>> Первый hsh --initroot (без кэша) занимает там около 21 сек,
>> повторные (с кэшом) -- около 10.5 сек.
>>
>> Если кэшировать aptbox после initroot, то
>> повторные hsh --initroot занимают там около 2.3 сек.
>>
>> Суммарное время пересборки Сизифа при таком кэшировании получается
>> примерно на 40 часов меньше, что в теории на нынешнем оборудовании
>> могло бы сократить время тестовой пересборки примерно на 15 минут.
> Для меня основное ускорение пересборки получается не из-за
> этой экономии в 20 сек. с каждой пересборки,
> а из-за того, что схардлинковав эти кеши,
> я снижаю потребление hasherом памяти в tmpfs
> что позволяет запускать больше пересборок параллельно.
>
> Было: altair с 32 cores, но мог запустить параллельно только
> 16-24 параллельно работающих hasherов.
> Теперь запускаю все 32 hasherа, и еще памяти хватает.
> ускорился в 32/24=1.5 - 32/16=2 раза,
> в полтора-два раза!
> Для beehive такое тоже не помешало бы.
>
А можно просто перейти в hasher root на Optane SSD с петабайтным
ресурсом. Разницы с tmpfs вы не заметите.

https://www.hardwareluxx.ru/index.php/artikel/hardware/storage/44163-intel-optane-ssd-900p-280-gb-3d-xpoint.html?start=2