[devel] overoptimizing hasher

[Igor Vlasenko]

On Mon, Mar 25, 2019 at 04:14:09AM +0300, Dmitry V. Levin wrote:
> Тестовая пересборка проводится на снапшоте репозитория,
> что создаёт предпосылки для оптимизации.
> 
> Первый hsh --initroot (без кэша) занимает там около 21 сек,
> повторные (с кэшом) -- около 10.5 сек.
> 
> Если кэшировать aptbox после initroot, то
> повторные hsh --initroot занимают там около 2.3 сек.
> 
> Суммарное время пересборки Сизифа при таком кэшировании получается
> примерно на 40 часов меньше, что в теории на нынешнем оборудовании
> могло бы сократить время тестовой пересборки примерно на 15 минут.

Для меня основное ускорение пересборки получается не из-за
этой экономии в 20 сек. с каждой пересборки,
а из-за того, что схардлинковав эти кеши,
я снижаю потребление hasherом памяти в tmpfs
что позволяет запускать больше пересборок параллельно.

Было: altair с 32 cores, но мог запустить параллельно только
16-24 параллельно работающих hasherов.
Теперь запускаю все 32 hasherа, и еще памяти хватает.
ускорился в 32/24=1.5 - 32/16=2 раза,
в полтора-два раза!
Для beehive такое тоже не помешало бы.

-- 

I V