[devel] parallel builds, again (was: [Fwd: [#16528] COMPLETE (try 23)])

[Michael Shigorin]

On Sat, Dec 12, 2009 at 02:51:16AM +0300, Денис Смирнов wrote:
> MS> Single-threaded build is getting us nowhere when CPU clocks are
> MS> effectively frozen at <= 3GHz while cores are plenty; ARM case
> MS> is even more sensitive to single system performance being a
> MS> bottleneck (as discussed on devel-ports@).
> Так может таки использовать NPROCS=(cores * 4) и использовать
> нормальные процессоры? 

Да нормальные там.  Я о том, что diff'абельность логов с NPROCS=1
дороговато обходится -- не верю, что они все вычитываются, а раз
не все, то стоит обрабатывать как исключения -- в конце концов,
подумать над возможностью при помощи gears и archive/Sisyphus
восстановить для разбора полётов _по заинтересовавшему_ контекст
и воспроизвести сборку на "лабораторной" сборочнице в один поток.

> MS> 2 ldv: what do you think of a week with parallel builds turned on
> MS> and taking a log analysis vacation? :)
> MS> (BTW having "main" packages built single-threaded and "contrib"
> MS> packages built multi-threaded might help too -- if we had those)
> Ты сейчас о NPROCS или спекулятивной сборке?

NPROCS, разумеется.

> $ task-ls-queue | wc -l
> 134
> существенная часть этих пакетов не зависит друг от друга,
> так что спекулятивная сборка на имеющемся железе (вплоть до
> задействования офисных машинок :)

Сборка же на площадке вроде?

> Собственно, как я понимаю, почти все необходимое для
> спекулятивной сборки уже было сделано?

Не (знаю|помню).

-- 
 ---- WBR, Michael Shigorin <mike на altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/