[devel] многопоточная сборка

[Dmitry V. Levin]

On Wed, Apr 03, 2019 at 07:09:35PM +0300, Michael Shigorin wrote:
> 	Здравствуйте.
> Коллеги, вот мы тут за сборки, пересборки, коммиты пакетов...
> а есть ещё одна порой простая штука, которая важна:
> сколько ядер/процессоров задействуется при сборке пакета.
> 
> Вот верхний десяток строк из разбора архива заданий для
> sisyphus_e2k на "Эльбрус-8С" (список "более 300 секунд
> в один поток" прилагаю, как и пару наколенных скриптов,
> ожидающих в /tasks соответствующий каталог сборочницы
> или его частичное зеркало):
> 
> python-module-lxml: 26005 99%

$ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/python-module-lxml-4.3.3-alt1 
320.74user 8.13system 8:26.12elapsed 64%CPU (0avgtext+0avgdata 823328maxresident)k
330.41user 11.94system 9:13.28elapsed 61%CPU (0avgtext+0avgdata 823328maxresident)k

На sisyphus_e2k сборка действительно заняла на два порядка больше времени,
чем на x86?  Прискорбно.

> wesnoth1.12: 24803 99%

Такого пакета в Сизифе нет.  У ближайшего родственного
$ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/wesnoth-1.14.5-alt2 
7762.63user 616.52system 52:47.42elapsed 264%CPU (0avgtext+0avgdata 2700824maxresident)k
7857.82user 641.24system 55:27.95elapsed 255%CPU (0avgtext+0avgdata 2700824maxresident)k

сборка выглядит распараллеленной.

> samba-DC: 16774 94%

Такого пакета в Сизифе нет.

> samba: 14355 94%

$ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/samba-4.10.0-alt1 
4514.44user 1184.22system 44:12.38elapsed 214%CPU (0avgtext+0avgdata 420716maxresident)k
4700.40user 1218.47system 49:44.31elapsed 198%CPU (0avgtext+0avgdata 420716maxresident)k

Сборка выглядит распараллеленной.

> jfreechart: 10732 88%

$ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/jfreechart-0:1.0.19-alt1_9jpp8 
104.65user 2.79system 1:54.99elapsed 93%CPU (0avgtext+0avgdata 901488maxresident)k
127.42user 7.71system 3:01.15elapsed 74%CPU (0avgtext+0avgdata 901488maxresident)k

На sisyphus_e2k сборка действительно заняла на два порядка больше времени,
чем на x86?  Вряд ли кто-то затратит много сил на распараллеливание сборки пакета,
который собирается за 2 минуты.

> Mesa: 10110 96%

$ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/Mesa-4:19.0.1-alt1 
11512.90user 132.29system 47:40.01elapsed 407%CPU (0avgtext+0avgdata 5161388maxresident)k
11551.49user 138.14system 48:35.37elapsed 400%CPU (0avgtext+0avgdata 5161388maxresident)k

Сборка выглядит распараллеленной.

> python-module-wx: 7734 74%

Такого пакета в Сизифе нет.  Ближайший родственный пакет

$ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/python-module-wx3.0-1:3.0.2.0-alt1.1.qa3 
456.90user 20.87system 11:47.73elapsed 67%CPU (0avgtext+0avgdata 804280maxresident)k
491.66user 27.15system 12:46.58elapsed 67%CPU (0avgtext+0avgdata 804280maxresident)k

выглядит заброшенным.

> python-module-numpy: 7346 98%

$ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/python-module-numpy-1:1.15.4-alt1 
524.30user 22.10system 18:10.31elapsed 50%CPU (0avgtext+0avgdata 381712maxresident)k
554.33user 27.57system 19:24.89elapsed 49%CPU (0avgtext+0avgdata 381712maxresident)k

На этот пакет предлагаю повесить баг.

> bouncycastle: 6833 99%

$ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/bouncycastle-0:1.58-alt2_3jpp8 
2045.01user 31.41system 23:19.87elapsed 148%CPU (0avgtext+0avgdata 1177084maxresident)k
2066.31user 40.88system 23:52.41elapsed 147%CPU (0avgtext+0avgdata 1177084maxresident)k

Сборка выглядит слегка распараллеленной.
Кроме того, пакет выглядит импортным.

> chicken: 6529 97%

$ grep -F 'elapsed ' beehive/logs/Sisyphus-x86_64/latest/success/chicken-4.1.0-alt2.1 
320.75user 10.16system 11:09.34elapsed 49%CPU (0avgtext+0avgdata 309292maxresident)k
325.33user 12.28system 11:27.10elapsed 49%CPU (0avgtext+0avgdata 309292maxresident)k

На этот пакет предлагаю повесить баг.

Мораль: привлекать внимание коллег нужно, но для этого следует
использовать релевантные данные.  Как мы видим, релевантность данных
с sisyphus_e2k в данном примере составила 20%.  Целесообразнее
использовать данные тестовой пересборки Сизифа.


-- 
ldv
----------- следующая часть -----------
Было удалено вложение не в текстовом формате...
Имя     : signature.asc
Тип     : application/pgp-signature
Размер  : 801 байтов
Описание: отсутствует
Url     : <http://lists.altlinux.org/pipermail/devel/attachments/20190403/2e36db54/attachment-0001.bin>