[devel] [JT] сборочница 3.0, qa/ci, ресурсы, приоритеты (was: [I] rpm-build-vm: vm-run)

[Michael Shigorin]

On Fri, Oct 18, 2019 at 12:36:50PM +0300, Anton Farygin wrote:
> >>> И не должно: это дорогостоящая операция
> >> Если так порассуждать, то тесты вообще не надо выполнять.
> > Знаешь, мил друг, а давай-ка тогда исошки заодно собирать
> > на каждый пакет -- мало ли что развалится!
> Отличная идея! Если пакет входит в образ или в инсталятор - то
> надо собрать ISO и попробовать её установить (автоматически).
> Значительно облегчило бы работу тем, кто собирает дистрибутивы.

Но этого мало: надо сперва поставить предыдущий ISO и попробовать
обновиться с него до полученного пакета.  Это сильно облегчит
жизнь тем, кто обновляет дистрибутив. </>

Если не доводить до абсурда -- думаю, компромиссом при текущей
ресурсоёмкости сборки пакетов и исошек была бы для начала ночная
сборка исошек с отбрасыванием "такого же" результата, т.е. лишь
изменения становятся заметными в отчёте.  Возможно, при наличии
лишних ресурсов и электроэнергии затем с переходом к асинхронной
проверке уже собранных заданий, но там понадобится либо кратное
превышение ресурсов над сборочными (т.к. hasher применяет один
чрут, а mkimage -- минимум два, обычно с полдюжины и больше),
либо какое-то хитрое построение очереди (на которое есть спрос
и в самой сборочнице, но там критерии предложить ещё сложнее,
чем для карманов, я порой возвращаюсь к обдумыванию этого),
либо в "плотные" дни очередь на проверку будет до ближайшего
затишья заметно отставать от очереди на сборку.

В любом из первых двух случаев _сперва_ потребуется переводить
сборочницу с раздачи заданий исполнителям на разбор ими заданий,
о чём думает Глеб (и если ему чем-то получится помочь по другим
проектам, может, быстрее доберётся).  Тогда по крайней мере
должно стать возможно разделение ресурсов сборочных узлов между
hsh, собирающими пакеты, и hsh, занимающимися кусочками образов
(плюс более плотная загрузка уже имеющихся ядер и памяти).

Ну и напомню, что более насущным кандидатом на вагон
дополнительных ресурсов у нас является синхронная пересборка
пакетов, в сборочное окружение которых входят пакеты из вновь
собираемого задания -- о чём давно мечтал вслух at@ и что сейчас
аппроксимируется пересборками всего сизифа.

> > Это не к тому, что CI не надо.  Может быть полезно, только
> > с умом и без истерик.  Иначе у тебя без особых вариантов
> > со временем процессы подменяют людей, что приводит к западной
> > колее, в которой ты тягаться с тем же редхатом не сможешь уже
> > по ресурсам и опыту.
> Миша, люди и CI должны дополнять друг друга.  То, что можно
> делать автоматически - надо делать автоматически. Ручной работы
> это никак не отменяет.

Да.  И особенно на этапе постановки (и фильтрации) задач.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info