[devel] архивирование репозиториев

[Andrey Savchenko]

On Fri, 28 Aug 2020 04:28:58 +0300 Dmitry V. Levin wrote:
> On Thu, Aug 27, 2020 at 03:32:53PM +0300, Anton Farygin wrote:
> [...]
> > т.е. - моё предположение про inodes ошибочно и мы здесь не упрёмся. Т.е. 
> > - в принципе ничего экстраординарного в большом росте количества заданий 
> > за счёт роботов нет и архиватор это должен переварить (если опять, же 
> > учитывать время на создание копии архива на файловой системе, которое 
> > скорее всего не параллелится и упрётся просто в IO).
> > 
> > Я ведь правильно понял Игоря, что он хочет сборочницу, которая будет 
> > пропускать десятки тысяч сборочных заданий в день ?
> 
> Сейчас в Сизифе 17662 исходных пакетов, десятки тысяч сборочных заданий
> в сутки означает, что в сутки каждый пакет обновляется в среднем чаще
> одного раза.  Не вижу, какими рациональными причинами могла бы быть
> вызвана такая интенсивность обновления пакетов.
> 
> Для того, чтобы коммитить условные 17662 задания в сутки, среднее время
> на коммит задания должно быть менее 5 секунд.  Сейчас самое быстрое
> время, которое уходит на коммит задания - это примерно 30 секунд,
> а на коммит более развесистых заданий уходит более 10 минут, см. напр.
> лог коммита kernel-image-un-def-5.7.19-alt1 с модулями в
> http://git.altlinux.org/tasks/archive/done/_250/256866/logs/events.1.3.log
> 
> С переездом на более быстрые диски коммит заданий, конечно, заметно
> ускорится, но вряд ли настолько, чтобы коммитить условные 17662 задания
> в сутки.  Опять же не надо забывать про архивацию заданий, там обычная
> скорость записи на обычные диски, и за такими темпами обновления
> репозитория архивация вряд ли угонится.

У нас узким местом часто является не сама сборка пакета, а проверки
и иные действия сборочницы: поиск req/prov, sisyphus_check,
install_check и т.д. и т.п.. Они все (или почти все?)
последовательные и хорошо бы было это реорганизовать.

Best regards,
Andrew Savchenko
----------- следующая часть -----------
Было удалено вложение не в текстовом формате...
Имя     : отсутствует
Тип     : application/pgp-signature
Размер  : 833 байтов
Описание: отсутствует
Url     : <http://lists.altlinux.org/pipermail/devel/attachments/20200828/dae7ab37/attachment.bin>