[devel] архивирование репозиториев

Dmitry V. Levin ldv на altlinux.org
Пт Авг 28 04:28:58 MSK 2020


On Thu, Aug 27, 2020 at 03:32:53PM +0300, Anton Farygin wrote:
[...]
> т.е. - моё предположение про inodes ошибочно и мы здесь не упрёмся. Т.е. 
> - в принципе ничего экстраординарного в большом росте количества заданий 
> за счёт роботов нет и архиватор это должен переварить (если опять, же 
> учитывать время на создание копии архива на файловой системе, которое 
> скорее всего не параллелится и упрётся просто в IO).
> 
> Я ведь правильно понял Игоря, что он хочет сборочницу, которая будет 
> пропускать десятки тысяч сборочных заданий в день ?

Сейчас в Сизифе 17662 исходных пакетов, десятки тысяч сборочных заданий
в сутки означает, что в сутки каждый пакет обновляется в среднем чаще
одного раза.  Не вижу, какими рациональными причинами могла бы быть
вызвана такая интенсивность обновления пакетов.

Для того, чтобы коммитить условные 17662 задания в сутки, среднее время
на коммит задания должно быть менее 5 секунд.  Сейчас самое быстрое
время, которое уходит на коммит задания - это примерно 30 секунд,
а на коммит более развесистых заданий уходит более 10 минут, см. напр.
лог коммита kernel-image-un-def-5.7.19-alt1 с модулями в
http://git.altlinux.org/tasks/archive/done/_250/256866/logs/events.1.3.log

С переездом на более быстрые диски коммит заданий, конечно, заметно
ускорится, но вряд ли настолько, чтобы коммитить условные 17662 задания
в сутки.  Опять же не надо забывать про архивацию заданий, там обычная
скорость записи на обычные диски, и за такими темпами обновления
репозитория архивация вряд ли угонится.


-- 
ldv


Подробная информация о списке рассылки Devel