[devel] Почему сборочница тормозит: корень зла в алогритмах.

[Dmitry V. Levin]

On Wed, Feb 07, 2018 at 09:47:31PM +0200, Igor Vlasenko wrote:
[...]
> Имеем: на сопоставимом классе пакетов 
> autorepo-scripts на altair 
> выдает скорость в 20.000 транзакций в сутки.
> При этом girar на кластере, существенно превосходящем 
> altair по производительности,
> выдает скорость в 500 транзакций в сутки.
> 
> Да, это гораздо более простая, однопользовательская,
> однонодная, нераспределенная сборочница,
> однако на моих задачах она кроет нашу сборчницу
> даже не как бык овцу, а еще на порядок сильнее.
> 
> В чем разница? Разница в алгоритмах.

На самом деле всё ещё проще: разница в задачах.

Возьмём первый попавшийся на глаза пакет из недавней python-пачки:
http://git.altlinux.org/tasks/archive/done/_195/200021/logs/events.1.1.log

Что мы видим: всё задание обрабатывалось 48:08 - 36:53 = 11.25 минут, из
них собственно сборка заняла 41:17 - 37:43 = 3.5 минуты, всё остальное --
это разнообразное тестирование, изготовление индексов (около минуты), и
коммит (ещё около минуты).  Таким образом, большая часть времени обработки
небольшого задания уходит на тестирование (один только install check занял
3 минуты), которого в autorepo-scripts нет в принципе, потому что задача
другая.

Очевидно, чтобы ускорить обработку заданий, стадию тестирования предстоит
распараллелить.  Изготовление индексов и коммит тоже неплохо было бы
ускорить.


-- 
ldv
----------- следующая часть -----------
Было удалено вложение не в текстовом формате...
Имя     : signature.asc
Тип     : application/pgp-signature
Размер  : 801 байтов
Описание: отсутствует
Url     : <http://lists.altlinux.org/pipermail/devel/attachments/20180207/6305231e/attachment.bin>