[devel] Задачи для сборочницы следующего поколения (was: Параллельная сборочница. Алгоритмы.)

[Igor Vlasenko]

On Fri, Feb 16, 2018 at 04:33:23AM +0300, Dmitry V. Levin wrote:

Хотел бы начать с этого, как наиболее важного.

> Наша традиционная сборочная система обладает следующим полезным свойством:
> каждое следующее состояние репозитория получается в результате применения
> транзакции к предыдущему состоянию.
>
> Такой детерминизм позволяет воспроизводимо получать новое состояние
> репозитория из старого путём последовательного применения транзакций.
> 
> Это свойство полезно для реализации вторичных догоняющих сборочных систем
> для медленных архитектур.
  
Хотел бы отметить, что параллельная сборочница, описанная ранее,
так же обладает воспроизводимым детерминизмом.
И алгоритм воспроизводимого получения нового состояния
репозитория из старого не настолько сложнее.
Последовательность репозиториев R_i восстанавливается по начальному
репозиторию R_0, последовательности транзакций T_j и
последовательности операций
MERGE_l( BuildTest(R_{l_1},T_{l_1}),..., BuildTest(R_{l_k},T_{l_k}))

> К чему привело бы применение нескольких транзакций одновременно?  В общем
> случае к тому, что результат применения отличался бы от результата
> последовательного применения.  

А к чему приводит применение нескольких транзакций последовательно?
В общем случае к тому, что результат применения отличается, в
зависимости от случайного выбора сборочницы.
Например, я залил транзакции 111222 и 111221.
Последовательная сборочница может смержить сначала 111222, потом
111221, может сначала 111221, потом 111222.
Параллельная еще добавляет 3-й вариант - 111222 и 111221 в одном
мерже.

Теоретически все три варианта могут отличаться. На практике так бывает
настолько редко, что проще либо пренебречь совсем, либо реализовать
постсборочное тестирование, чтобы не тормозить сотни тысяч ради одного.

> Не лучше ли вместо этого (спекулятивно)
> объединять множество транзакций, готовых к применению, в полноценные
> мега-транзакции, обрабатываемые как обычные транзакции?

"мега-транзакции" нельзя обрабатывать как обычные транзакции.
Иначе ими никто пользоваться не будет.
Отличие "мега-транзакций" в том, что несборка части ее пакетов
не блокирует мерж удачно собравшихся.
В транзакции наоборот, несборка хоть одного пакета FAILит всю транзакцию.

Т.е. внедрение их поддержки в сборчницу было бы хорошим, полезным шагом.
Но, думаю, ровно столько же усилий понадобилось бы и для реализации
параллельной сборочницы внутри. Параллельная сборочница --- это те же
"мега-транзакции", но включеные по умолчанию и прозрачно для пользователя.

-- 

I V