[devel] ресурсоёмкое тестирование пакетов

Anton Farygin rider на altlinux.com
Ср Май 20 09:41:55 MSD 2009


Alexey Tourbin пишет:
> А также ясно, что основная проблема с ресурсами и с распараллеливанием
> лежит в другой плоскости.  Она связана не со сборкой самих заданий, а с
> тестовой пересборкой репозитария для каждого задания.
> 
> Тестовая пересборка сизифа для каждого задания -- это очень круто (то
> есть, это challenge).  Дольно сложно будет реализовать её оптимально.
> С другой стороны, тестовая пересборка дает наиболее полное представление
> о целостности репозитария (то есть, дает комплексную оценку пригодности
> пакетов).  Мы же не в крестики-нолики играем, а хотим поддерживать
> целостный репозитарий.  Это дорогое развлечение.

Кстати, тогда уж целью стоит объявлять выявление и устранение изменений 
в результатах пересборки после каждого нового пакета.

Например, после появления glibc, каждый пересобранный пакет уже не равен 
существующему пакету в репозитории (по зависимостям).

Т.е. - было бы здорово получить такую вот автоматическую пересобиралку, 
которая будет пересобирать всё что сможет пересобрать после появления 
пакета, изменяющего зависимости других пакетов, после пересборки.

Тогда можно и параллелить (аккуратно, естественно).

Да, а железа для этого нужно, судя по всему - раз в 50 больше, чем 
сейчас. С учётом того, что сейчас пересборка сизифа занимает порядка 
трёх суток (72 часа), а мы не можем допустить, что бы у нас пакет 
собирался более чем разумное время (в данном контексте, думаю, один час 
- вполне разумно), то текущее количество сборочных серверов нужно 
умножить на 72 (на самом деле - больше, нужно считать overhead на 
постановку задач/сеть).

С учётом того, что в данный момент (по словам ldv) задействовано 4 
сервера, для полной автоматизации этого процесса необходимо порядка 288 
серверов.

Это чуть меньше половины кластера СКИФ Т-60, который считается одним из 
самых мощных в России и стоил порядка 10 миллионов долларов. И 
потребляет порядка 0.5 мегаватта энергии в час.

Без оптимизации или без спонсора, явно - не обойтись ;) Ни у кого нет 
подруги - дочери нефтяного магната ?



Подробная информация о списке рассылки Devel