[devel] ресурсоёмкое тестирование пакетов
Anton Farygin
rider на altlinux.com
Ср Май 20 09:41:55 MSD 2009
Alexey Tourbin пишет:
> А также ясно, что основная проблема с ресурсами и с распараллеливанием
> лежит в другой плоскости. Она связана не со сборкой самих заданий, а с
> тестовой пересборкой репозитария для каждого задания.
>
> Тестовая пересборка сизифа для каждого задания -- это очень круто (то
> есть, это challenge). Дольно сложно будет реализовать её оптимально.
> С другой стороны, тестовая пересборка дает наиболее полное представление
> о целостности репозитария (то есть, дает комплексную оценку пригодности
> пакетов). Мы же не в крестики-нолики играем, а хотим поддерживать
> целостный репозитарий. Это дорогое развлечение.
Кстати, тогда уж целью стоит объявлять выявление и устранение изменений
в результатах пересборки после каждого нового пакета.
Например, после появления glibc, каждый пересобранный пакет уже не равен
существующему пакету в репозитории (по зависимостям).
Т.е. - было бы здорово получить такую вот автоматическую пересобиралку,
которая будет пересобирать всё что сможет пересобрать после появления
пакета, изменяющего зависимости других пакетов, после пересборки.
Тогда можно и параллелить (аккуратно, естественно).
Да, а железа для этого нужно, судя по всему - раз в 50 больше, чем
сейчас. С учётом того, что сейчас пересборка сизифа занимает порядка
трёх суток (72 часа), а мы не можем допустить, что бы у нас пакет
собирался более чем разумное время (в данном контексте, думаю, один час
- вполне разумно), то текущее количество сборочных серверов нужно
умножить на 72 (на самом деле - больше, нужно считать overhead на
постановку задач/сеть).
С учётом того, что в данный момент (по словам ldv) задействовано 4
сервера, для полной автоматизации этого процесса необходимо порядка 288
серверов.
Это чуть меньше половины кластера СКИФ Т-60, который считается одним из
самых мощных в России и стоил порядка 10 миллионов долларов. И
потребляет порядка 0.5 мегаватта энергии в час.
Без оптимизации или без спонсора, явно - не обойтись ;) Ни у кого нет
подруги - дочери нефтяного магната ?
Подробная информация о списке рассылки Devel