[devel] [I] rpm-build-vm: vm-run

[Vitaly Chikunov]

On Tue, Oct 15, 2019 at 10:24:40PM +0300, Dmitry V. Levin wrote:
> On Tue, Oct 15, 2019 at 09:48:17PM +0300, Anton Farygin wrote:
> > On 15.10.2019 21:33, Dmitry V. Levin wrote:
> > > On Tue, Oct 15, 2019 at 09:28:09PM +0300, Anton Farygin wrote:
> > >> On 15.10.2019 21:22, Dmitry V. Levin wrote:
> > >>> On Tue, Oct 15, 2019 at 02:30:16PM +0300, Anton Farygin wrote:
> > >>>> On 15.10.2019 10:32, Michael Shigorin wrote:
> > >>>>> Зачем это тащить в hasher, особенно если на сборочнице?
> > >>>>> Собрал тестовое задание, гоняешь по нему спокойно тесты.
> > >>>> Есть цель сделать автоматическое тестирование воспроизводимым образом и
> > >>>> сразу в процессе сборки пакета.
> > >>> Вопрос, что мешает поместить всё необходимое в сборочную среду?
> > >>>
> > >> Я не совсем понимаю механизм, с помощью которого я могу поместить всё
> > >> необходимое в сборочную среду.
> > > А что из себя представляет всё необходимое?
> > Для того теста, который я хотел бы попробовать сделать - это репозиторий 
> > apt, из которого собирался данный hasher root (или доступ к этому 
> > репозиторию через apt).
> > 
> > Грубо говоря - если мы хотим проверить инструментарий работы с 
> > репозиторием (apt, packagekit) во время сборки полноценно, то небольшого 
> > синтетического набора пакетов скорее всего будет недостаточно и его надо 
> > проверять на всей  доступной пакетной базе.
> 
> Давайте начнём с тех тестов, которые простые и воспроизводимые, и будем
> его пополнять.
> Проверять на всей пакетной базе тоже интересно, но это совсем другая задача.
> 
> У нас в уезде был аналогичный случай. (c)
> 
> У strace с 1991 года до 2011 года не было тестов.
> Начало положили 2 теста, написанные в феврале 2011 года.
> На данный момент в strace уже 721 тест, большая их часть синтетические,
> покрытие составляет 85.8% кода на x86-64.
> 
> Конечно, этого набора тестов недостаточно, strace надо проверять на всех
> доступных процессах. :)

Я делаю ещё один инструмент тестирования, но пока разработка идет тайно.
Первоначальная идея в том, чтоб делать на любую дату (скажем из архива
репозитория за неделю до проверяемой таски) делать загружаемый образ
(altbootstrap), бутиться в него (в qemu), dist-upgrade, ребут ещё раз и
проверка, что всё ок. Если это сработает, то к этому можно будет
добавлять ещё тестов.