[devel] про автоматическое и ручное тестирование пакетов

[Dmitry V. Levin]

On Sun, Jun 14, 2009 at 03:51:18PM +0300, Kirill A. Shutemov wrote:
> 2009/6/14 Kirill Maslinsky <kirill на altlinux.org>:
[...]
> > Формализованные тесты на функциональность, включённые в пакет мантейнером,
> > выполняемые после успешной сборки пакета в безопасном окружении,
> > гаранитрующие отсутствие регрессий по данной функциональности
> > при пересборке в любом окружении.
> 
> Ядро и всё околожелезное так не протестируешь в принципе. Многое из оставшегося
> протестировать в автоматическом режиме тоже малореально.

Если ставить перед собой цель увеличивать покрытие автоматическими
тестами, и работать в этом направлении, то можно получить положительный
результат, недостижимый при тестировании вручную.  Это два ортогональных
подхода, которые в принципе можно развивать независимо друг от друга.

Например, https://bugzilla.altlinux.org/show_bug.cgi?id=20463 не возникло
бы, если бы на момент сборки пакета было реализовано соответствующее
автоматическое тестирование.  Собственно говоря, я рассчитывал, что
тестирование принимаемых в Сизиф пакетов пересборкой зависящих от них
пакетов будет введено в строй ещё до окончания весны, но один не очень
хороший человек (по запросу я готов назвать его имя) нарушил
договорённость об использовании оборудования для этой цели.

Я на данный момент не вижу, в чём заключается значимое преимущество
централизованных "карманов" для предварительного тестирования, о которых
так много говорят последнее время, над распределёнными "карманами", которые
каждый может устроить где угодно при наличии соответствующих ресурсов.
Могу лишь предположить:
- информация (централизованный "карман" немного легче обнаружить);
- доступность (централизованная сборка в среднем более доступна всем
  заинтересованным);
- интеграция (централизованный "карман" теоретически должно быть немного
  легче интегрировать в "материнский" репозиторий);
На данный момент мне эти преимущества не кажутся значимыми.
Грубо говоря, я не вижу, каким образом появления централизованных
"карманов" заметно повысит качество предварительного ручного тестирования.

Есть другие соображения на эту тему?


-- 
ldv
----------- следующая часть -----------
Было удалено вложение не в текстовом формате...
Имя     : отсутствует
Тип     : application/pgp-signature
Размер  : 197 байтов
Описание: отсутствует
Url     : <http://lists.altlinux.org/pipermail/devel/attachments/20090616/e8ff262f/attachment.bin>