[devel] про автоматическое и ручное тестирование пакетов

[Денис Смирнов]

On Tue, Jun 16, 2009 at 02:33:38AM +0400, Dmitry V. Levin wrote:

DVL> Если ставить перед собой цель увеличивать покрытие автоматическими
DVL> тестами, и работать в этом направлении, то можно получить положительный
DVL> результат, недостижимый при тестировании вручную.  Это два ортогональных
DVL> подхода, которые в принципе можно развивать независимо друг от друга.

Да, именно это я и пытался донести до at at . Есть вещи которые вручную
практически невозможно полноцено тестировать, и роботы справятся с этой
работой безусловно лучше. Есть же вещи которые роботы или пока еще не
умеют тестировать (и тогда их надо научить), или написание тестов для
таких вещей является практически невозможным ввиду непредсказуемого
количество потенциальных проблемных ситуаций, которые выявляются
исключительно при тестировании человеком в конкретной конфигурации.

Например я плохо себе представляю автоматическое тестирование xorg без
тестовой лаборатории стоимостью в сотни тысяч долларов.

DVL> Я на данный момент не вижу, в чём заключается значимое преимущество
DVL> централизованных "карманов" для предварительного тестирования, о которых
DVL> так много говорят последнее время, над распределёнными "карманами", которые
DVL> каждый может устроить где угодно при наличии соответствующих ресурсов.
DVL> Могу лишь предположить:

1. Затраты времени на создание этих распределенных карманов. То есть это
означает необходимость каждому поднимать у себя girar, либо использовать
для сборки srpm. Первое достаточно сложно, второе мне не нравится так как
провоцирует на дальнейшее использование srpm.

2. Такой pocket, если он находится в git.alt может быть использован как
task, который отправится в Сизиф. Таким образом в тот момент когда
тестирование будет завершено, владельцу такого кармана будет достаточно
одной команды чтобы сделать попытку отправить этот pocket в Сизиф.

DVL> - информация (централизованный "карман" немного легче обнаружить);

Это также весьма важно.

DVL> - доступность (централизованная сборка в среднем более доступна всем
DVL>   заинтересованным);

Не каждый вообще имеет ресурсы для того чтобы что-то куда-то удобно
выкладывать. Скажем у меня есть свой сервер на площадке, однако у меня
пока не было времени развернуть там аналог git.alt, да еще и прикрутить
туда pocket'ы.

DVL> - интеграция (централизованный "карман" теоретически должно быть немного
DVL>   легче интегрировать в "материнский" репозиторий);

Это является наиболее существенным преимуществом. Поясню -- использоваине
pocket'ов само по себе это дополнительное усложнение workflow разработки.
И если они хорошо интегрированы в git.alt, то будут причины _сначала_
собирать в pocket для тестирования, и в последующем выполнять перенос. Как
минимум было бы важно чтобы этот workflow использовался для критичных
подсистем -- kernel, xorg. Да и alterator'у бы не помешал.

DVL> На данный момент мне эти преимущества не кажутся значимыми.
DVL> Грубо говоря, я не вижу, каким образом появления централизованных
DVL> "карманов" заметно повысит качество предварительного ручного тестирования.
DVL> Есть другие соображения на эту тему?

Несмотря на разговоры о карманах в течении нескольких _лет_ я пока ни у
кого не видел собственной инфраструктуры карманов, которую бы он
использовал для публикации. Таким образом есть основания считать что без
появления карманов на git.alt эта технология использоваться на практике не
будет.

Однако тот факт что некоторые пакеты необходимо публиковать до отправки в
Сизиф, как мне кажется, очевиден.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
-------------- next part --------------
A non-text attachment was scrubbed...
Name: not available
Type: application/pgp-signature
Size: 197 bytes
Desc: Digital signature
URL: <http://lists.altlinux.org/pipermail/devel/attachments/20090616/6d7f010c/attachment-0001.bin>