[devel] unit-test based ratings [was: contrib ]

[Igor Vlasenko]

On Thu, Feb 21, 2008 at 12:31:25PM +0200, Andriy Khavryuchenko wrote:
> Igor Vlasenko написав(ла):
> > Все никак не могу урвать время :(
> > Давно хочу написать платформу для запуска юнит-тестов.
> > Она мне нужна для автоматизации тестирования java-пакетов,
> > но логично написать под нее тесты всех вообще аспектов упаковки,
> > нначиная от соблюдения соответствующих полиси и кончая меню.
> 
> Идея чудесная, сам давно собираюсь такое прикрутить.

Отступление.

1) хочу разнести тесты и платформу для их запуска в отдельные rpm пакеты,
платформу интегрировать с prometeus.

2) сами тесты, по опыту, тривиальны. Нетривиально то, что у них общее:
где найти репозитарий/содерхимое пакета/содержимое пакета с исходниками/
создать базу, над которой выполнить запрос/.

платформа все это делает, и потом просто по очереди вызывает тесты,
подсовывая им что-то вроде REPO_UNIT_PKG_ROOT или даже
RPM_BUILD_ROOT.

а там уже часто достаточно 10-12 строчек на sh, perl, ...

> Вопрос один - кто будет писать и поддерживать в порядке тесты?  Работа
> по трудоёмкости того же порядка, что и разработка/опакечивание.

Кто будет писать? Думаю, те, кто заинтересованы в соблюдении policy.
Юнит - тест и есть policy, записанное в машинно-проверяемой форме.
Заходишь на sisyphus.ru, выбираешь тест и сразу видно, кто злодей :)

Я осенью хотел поразвешивать баги на пакеты с кривым меню, 
и _очень_ быстро понял, что проще написать тест,
 и платформу для его запуска с интеграцией в prometeus,
чем постить сотни багов в багзиллу.
:(

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine