[devel] unit-test based ratings [was: contrib ]

[Igor Vlasenko]

On Thu, Feb 21, 2008 at 12:21:30PM +0300, Alexey I. Froloff wrote:
> * Хихин Руслан <hihin@> [080221 08:33]:
> >  > Каждому пакету пририсовывать звёздочки, типа уровни доверия, как в
> >  > gpg, а потом присуждать премию "лучший пакет года" с
> >  > десятком номинаций.  Угу. :)
> > Осталось договориться о том, кто это будет присуждать :)

Пусть это будет робот, чтобы никому не было обидно :)
Что-то вроде "kwalitee"
http://qa.perl.org/phalanx/kwalitee.html

Все никак не могу урвать время :(
Давно хочу написать платформу для запуска юнит-тестов.
Она мне нужна для автоматизации тестирования java-пакетов,
но логично написать под нее тесты всех вообще аспектов упаковки,
нначиная от соблюдения соответствующих полиси и кончая меню.

юнит-тесты удобнее багзиллы тем, что вешаются и убираются автоматически,
позволяют автоматически тестировать все, 
что можно и нужно проверить автоматически,
Все то, что категорически не стоит убивания пакета в sisyphus_check.
Например, отсутствие субкатегории меню в .desktop файле :)
Пусть багзилла будет местом для нетривиальных проблем.

Пакет можно оценивать по числу проваленных тестов,
можно выдавать NMU автоматически, если есть проваленные тесты и т.д.


-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine