[devel] про автоматическое и ручное тестирование пакетов

[Alexey Gladkov]

16.06.2009 02:33, Dmitry V. Levin wrote:
> Есть другие соображения на эту тему?

Представь ситуацию:

Я хочу выложить в сизиф новый firefox, собранный из trunk. Он уже
открывает сайты и с ним работают расширения. На всё это можно написать
тесты.

Но вот на то, что на некоторых сайтах новый firefox валится на flash и
на то что на определённых сайтах javascript падает в корку ты тестов
не сделаешь, потому что это не регулярные ошибки, которые можно
выяснить только ручным тестированием.

Такой пакет сможет пройти автотесты, но в сизифе при регулярном
использовании он будет НЕСТАБИЛЕН и ПАГУБЕН.

Более живой пример: В данный момент, я проглядел изменения в
firefox-uk, что привело к неработоспособности сочетания
firefox-3.5+firefox-uk. Выявить такое через автотесты сложно.
Автотестировиние всего множетва расширений и локализаций firefox (с
учётом возможных конфликтов между расширениями) мне представляется
очень сложной задачей.

Вышесказанное относится и к многим большим сложным пользовательским
интерактивным программам (попробуй формализовать автотесты на
openoffice, kde, gnome, groff ...). Некоторые апстримные разработчики
сами бьются над автотестами.

Я не верю, что столь очевидные примеры, не приходили тебе в голову.

Многие сложные интерактивные (хотя бы) программы легче отлаживать и
притирать друг к другу не включая в HEAD сизифа. Ибо эта работа
требует времени и промежуточных результатов для тестирования.

P.S. Ситуация с firefox из trunk вымышленная. :)

-- 
Rgrds, legion