[room] автоматизированное тестирование и предвзятость

[Денис Смирнов]

On Sun, Nov 07, 2010 at 11:41:30PM +0300, Mike Lykov wrote:

ML> вполне возможно.
ML> это тестирование (в виртуалке) длилось неделю.
ML> сделаете тоже на реальном железе? с удовольствием посмотрим.

Я тут запустил одну игрушку, и в ней можно выпрыгнуть из окна -- и
полететь! А значит человек может летать! Так что теперь или проверяйте
сами этот факт (прыжком из окна), или признайте что человек может летать.

Намек понятен?

То, что тестирование было проведено в виртуалке де-факто означает что из
результатов этого тестирования нельзя сделать никаких выводов по поводу
использования ядра на физической машине.

Могу еще для смеха вспомнить тот факт, который был многим известен еще 15
лет назад. DOS-приложения внутри DOS-эмуляции в OS/2 работали почему-то
заметно быстрее чем на голой машине (собственно понятно почему --
кэширование дисковых операций в host-ОС сильно повышало
производительность).

На виртуалке, увы, тестировать _производительность_ занятие весьма
спорное. Ну, то есть можно придумать частные случаи где результат будет
скорее всего корректным, но доверять я бы такому тестированию не стал.

И слова любого грамотного коллеги даже типа "мне кажется что вот это --
лучше" для меня будут иметь заведомо больший вес чем такое тестирование.
Ибо у этих слов хотя бы маленький вес но есть, а в такое тестирование я
верю ровно в той же степени, в какой я поверю результатам из /dev/random
:)

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------
----------- следующая часть -----------
Было удалено вложение не в текстовом формате...
Имя     : отсутствует
Тип     : application/pgp-signature
Размер  : 198 байтов
Описание: Digital signature
Url     : <http://lists.altlinux.org/pipermail/smoke-room/attachments/20101108/4a4ceb73/attachment.bin>