[devel] robots VS sisyphus
Sergei Epiphanov
serpiph на nikiet.ru
Ср Дек 28 10:27:15 MSK 2011
On 28 декабря 2011 00:09 Alexey Tourbin wrote:
> > Я пока еще не замечал, чтобы у рядового пользователя стоял бы сервер с
> > 24ГБ памяти на борту. Hasher, например, для сборки пакета задействует
> > apt не единожды и с базой Сизифа, объединённой со своей локальной для
> > возможности сборки пакетов с учётом уже собранных ранее. И так для
> > каждого пакета, проверяемого локально на сборку. А если пакетов
> > несколько десятков?
> Я привёл пример c 24G RAM, чтобы исключить влияние виртуальной памяти и
> page faults. Понятно, что если у Вас 1G RAM и запущен Firefox, то hasher
> не справится за секунду. Но всё же справится относительно быстро, а
> торомоза не следовало бы относить в первую очередь на счет apt.
А что значит "относительно быстро"? У меня дома i7 975 с 12ГБ на борту
(виртуальной памяти нет) и винтом Velociraptor 10000rpm. И то сбор данных
занимает порядка двух секунд. А hasher'у по каждому собираемому пакету
сначала нужно проверить адекватность chroot (первое обращение), потом
поставить пакеты (второе обращение), потом под конец ещё одна генерация списка.
Сервера (на Xeon и Opteron) показывают в 5-10 раз выше производительность
в обработке данных по сравнению с любыми десктопными процессорами той же
частоты даже при меньшей паспортной производительности памяти. Сужу
по сравнению старого Xeon 3.2ГГц с i7 760. Уже одно это отрывает Ваш пример
от действительности.
i7 960 + 24ГБ оперативки (6х4ГБ) с винтом WD Diamond Black 2ТБ
с локальной базой Сизифа
======================================
С реальным чтением с диска
# time apt-get update
[sudo] password for pif:
Reading Package Lists... Done
Building Dependency Tree... Done
2.07user 0.60system 0:11.88elapsed 22%CPU (0avgtext+0avgdata 279120maxresident)k
382136inputs+151480outputs (28major+27754minor)pagefaults 0swaps
С закешированными в памяти данными
# time apt-get update
Reading Package Lists... Done
Building Dependency Tree... Done
1.89user 0.36system 0:03.11elapsed 72%CPU (0avgtext+0avgdata 279504maxresident)k
8inputs+151480outputs (22major+28804minor)pagefaults 0swaps
#
Xeon 3.2ГГц + 4ГБ оперативки (4х1ГБ) с softRAID1 на WD DIamond Black 1ТБ
с удалённой базой Сизифа через сеть 100МБит
=====================================
С реальным чтением базы с диска
# time apt-get update
Get:1 ftp://IP i586 release [861B]
Get:2 ftp://IP noarch release [859B]
Fetched 1720B in 0s (4066B/s)
Hit ftp://IP i586/classic pkglist
Hit ftp://IP i586/classic release
Hit ftp://IP noarch/classic pkglist
Hit ftp://IP noarch/classic release
Reading Package Lists...
Building Dependency Tree...
3.62user 1.40system 0:11.95elapsed 42%CPU (0avgtext+0avgdata 220048maxresident)k
312248inputs+148008outputs (29major+41574minor)pagefaults 0swaps
С закешированными в памяти данными
# time apt-get update
Get:1 ftp://IP i586 release [861B]
Get:2 ftp://IP noarch release [859B]
Fetched 1720B in 0s (6490B/s)
Hit ftp://IP i586/classic pkglist
Hit ftp://IP i586/classic release
Hit ftp://IP noarch/classic pkglist
Hit ftp://IP noarch/classic release
Reading Package Lists...
Building Dependency Tree...
1.21user 0.12system 0:01.86elapsed 71%CPU (0avgtext+0avgdata 193232maxresident)k
0inputs+912outputs (3major+19584minor)pagefaults 0swaps
Вопрос: что читает apt с диска в течение 10 сек?
--
С уважением, Епифанов Сергей
Подробная информация о списке рассылки Devel