[hpc-devel] I: результаты очередной проверки на кластере

[Alexander A. Naumov]

Коллеги, день добрый!

А чем плоха идея стартовать инфинибэнд как отдельный сервис 
из init-скрипта?

Мы запускали тесты osu_bw и osu_latency из OSU benchmarks.


-- 
С уважением,
Александр Наумов
ООО "Т-Платформы"
Тел.: (495)744-0995
http://www.t-platforms.ru
On Thu, Jan 24, 2008 at 05:11:56PM +0300, Stanislav Ievlev wrote:
> Всем привет!
> 
> Сегодня мы наконец-таки добрались до кластера и посмотрели как там
> живёт  ALT Linux (ходят слухи, что на следующей недели мы сможем
> наконец увидеть железку и тогда дела пойдут быстрее ;) ).
> 
> Из нового: поставили одну машину с CD, а вторую загрузили как
> бездисковую станцию( воспользовались mknfsroot, настроили dhcp,
> остальное из коробки), проверили сразу две реализации MPI: openmpi и
> mvapich2.
> 
> Вот подробное описание произошедшего:
> 
> система:
> * не хватает в системе установленных devel-частей от libibverbs и libibumad.
> * кажется dhcpd по умолчанию off, надо бы уточнить.
> 
> Итого: Добавим недостающее. Ещё говорят полезно иметь несколько
> реализаций одновременно посему надо собрать ещё mvapich, mpi-selector
> и повесить на него все эти реализации. Правильно ли я понимаю, что
> mpi-selector, позволяет каждому пользователю сделать индивидуальные
> настройки?
> 
> ядро:
>  * автоматом загрузилось mlx4_core.
>  * ручками загружали mlx4_ib ib_uverbs, ib_umad.
>  * имеющихся правил udev хватило чтобы автоматом создать необходимые
> файлы в /dev для infiniband.
> 
> Итого: надо понять почему не загрузилось автоматом mlx4_ib и что с
> этим делать (может быть зависимости в модулях подправить лучше).
> Оставшиеся два модуля видимо надо прописать в /etc/modutils.d. Не знаю
> точно как там это делается, но в идеале было бы здорово добавить их в
> зависимость к mlx4_ib, чтобы не делать "тупой" загрузки каждый раз.
> 
> mknfsroot
>   * надо добавить драйвер e1000. А вообще надо бы чтобы mkinitrd начал
> принимать список модулей, а не только серию --with-module ...
>  * была одна плюха ошибка в настройках mca для openmpi. В системе
> дисковой было blt = openib, а в nfsroot - blt = tcp. Ну это мелкий
> косяк по забывчивости.
>  * кажется схватился /etc/mtab из хост системы, надо бы его сделать
> как и для livecd, симлинком на /proc/mounts.
>  * для теста не пользовались bind, использовали только /etc/hosts.
> Надо бы копировать /etc/hosts из хост-системы в создаваемый nfsroot.
> 
> Итого: мелкие косяки в mknfsroot поправим.
> 
> Что ещё остаётся:
> 
> Антон, надо бы решить вопрос по получению исходного кода драйвера для Панасуса.
> 
> Дополнительные вопросы:
> 
> Вопрос ко всем: Использует ли кто bind на кластерах или предпочтение
> отдаётся /etc/hosts? Может быть вообще убрать bind из состава
> дистрибутива за ненадобностью?
> 
> Вопрос к Алесандру Наумову: Как называются тесты производительности,
> которые мы смотрели? Откуда их брать?
> 
> Вопросы к Александру Московскому:
> Какой коммерческий софт стоит проверить на совместимость с
> дистрибутивом? Наверное уже стоит потихоньку начинать переговоры с
> фирмами о проведении подобного тестирования.
> Стоит наверное потихоньку начинать тестировать и интегрировать в
> дистрибутив софт, входящий в программу СКИФ.
> 
> --
> Ну вот и всё ;)
> Станислав Иевлев.
> _______________________________________________
> HPC-devel mailing list
> HPC-devel на lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/hpc-devel