[hpc-devel] Результат эксперимента

[Stanislav Ievlev]

26.12.07, Михаил Якушин<silicium на altlinux.ru> написал(а):
> Сегодня, я и Александр Наумов из Т-платформ. Проводили эксперемент по
> запуску дистрибутива на реальном железе. В основном интересовала
> поддержка  infinband карточки от Melanox (модель точно не скажу).
> В целом эксперимент удался: получилось связать по ib 2 узла, и проверить
> работу MPI. В процессе тестирования были замечены недочёты:

> -При запуске не подгружаются модули ib. Пришлось загружать модуль mlx4
> для карточки, и все модули из дериктории core(например ib_uverbs)
> -Udev не создаёт (вообще) появившисе устройтва. Они должны быть в
> /dev/infiband пришлось создать руками

Правильно ли я понимаю, что после копирования нужного файлика с
правилами для  udev всё завелось? Хорошо бы отладить работоспособность
именно этих правил.


> -Не совсем ровно собран пакет openib-diags .Некоторые программы тербуют
> запуска других пограмм из того-же пакета, и почему-то ищут их гдето
> /usr/local/bin (решил проблему созданием ссылок)

Миша, пожалуйста повесь соотв. баги в bugzilla.

> -Не совсем правильно собран libibverbs. Почему-то нет линки
> libibverbs.so есть только libibverbs.so.1 это не нравилось компилятору.

*.so живут в devel-части пакета. Пожалуйста посмотри. Собрал ли я
libibverbs-devel или что-то забыл?

> -По словам Александра одного openmpi мало желательно ещё хотябы MVA mpich

MVApich2 есть, но с поддержкой tcp. Могли бы вы пересобрать этот пакет
с поддержкой infiniband и повторить эксперимент?

> -Имхо в инсталере стоит сделать вариант установки для корневой ноды, там
> например врядли будет хоминк на NFS

Что такое корневая нода? И чем она отличается от главной?

> -Я с ходу не нашёл как автоматизировать установку 2й ноды.

Рассылку надо внимательнее читать ;)
mknfsroot, mkai.