[hpc-devel] Результат эксперимента

[Михаил Якушин]

Сегодня, я и Александр Наумов из Т-платформ. Проводили эксперемент по
запуску дистрибутива на реальном железе. В основном интересовала
поддержка  infinband карточки от Melanox (модель точно не скажу).
В целом эксперимент удался: получилось связать по ib 2 узла, и проверить
работу MPI. В процессе тестирования были замечены недочёты:
-При запуске не подгружаются модули ib. Пришлось загружать модуль mlx4
для карточки, и все модули из дериктории core(например ib_uverbs)
-Udev не создаёт (вообще) появившисе устройтва. Они должны быть в
/dev/infiband пришлось создать руками
-Не совсем ровно собран пакет openib-diags .Некоторые программы тербуют
запуска других пограмм из того-же пакета, и почему-то ищут их гдето
/usr/local/bin (решил проблему созданием ссылок)
-Не совсем правильно собран libibverbs. Почему-то нет линки
libibverbs.so есть только libibverbs.so.1 это не нравилось компилятору.
-По словам Александра одного openmpi мало желательно ещё хотябы MVA mpich
-Имхо в инсталере стоит сделать вариант установки для корневой ноды, там
например врядли будет хоминк на NFS
-Я с ходу не нашёл как автоматизировать установку 2й ноды.