[hpc-devel] Результат эксперимента

[Михаил Якушин]

Stanislav Ievlev пишет:
> 26.12.07, Михаил Якушин<silicium на altlinux.ru> написал(а):
>> Сегодня, я и Александр Наумов из Т-платформ. Проводили эксперемент по
>> запуску дистрибутива на реальном железе. В основном интересовала
>> поддержка  infinband карточки от Melanox (модель точно не скажу).
>> В целом эксперимент удался: получилось связать по ib 2 узла, и проверить
>> работу MPI. В процессе тестирования были замечены недочёты:
> 
>> -При запуске не подгружаются модули ib. Пришлось загружать модуль mlx4
>> для карточки, и все модули из дериктории core(например ib_uverbs)
>> -Udev не создаёт (вообще) появившисе устройтва. Они должны быть в
>> /dev/infiband пришлось создать руками
> 
> Правильно ли я понимаю, что после копирования нужного файлика с
> правилами для  udev всё завелось? Хорошо бы отладить работоспособность
> именно этих правил.
> 
Я не делал правил, соответвенно не проверял, я просто руками(mknod)
создал файлы. С правилами надо разбираться. Я к сожалению плохо знаю
udevd видимо надо изучать.
> 
>> -Не совсем ровно собран пакет openib-diags .Некоторые программы тербуют
>> запуска других пограмм из того-же пакета, и почему-то ищут их гдето
>> /usr/local/bin (решил проблему созданием ссылок)
> 
> Миша, пожалуйста повесь соотв. баги в bugzilla.
> 
>> -Не совсем правильно собран libibverbs. Почему-то нет линки
>> libibverbs.so есть только libibverbs.so.1 это не нравилось компилятору.
> 
> *.so живут в devel-части пакета. Пожалуйста посмотри. Собрал ли я
> libibverbs-devel или что-то забыл?
> 
Покрайней мере он не ставиться в дистре.
>> -По словам Александра одного openmpi мало желательно ещё хотябы MVA mpich
> 
> MVApich2 есть, но с поддержкой tcp. Могли бы вы пересобрать этот пакет
> с поддержкой infiniband и повторить эксперимент?
> 
>> -Имхо в инсталере стоит сделать вариант установки для корневой ноды, там
>> например врядли будет хоминк на NFS
> 
> Что такое корневая нода? И чем она отличается от главной?
> 
Я имел ввиду главную, это термин из OpenSSI.
>> -Я с ходу не нашёл как автоматизировать установку 2й ноды.
> 
> Рассылку надо внимательнее читать ;)
> mknfsroot, mkai.
Да пропустил, при следующий возможности проверю.