[Comm] Технологии построения кластерных систем.

[Vitaly Lugovsky]

On Tue, 29 Oct 2002, Mike wrote:

> Приветствую.
> Прошу откликнутся всех, кто в исползует для реальных задач технологии
> кластеризации и паралельных вычеслений.

 Реальные задачи - понятие крайне растяжимое. По большому счёту - все
задачи - "реальные". ;)

> Меня уже давно интересует эта тематика, но близко я к ней не подбирался,
> вот предявился случай - у меня дипломная работа связана с
> расспаралеливанием вычеслений.

 Ok. Какого рода разпараллеливание?

 Тут задачи можно поделить на следующие категории:
1) Лего параллелятся - обмен между процессами отсутствует или минимальный
на уровне пайпов. Тут подходят системы автоматического разпараллеливания,
вроде всяких batch pools или более продвинутых, с динамической 
балансировкой - e.g. Mosix.
2) Задачи с обменом сообщениями. Для этого необходимо весьма серьёзно 
переписывать реализацию алгоритма (если не используются языки, допускающие
достаточно высокий уровень абстракции для автоматического 
разпараллеливания на message passing). Наиболее популярные средства - PVM3
и MPI (в Сизифе их целых два разных), но иногда стоит воспользоваться
чем либо самописным (e.g. я использую собственную библиотеку pure 
functional message passing для OCaml, с ней не требуется особо
переделывать код). От уровня обмена между процессами зависит выбор
железа - где 10mbit хватит, а где и гигабита или CRAY мало.
3) Самые злобные ублюдочные гадские задачи - требуют шаренной памяти.
Тут выход один - SMP, возможно NUMA. Реализуется обычно на уровне 
многотредового кода, но так же есть и всякие фишки вроде OpenMP 
(есть в интеловских компиляторах, к примеру).

 Итак, к какому классу относятся ваши "реальные" задачи?

> Хочется просто поговорить с людьми которые этой тематикой занимаются
> долго и набаться у них опыта.

 Ок. Я тут. Можно говорить.

> Мне не влом читать, вникать, програмировать - хочу поговорить с
> "бывалыми", благо они в рассылке имеются.

 Но лучше всего начинать с http://www.parallel.ru/