[LinuxFocus-icon]
<--  | Карта  | Индекс  | Поиск
Новости | Архивы | Ссылки | Про LF
эта страница доступна на следующих языках: English  Deutsch  Francais  Nederlands  Russian  Turkce  

[Photo of the Author]
автор Majid Hameed
<hameed.majid(at)gmail.com>

Об авторе:
Majid Hameed студент факультета компьютерных наук в университете города Карачи, Пакистан. Его главными интересами являются искусственный интеллект, операционные системы, сети, программирование и компьютерная графика. Он описывает себя как Линукс энтузиаст который пользуется им последние 3.5 года включая такие дистрибутивы как Red Hat 9, 8, 7.3, 7.2, Slackware Linux 10 and 9.1, Slax, Mandrake Move 2, Knoppix 3.4, Vector Linux 4.3

Перевод на Русский:
Yuri Slobodyanyuk <yurisk(at)inbox.ru>

Содержание:

 

ParallelKnoppix

[Illustration]

Резюме:

ParallelKnoppix это дитрибутив Линукс умеющий работать прямо с компакт-диска, то есть без установки на жесткий диск. Он основан на дистрибутиве Knoppix который в свою очередь базируется на Debian. ParallelKnoppix позволяет нам создать кластер оснащенный набором средств параллельного программирования и библиотек таких как MPI за считанные минуты. Это экономит много времени при конфигурации среды вычислений. Существующая среда вычислений не нарушается, так как это дитрибутив работающий прямо с компакт-диска . Только на главном узле создается каталог который может быть потом удален после перезагрузки системы если Вы того пожелаете.

_________________ _________________ _________________

 

Вступление

"ParallelKnoppix это переработанный Knoppix позволяющий создать кластер машин для параллельной работы используя LAM-MPI и\или MPICH реализации MPI. Создание и приведение кластера в рабочее состояние занимает менее 15 минут если на машинах установлены сетевые карты поддерживающие PXE." Из http://pareto.uab.es/mcreel/ParallelKnoppix/  

Основы

Кластеры это один из наиболее дешевых способов достичь Параллельности. Создание кластеров это одна из сильных сторон Линукса. Университеты и организации имитируют сверх компьютеры соединяя машины с операционной системой Линукс в локальную сеть на основе Ethernet сетевых карт.Линукс широко распространен в научной среде потому что имеет большой набор средств для исследовательской работы ,таких как LAM, PI, PVM и многие другие. Поэтому Линукс хорошо подходит для параллельных вычислений. Но проблема с которой сталкиваются ученые и программисты это настройка Линукс среды. Проблема настройки становится еще серьезней при использовании отличной от Линукс (например Виндоус) среды.

Но теперь специалисты в Линукс решили эту проблему и существуют загружаемые компакт-диск дистрибутивы. Теперь исследователь может выбрать такой дистрибутив для параллельных вычислений не выполняя длительную настройку, и кластер будет готов к работе в течении нескольких ( 7-8) минут.

Одним из таких дистрибутивов является ParallelKnoppix.

Другие дистрибутивы для тех же целей это BCCD и ClusterKnoppix.  

Описание

Также как и его предшественник (то есть Knoppix) ParallelKnoppix определит все аппаратные средства автоматически. Я испытывал его на D865GBF Intel PIV и Intel 810C PIII машинах и конфигурация аппаратных средств произошла автоматически. Компьютеры сконфигурированные ParallelKnoppix имеют доступ к каталогу на главном узле с помощью сетевой файловой системы NFS. Главный узел загружается с компакт-диска а клиенты по сети (для этого существует сервер DHCP на главном узле). Для такой загрузки клиенты имеют BIOS и сетевые карты с поддержкой PXE.

Каждый сервис необходимый для LAM/MPI конфигурируется автоматически (LAM/MPI это спецификация интерфейса передачи данных который используется для параллельных вычислений). Так же как и DHCP, NFS, SSH и всё готово для экспериментирования с MPI пограммами и некоторыми другими для параллельных вычислений.

Такая настройка ParallelKnoppix не очень безопасна так как пароль для пользователя и суперпользователя общеизвестны, и любой имеющий некоторые знания ParallelKnoppix сможет получить доступ к кластеру. Но отчасти простота установки и настройки и достигается послаблениями в настройках безопасности.  

Что такое PXE загрузка?

PXE (Preboot Execution Environment - Предзагрузочная среда исполнения) загрузка это технология для загрузки компьютера удаленно через сеть. PXE поддерживается в BIOS также сетевая карта должна поддерживать такой вид загрузки.  

Что делать если сетевая карта не поддерживает PXE?

Вам придется использовать Etherboot или записать на компакт-диск образ. ROM-o-matic.net например динамически создает Etherboot ROM образы. http://rom-o-matic.net/  

Скачиваем ParrallelKnoppix

ISO файл

FTP прямая ссылка

http://pareto.uab.es/mcreel/ParallelKnoppix/parallelknoppix.iso

HTTP прямая ссылка

ftp://volcano.uab.es/pub/parallelknoppix.iso

MD5SUM прямая ссылка

http://pareto.uab.es/mcreel/ParallelKnoppix/parallelknoppix-2004-12-16.iso.md5

Проверьте домашнюю страницу если ссылка выше не работает
http://pareto.uab.es/mcreel/ParallelKnoppix/
После скачивания ISO образа проверьте его MD5 значение чтобы быть уверенными что скачивание прошло успешно. Сделать это можно с помощью команды Линукс введенной с консоли 
md5sum "isofilename"
В команде выше замените на правильное имя файла.

Если Вы используете не Линукс то можете использовать ссылку ниже на Windows MD5sum generator

http://www.md5summer.com/

Примечание - запись ISO файлов на компакт-диски требует програм вроде cdrecord.  

Как это работает?

Ниже Вы найдете ссылку на подробный пошаговый мануал по настройке.

Parallel Knoppix мануал html версия

http://pareto.uab.es/mcreel/ParallelKnoppix/Tutorial/Tutorial.html

Parallel Knoppix мануал pdf версия

http://pareto.uab.es/wp/2004/62604.pdf

Если Вы экспортировали CD Rom на узлы кластера то можете быть уверены что как минимум 50 узлов система воспримет легко . Кластер из более чем 50 узлов не тестировался.  

Что делать если несколько DHCP серверов работают одновременно?

"Если Вы работаете в университетской среде (как я) то есть шанс что уже существует в сети работающий DHCP сервер и\или PXE сервер. Когда Вы пытаетесь загрузить узлы то часто узлы загружаются с существующего PXE сервера а также попытаются получить адрес IP в сети от существующего DHCP сервера вместо того чтобы всё это производилось с главного узла загружаемого с компакт-диска ParallelKnoppix. Решение к которому я смог прийти до сих пор заключается в физическом отключении компьютеров-узлов от уже существующих в сети DHCP и PXE серверов или с помощью администратора сети временно отключить их. Если у кого-нибудь есть более элегантное решение буду рад услышать. Я думая надо разобраться с файлом miniroot.gz и как использовать rom-o-matic для создания загрузочного PXE ROM. Пока такая мысль меня страшит." Из http://pareto.uab.es/mcreel/ParallelKnoppix  

Как это работает ?

ParrallelKnoppix Live CD используется для загрузки главного узла. На нём после загрузки запускается скрипт выполняющий несколько функций - настраивает DHCP сервер для обеспечения доступа всех узлов к рабочему каталогу при помощи файловой системы NFS, создаются публичные ключи для корректной работы SSH (доступ без использования паролей), что в свою очередь необходимо LAM. После того как DHCP сервер на главном узле настроен и загружен управляемые узлы загружаются с помощью PXE. После успешной загрузки стандартная папка с программами копируется в общедоступный рабочий каталог и параллельные программы запускаются на исполнение на различных компьютерах.  

Мой личный опыт.

Я учусь на степень бакалавра компьютерных наук и мне был выдан проект решить математическую задачку используя MPI в лаборатории параллельных вычислений. Я выбрал ParallelKnoppix. Когда главный узел загружается в некоторый момент оно спрашивает Вас о резолюции - просто введите 6 и это даст максимальную резолюцию. После загрузки главного узла я запустил настроечный скрипт который запустил DHCP сервер. Далее я включил другие управляемые машины и наблюдал как они сами загружаются при помощи PXE.

Следующим шагом я копирую мою программу в "parallel_knoppix_working" каталог и используя консоль терминала запускаю её. 
Для компиляции я использую команду
mpicc myprogram.c -o myprogram.bin

Для запуска эту команду

mpirun C myprogram.bin
 

Выводы

"ParallelKnoppix предоставляет очень простой и быстрый способ создания и настройки кластера на основе 32 разрядных подобных машин . Этот дистрибутив не имеет своей целью создание кластера для многопользовательской среды, а скорее ориентирован на одного пользователя. Дистрибутив может быть изменен под персональные нужды конкретным пользователем ." Из ParallelKnoppix Tutorial автор Michael Creel.  

Ccылки

 

Страница отзывов

У каждой заметки есть страница отзывов. На этой странице вы можете оставить свой комментарий или просмотреть комментарии других читателей
 talkback page 

<--, LF Домой
перейти к начальной странице выпуска

Webpages maintained by the LinuxFocus Editor team
© Majid Hameed
"some rights reserved" see linuxfocus.org/license/
http://www.LinuxFocus.org 		Translation information:
en --> -- : Majid Hameed <hameed.majid(at)gmail.com>
en --> ru: Yuri Slobodyanyuk <yurisk(at)inbox.ru>

2005-01-24, generated by lfparser version 2.50