PC クラスタの作り方
description
Transcript of PC クラスタの作り方
PC クラスタの作り方
杉山耕一朗(北大理)2008/10/03 epnetfan
PC クラスタとは
• 複数台の PC をネットワーク接続することによって構築されるメモリ分散型の並列計算機
国立天文台 CfCA 汎用 PC システム
中身: Intel Core2Duo Q6600
なぜ , PC クラスタ ?
• スパコンは性能当たりの価格が高い• 特注品よりも汎用品で
http://jun.artcompsci.org/articles/future_sc/note006.html#rdocsect5
「スーパーコンピューティングの将来」(牧野淳一郎)より抜粋
構成
• ログインノード–ユーザがログインして,ジョブを投入–台数は , 1ないし少数
• 計算ノード–投入されたジョブを実際に計算する–ディスクレス–台数はお好きなだけ
動作の流れ
• ブート–ネットワークブート (PXELinux) <= 今日の話
題• 汎用 PC システム
– FD, CD, USB からブート (syslinux)• 次期 GRAPE (GRAPE-DR)
• ルートファイルシステムを NFS して起動 .
(1-1) ネットワークブート• ログインノード上のサー
バ– DHCPD
• pxelinux
– TFTPD (簡易ファイル転送プロトコル)
• 計算ノードの動作– BIOS 設定で PXE boot– DHCP でアドレスをもらう– TFTP で pxelinux を転送,
ブート .
DHCPD & TFTPD/etc/dhcpd.conf
subnet 192.168.5.0 netmask 255.255.255.0 {
range 192.168.5.1 192.168.5.255; next-server 192.168.5.100; option routers 192.168.5.100; option subnet-mask 255.255.255.0; option broadcast-address 192.168.5.255;
# option nis-domain "cfca-nis"; option domain-name "cfca.nao.ac.jp"; filename "pxeboot/pxelinux.0";
default-lease-time 21600; max-lease-time 43200;
# we want the nameserver to appear at a fixed address host m001 { hardware ethernet 00:1C:C0:09:9A:42; fixed-address 192.168.5.1; option host-name "m001"; option root-path "/tftpboot/m001"; } }
/etc/xinetd.d/tftp service tftp { socket_type = dgram protocol = udp wait = yes user = root server = /usr/sbin/in.tftpd server_args = -v -s /tftpboot disable = no per_source = 11 cps = 100 2 flags = IPv4 }
PXELinux* pxelinux をコピー * DHCP で指定したディレクトリに置く
# mkdir /tftpboot/pxeboot/ # cp /usr/lib/syslinux/pxelinux.0 /tftpboot/pxeboot/
* 設定ファイルの置き場を pxelinux.0 と同じディレクトリに作成
# mkdir /tftpboot/pxeboot/pxelinux.cfg
* 設定ファイルを作る . "01-mac アドレス " というファイルにする .
# vi /tftpboot/pxeboot/pxelinux.cfg/01-00-1c-c0-09-9a-42
default linux label linux kernel vmlinuz append root=/dev/nfs rw nfsroot=192.168.5.100:/tftpboot/m001,rw ip=dhcp mem=8704M
pci=nommconf ipappend 0
(2) カーネル,ルートの NFS
• 設定– PXElinux で , 以下の設定を行うだけ
append root=/dev/nfs rw nfsroot=192.168.5.100:/tftpboot/m001,rw
• 準備– カーネルの再構築 (計算ノード用)
• NFS root, NIC のサポート– 計算ノードのルートファイルシステムの作成– NFS サーバの設定 (ログインノード)– NFS クライアントの設定 (計算ノード)
ルートファイルシステム
• ログインノードのとあるディレクトリ以下に置く– Ex: /home/clients/01/, /home/clients/02/, …
• ログインノードのファイルシステムをコピーtar xvf /home/clients/root.tar /mkdir /home/clients/01cd /home/clients/01tar xvf ../root.tar
• 上記ファイルシステムを nfs で export する .
補足 : ジョブ管理 • PBS (商用)が良く使われているらしい
• OpenPBS は開発停止 . 後継は Torque
運用にあたって
• 消費電力–台数が増えれば消費電力が上がる
• メモリ–初期不良多し.最初に memtest
• BIOS–初期ロットはバギー.アップデートすべし