このページは、研究室の次期クラスター機の試験のために購入した 省電力PC(2CPU、4x2コア、16GB)x2台の組み立ての記録 である。intel compiler, mpich2 (並列)も導入します。 予算30万円/台。消費電力200W(8コア使用時)。単体なら 居室において計算できます。まだデータを入力中です。(2008.9.10)
購入業者 マイスペック・コム(042-370-6952)
マザーボードにCPUとメモリーを実装し、電源をつないで まずBIOSが立ち上がるかを確認しました。CPUファンが全力で 動いているので、BIOSのADVANCED の項からCPUファンコントロール をDefault(自動コントロールにしました。)
マザーボードを本体に取り付け、DVDやHDDなどを配線します。 SATAのケーブル。また本体全面のLEDを取り付けます。 どちらがアースでどちらがLEDの電圧かが良くわからなかったが LEDは逆につけるとつかないので、わかります。
Fan の電源も取り付けます。
Fedora Core 64bit の DVD を用いて(横山氏より借りました。) インストールしました。Networkはとりあえず DHCP で設定しました。 このインストールは、快適に動きました。
最新のIntel Fortran 10.1.018をインストールしました。
Xenon processor は、インテル(R) 64 アーキテクチャー です。Core2 Duo も同じです。64アーキテクチャーはEM64T とかつては呼ばれていました。Gaussian03はEM64T対応のものを選べばOKです。 IA-64 アーキテクチャー(opteron)ではありません。
最新の Linux Fedora 8 に Intel Fortran 10.1 をインストール しようとする方も多いと思いますが、Fedora 8 を default で入れた ままではインストールに失敗します。私の経験を書いておきますので、 参考にして下さい。尚、Fortran 10.1 では SSE4 演算命令が使え、 45nm の新しい CPU では割り算などが高速に実行されます。
1) 環境設定 Fedora は 7 以後、tcsh, emacs が default ではインストールされて ないので、これらを使う場合、まずネットワーク環境を設定してから、
yum install tcsh yum install emacs
というコマンドでインストールする必要がある。
2) Intel コンパイラ Intel コンパイラは gcc の上で動くので、Linux(SUSEでも)の インストールの際(或いはインストール後追加で)、gcc などの 開発環境をインストールしておく必要がある。次に、Fedora 7 & 8 では、 Intel コンパイラで必要な libstdc++.so.5 がシステム上に存在しない ため(libstdc++.so.6になっている)、そのままではインストールに 失敗する。そこで、libstdc++.so.5 を次のコマンドで取ってくる。
yum -y install compat-libstdc++-33
これで libstdc++.so.5 をインストールできるので、後は Intel Fortran の
http://downloadcenter.intel.com/Detail_Desc.aspx?ProductID=907&DwnldID=4977&lang=jpn
URL ロケーションの場所をクリックする。 downloadをするのは1番とMKL。 展開してcd l_fc_p_10.1.018 10.1.018/bin をする。 メッセージを読みy,accept,enterを入力する。
以下は、cshrc のサンプル /home1/skel/cshrc にある。各PCで /home/skel/cshrc にリンクする。
# Intel Compiler 10.1.018 source /opt/intel/fce/10.1.018/bin/ifortvars.csh source /opt/intel/idb/10.1.018/bin/idbvars.csh # MKL 7.2 setenv MKLROOT /opt/intel/mkl/10.0.4.023 setenv INCLUDE /opt/intel/mkl/10.0.4.023/include setenv LD_LIBRARY_PATH $MKLROOT/lib/em64t:$LD_LIBRARY_PATH endif # MPICH # Intel Compiler 7.1 # setenv PATH /usr/local/mpich-intel/bin:$PATH # setenv MANPATH /usr/local/mpich-intel/man:$MANPATH # Gaussian 03 setenv g03root /opt/intel if ( -d $g03root/g03 ) then source $g03root/g03/bsd/g03.login source $g03root/gv/init_gv if ( -d $g03root/g03/linda7.1 ) then set path = ( $g03root/g03 $g03root/linda7.1/intel-linux2.4/bin \ $path ) else set path = ( $g03root/g03 $path ) endif setenv GAUSS_SCRDIR /scr setenv OMP_NUM_THREADS 1 endif
# cd /home # mkdir skel # cd skel # ln -s /home1/skel/cshrc-newtube cshrc (Do not copy cshrc-newtube there, since we will fix it each time.)
cp /rsaito/for/Jugyo/zheev.f90 . ifort zheev.f90 -o a.out -O3 -xS -L$MKLROOT/lib/em64t -I$MKLROOT/include -lmkl_intel_lp64 -lmkl_intel_thread -lmkl_lapack -lmkl -lmkl_core -lmkl_p4n -lguide -lpthread ./a.out
(Please make an example)
http://downloadcenter.intel.com/Detail_Desc.aspx?ProductID=907&DwnldID=4977&lang=jpn
URL ロケーションの場所をクリックする。
LinuxようのC++コンパイラをダウンロードする。
展開し、cd l_cc_p_10.1.018_intel64 で./installshをする。
次にcd /opt/intel/cce/10.1.018/bin
rootで次のコマンドを入力
tcsh source ./iccvars.csh
これでパスが通り終了となる。
yum install lapack yum install yumex yum-utils gconf-editor hwbrowser yum install emacs* anthy-el yum install gparted yum install kdebase kdeartwork kdegraphics kdemultimedia yum groupinstall japanese-support yum install tomoe scim-tomoe yum install gcc* compat* compat-libstdc++-33.i386 yum install fftw fftw2 lapack blas units octave atlas yum install gnuplot grace plplot yum install xfig inkscape yum install maxima* TeXmacs yum install mplayer* vlc gstreamer* xmms xmms-mp3 amarok yum --enablerepo=flash install flash-plugin yum install ffmpeg mozplugger yum install xscreensaver* yum install cabextract p7zip p7zip-plugins yum install thunderbird gnubiff yum install gnomebaker k3b
library の設定がまだうまくいかない。
横山さんによって、8コア全て動かした状況で電力測定171W。 省電力CPUでないものは196W。アイドル時は90W。計算時間は、省電力CPUと違いが無い。
インストールの方法 : http://pccluster.web.fc2.com/MPI.html
tar -zxf mpich2-1.0.7.tar.gz cd mpich2-1.0.7 ./configure make su make install
環境設定 "通常のユーザーアカウント"で cd $HOME touch .mpd.conf chmod 600 .mpd.conf
.mpd.confを編集 secretword="研究室指定” Wake on LAN from windows コンピュータの一覧ファイルを作成 ~/mpd.hosts に sskn
http://flex.phys.tohoku.ac.jp/japanese/riron/tool/mpi/ よりhello.fをコピー
[sasa@sskn ~]$ mpdboot -n 1 -f mpd.hosts [sasa@sskn ~]$ mpif77 hello.f [sasa@sskn ~]$ mpiexec -n 4 ./a.out Hello World. myrank = 2 , tnode = 4 Hello World. myrank = 1 , tnode = 4 Hello World. myrank = 0 , tnode = 4 Hello World. myrank = 3 , tnode = 4
次に2台のマシン(ssknとfuru)の並列を試みた。
sftp sskn
put .mpd.conf
のコマンドでfuruの.mpd.confをssknにコピー。
次に両方のマシンのファイアーウオールを無効にし
mpdboot -n 2 -f mpd.hosts
を行ったところ、
failed to handshake with mpd on furu
というメッセージがでた。
http://www.geocities.jp/turtle_wide/tools/sshpass.html
Local$ cd ~ [Enter] Local$ mkdir .ssh [Enter] (←ディレクトリがない人は) Local$ chmod 700 .ssh [Enter] (自分だけが読み書きできるように) Local$ ssh-keygen -t dsa [Enter] Generating public/private dsa key pair. Enter file in which to save the key (/home/foo/.ssh/id_dsa): [Enter] Enter passphrase (empty for no passphrase) [Enter] Enter same passphrase again: [Enter] The key fingerprint is: Your identification has been saved in /home/foo/.ssh/id_dsa Your public key has been saved in /home/foo/.ssh/id_dsa.pub 00:00:00:00:00:00:00:00:00:00:00:00:00:00 foo@localservername Local$scp ~/.ssh/id_dsa.pub foo@remote:/home/foo [Enter]
さらに,リモートのホスト側で登録作業
Local$ ssh foo@Remote Remort$ mkdir .ssh (ディレクトリがない人) Remort$ chmod 700 .ssh/ (自分だけが読み書き可能に) Remort$ cd .ssh/ Remort$ touch authorized_keys2 (公開鍵登録用のファイル) Remort$ chmod 600 authorized_keys2 (自分だけが読み書き可) Remort$ cat ~/id_dsa.pub >>authorized_keys2 (公開鍵の登録) Remort$ rm ~/id_dsa.pub (いらなくなった鍵を削除) Local$
でdsa の方法で設定すると flex に自宅からパスワードなしで ssh できるようになった。新しい機械では、うまくいかない?
teraterm で SSH ver.2 に対応しているものとして ttssh2 がある。 ver 2 だと dsa ver.1 だと rsa で、authorized_key および autorized_key2 にそれぞれ入れる。
http://merry.whitesnow.jp/REPORT/CONTENTS/xserver_3.html#inst
究極の作業としてHDDを抜いて、HDDなしでLinuxを立ち上げる。HDDは親の機械をマウントして使う。
http://www.atmarkit.co.jp/flinux/rensai/linuxtips/a021pxediskless.html
http://mitty.jp/pc/networkboot/
http://d.hatena.ne.jp/adsaria/20080129
http://d.hatena.ne.jp/adsaria/20080131/1201792574
network boot とは、ハードディスクなしにLinuxを立ち上げることを意味する。
DVD-ROMなしにLinuxをインストールする意味として使うこともあるので、区別が必要。
を参考に挑戦. 下記で動作試験中 2009.5.22 runlevel 5 で動作に成功。 現在 PXE client cluster を設定中。
http://flex.phys.tohoku.ac.jp/english/pukiwiki-e/index.php?PXE%20Server%20%28Open%29
[root@sskn rsaito]# yum install ethtool Setting up Install Process Parsing package install arguments Package ethtool - 5-1.fc7.x86_64 is already installed. [root@sskn rsaito]# /sbin/ifconfig eth0 Link encap:Ethernet HWaddr 00:30:48:67:08:E2 inet addr:172.17.4.178 Bcast:172.17.7.255 Mask:255.255.252.0 [root@sskn sbin]# /sbin/ethtool -s eth0 wol g
sskn の /etc/rc5.d/S99local を編集
# add wake up LAN by R. Saito 2008.10.10 /sbin/ethtool -s eth0 wol g
を追加。上記コマンドは、次の1回しか立ち上がらない。shutdown
[root@sskn sbin]# ./shutdown -h now Broadcast message from root (pts/1) (Fri Oct 10 21:54:46 2008): The system is going down for system halt NOW! [root@sskn sbin]# Connection to sskn closed by remote host. Connection to sskn closed.
立ち上げるには、MAC アドレスを指定。ether-wake (net-tools) を使う。
[root@flex rsaito]# /sbin/ether-wake 00:30:48:67:08:E2
少しして、sskn が立ち上がっているか確認。
[root@flex rsaito]# ping sskn PING sskn (172.17.4.178) 56(84) bytes of data. 64 bytes from sskn (172.17.4.178): icmp_seq=0 ttl=64 time=0.258 ms 64 bytes from sskn (172.17.4.178): icmp_seq=1 ttl=64 time=0.134 ms
おお、立ち上がっている。が ssh が通らない。多分 sskn の BIOS 設定が 必要。明日学校で実行。
It is necessary to install 'wol193' to use 'Wake on LAN' from windows. I ran the software. And I wrote windows's IP address, Mask address and so on. I put 'wol193','alzip' into the samba server.
hdparm -S 12 /dev/sda1
今回、furuはintelのMKLのLAPACKを使用することができなかっため、 yum install lapack*でinstallしたlapackを用いた。
tubeはintelのMKLを用いた。
(11,2)のナノチューブのフォノンの分散関係で比較したところ
tube 1.41[s] furu 0.49[s]
という結果になった。
http://www.server-world.info/note?os=fedora8&p=nis
を参考にした。NIS server は 172.17.4.134 tube (host をmake した場合には、/var/yp/saito に コピーする必要あり。)NFSとして tube:/home1 と flex:/rsaito をマウント した。
network の設定で、GATEWAY=172.17.4.1 だけ指定して 192.168.1.1 や 192.168.2.1 を指定してはならない。192.168.1.1から、外につながる経路がない。 (tube は 192.168.1.1 192.168.2.1 172.17.4.134 などのIPアドレスを持ち、 172.17.4.1 をデフォルトのGateway にしている。)研究室のサブネットの 構成を再度確認する必要がある。 NIS client の設定: /etc/yp.conf
domain saito server 172.17.4.134
/etc/sysconfig/network
NISDOMAIN=saito
を入れる。また /etc/sysconfig/authconfig
USENIS=yes
/etc/nsswitch.conf
passwd: nis files shadow: nis files group: nis files hosts: dns nis files ethers: files netmasks: files networks: files protocols: files rpc: files services: files netgroup: nisplus publickey: nisplus automount: files nisplus aliases: files nisplus
# domainname saito # /etc/rc5.d/S73ypbind start
server 側で、client を指定。
# ypserv -m
--------------------------------------------------------------------------- (A) (A') (B) (B') (C) (D) (D') (F) CPU C2Q C2Q MacPro 自作 Xeon Xeon PentiumD Clock 2.4GHz 2.66GHz Xeon(3.0GHz) 2.66GHz 2.5/2.66 3.0GHz プロセス (65nm) (45nm) (65nm) (45nm) (45nm) (45nm) -------------------------------------------------------------------------- メモリ種類 |----Unbuf.ECC---| FB-DIMM Reg.ECC FB-DIMM Reg.ECC DDR2 搭載メモリ |------ 8GB -----| 14GB 12GB 16GB 8GB 12GB16GB 2GB |今回計算で| |使用メモリ| 1.30GB 0.55GB 0.81GB 1.31GB 1.31GB |--0.55GB--| 1.3+0.3GB (B') (E) (E') (L) 稼働コア数 |--------------------- 消費電力(W)--------------------------| idle 108 86 258 123 200 94 97 92 133 1 136 100 308 136 216 111 110 | 200 2 156 116 332 151 230 127 123 | 263 3 172 128 382 166 246 140 136 | - 4 187 138 409 180 263 156 149 | - 5 - - 437 193 276 166 160 | - 6 - - 470 208 289 175 172 | - 7 - - 494 220 302 185 184 | - 8 - - 520 233 318 194 196 171 - -------------------------------------------------------------------------- (A) Core2quad Q6600 2.40GHz (1CPU, 4 cores) FSB1066 D975Xchipset, 8GB Unbuf.ECC DIMM (DDR2-667) (価格は15万くらい) (A') Core2quad Q9450 2.66GHz (1CPU, 4 cores) FSB1333 X38chipset, 8GB Unbuf.ECC DIMM (DDR2-667) (総額 13万くらい) (B) Xeon E5365 3.0GHz (2CPU, 8 cores) FSB1333 Mac Pro, 14GB FB-DIMM (DDR2-667) (価格は60万くらい) (B') 2.参照(下記) (C) Xeon E5430 2.66GHz (2CPU, 8 cores) FSB1333 5400chipset, 16GB FB-DIMM (DDR2-533) (価格は30万くらい) *(D)-(E) Xeon E5420 2.50GHz (2CPU, 8 cores) FSB1333 [#a0489359] 5100chipset, 8GB Registered ECC (DDR2-533) (価格は20万くらい) *(D)-(E') Xeon E5430 2.66GHz (2CPU, 8 cores) FSB1333 [#oca53210] 5100chipset, 12GB Registered ECC (DDR2-533) (価格は20万くらい) *(D')-(L) Xeon L5420 2.50GHz (2CPU, 8 cores) FSB1333 [#zc6a3461] 5100chipset, 16(4*4)GB Registered ECC (F) Pentium D 3.0GHz (1CPU, 2 cores) 2GB non-ECC (DDR2-400) (2年半使用、価格:当時13万くらい)
---
2.計算能力(以前と同じデータ) 行った計算は、私の変分モンテカルロの計算(196サイト)で、 (i) ボソンに対する配列の入れ替え及び条件判別が中心の計算 (ii) フェルミオンに対する配列(或る程度の行列演算)の入れ替え中心 (iii) フェルミオンに対する行列と行列式演算が中心の計算 の3種類(前回と同一のもの)。所要時間の結果は以下の通り。 計算所要時間(単位:秒) ---------------------------------------------------------------- 機種 clock (i) (ii) (iii) OS Fortran ---------------------------------------------------------------- (A) C2Q 2.4G 718.4 196.99 148.17 Fedora6 Intel v9.1 (A')C2Q 2.66G 583.2 172.48 136.33 Fedora8 Intel v10.1 (B) Pro 3.0G 529.7 163.23 132.27 MacOS X Intel v9.1 (B')Xeon 3.0G 522.0 152.98 120.47 Fodora8 Intel v10.1 (C) Xeon 2.66G 580.8 170.90 134.77 Fedora6 Intel v10.1 (D) Xeon 2.5G 619.6 183.10 144.83 Fedora8 Intel v10.1 (D')Xeon 2.5G(L) 615.4 180.77 144.36 Fedora8 Intel v10.1 (E) G5 2.5G 1286.3 347.74 167.26 MacOS X IBM XLv8.1 (F) PD 3.0G 1089.2 509.77 316.45 SUSE10 Intel v9.1 --------------------------------------------------------------- (A)-(D),(A'),(D'),(F) 上記1.と同じ機種 (B') Xeon E5450 (3.0GHz) (2CPU, 8 cores) 12GB RAM (E) Power Mac G5 (2.5GHz) (2CPU, 4 cores) 4GB RAM