PC 組み立て　Xenon 4+4　(公開) の履歴(No.7)

このページ
購入の記録
CPU とメモリーの実装
配線
Linux のインストール
Intel Compiler のインストール
動作チェック
MPICH2 のインストール
ssh の設定
Network Boot への挑戦　PEX
横山さん（物性理論）によるCPU比較

このページ†

このページは、研究室の次期クラスター機の試験のために購入した省電力PC（２CPU、４ｘ２コア、１６GB）ｘ２台の組み立ての記録である。intel compiler, mpich2 (並列）も導入します。予算３０万円/台。消費電力２００W（８コア使用時）。単体なら居室において計算できます。まだデータを入力中です。（2008.9.10)

↑

購入の記録†

購入業者マイスペック・コム（042-370-6952)

CPU: INTEL, Xeon L5420 LV (2.5G) 低電力　４コア　47,249円 x 2
Motherboard: SuperMicro, X7DCA-L 42,524円
メモリー: Transcend, DDR2 240Pin Long-DIMM DDR2-667 ECC Registered Memory: TS512MQR72V6T(4GB Reg.ECC) 35,699円 x 4
HDD: IBM(HITACHI), Deskstar 7K160 HDS721616PLA380 6,194円
DVD: LG Electronics, GH22NP20 BL バルク(ソフト付) 4,934円
PCケース: OWLTECH, OWL-612MF(B)/N 7,349円
電源: ENERMAX, EMD525AWT 14,909円

マザーボードのメモリーを入れるところが６枚入らないので、１６GB入れるのであれば、４ｘ４GBである必要があります。６ｘ２GBだと予算がもっと安くなります。

↑

CPU とメモリーの実装†

マザーボードにCPUとメモリーを実装し、電源をつないでまずBIOSが立ち上がるかを確認しました。CPUファンが全力で動いているので、BIOSのADVANCED の項からCPUファンコントロールをDefault（自動コントロールにしました。）

↑

配線†

マザーボードを本体に取り付け、DVDやHDDなどを配線します。 SATAのケーブル。また本体全面のLEDを取り付けます。どちらがアースでどちらがLEDの電圧かが良くわからなかったが LEDは逆につけるとつかないので、わかります。

Fan の電源も取り付けます。

↑

Linux のインストール†

Fedora　Core　64bit　の　DVD　を用いて（横山氏より借りました。）インストールしました。Networkはとりあえず　DHCP　で設定しました。このインストールは、快適に動きました。

↑

Intel Compiler のインストール†

最新のIntel Fortran 10.1.018をインストールしました。

最新の Linux Fedora 8 に Intel Fortran 10.1 をインストールしようとする方も多いと思いますが、Fedora 8 を default で入れたままではインストールに失敗します。私の経験を書いておきますので、参考にして下さい。尚、Fortran 10.1 では SSE4 演算命令が使え、 45nm の新しい CPU では割り算などが高速に実行されます。

1) 環境設定 Fedora は 7 以後、tcsh, emacs が default ではインストールされてないので、これらを使う場合、まずネットワーク環境を設定してから、

 yum install tcsh 
 yum install emacs

というコマンドでインストールする必要がある。

2) Intel コンパイラ Intel コンパイラは gcc の上で動くので、Linux（SUSEでも）のインストールの際（或いはインストール後追加で）、gcc などの開発環境をインストールしておく必要がある。次に、Fedora 7 & 8 では、 Intel コンパイラで必要な libstdc++.so.5 がシステム上に存在しないため（libstdc++.so.6になっている）、そのままではインストールに失敗する。そこで、libstdc++.so.5 を次のコマンドで取ってくる。

 yum -y install compat-libstdc++-33

これで libstdc++.so.5 をインストールできるので、後は Intel Fortran の

http://downloadcenter.intel.com/Detail_Desc.aspx?ProductID=907&DwnldID=4977&lang=jpn

URL ロケーションの場所をクリックする。 downloadをするのは1番とMKL。展開してcd l_fc_p_10.1.018　./install.sh をする。メッセージを読みｙ,accept,enterを入力する。

終了後、

cd /opt/intel/fc/10.1.018/bin　に移動し、

rootで次のコマンドを入力

tcsh
source ./ifortvars.csh

これでパスが通り終了となる。

コンパイルはifortで行う。

↑

動作チェック†

横山さんによって、８コア全て動かした状況で電力測定171W。省電力CPUでないものは196W。アイドル時は90W。計算時間は、省電力CPUと違いが無い。

↑

MPICH2 のインストール†

インストールの方法 : http://pccluster.web.fc2.com/MPI.html

tar -zxf mpich2-1.0.7.tar.gz
cd mpich2-1.0.7
./configure
make
su
make install

環境設定 "通常のユーザーアカウント"で
cd $HOME
touch .mpd.conf
chmod 600 .mpd.conf

.mpd.confを編集
secretword="研究室指定”

コンピュータの一覧ファイルを作成
~/mpd.hosts
に
sskn

http://flex.phys.tohoku.ac.jp/japanese/riron/tool/mpi/ よりhello.fをコピー

[sasa@sskn ~]$ mpdboot -n 1 -f mpd.hosts 
[sasa@sskn ~]$ mpif77 hello.f 
[sasa@sskn ~]$ mpiexec -n 4 ./a.out 
 Hello World.  myrank =  2 ,  tnode =  4
 Hello World.  myrank =  1 ,  tnode =  4
 Hello World.  myrank =  0 ,  tnode =  4
 Hello World.  myrank =  3 ,  tnode =  4

次に２台のマシン（ssknとfuru）の並列を試みた。

　sftp sskn

　put .mpd.conf

のコマンドでfuruの.mpd.confをssknにコピー。

次に両方のマシンのファイアーウオールを無効にし

　mpdboot -n 2 -f mpd.hosts

を行ったところ、

failed to handshake with mpd on furu

というメッセージがでた。

↑

ssh の設定†

http://www.geocities.jp/turtle_wide/tools/sshpass.html

Local$ cd ~ [Enter]
Local$ mkdir .ssh [Enter] (←ディレクトリがない人は）
Local$ chmod 700 .ssh [Enter]　（自分だけが読み書きできるように）
Local$ ssh-keygen -t dsa [Enter]
Generating public/private dsa key pair.
Enter file in which to save the key (/home/foo/.ssh/id_dsa): [Enter]
Enter passphrase (empty for no passphrase) [Enter]
Enter same passphrase again: [Enter]
The key fingerprint is:
Your identification has been saved in /home/foo/.ssh/id_dsa
Your public key has been saved in /home/foo/.ssh/id_dsa.pub
00:00:00:00:00:00:00:00:00:00:00:00:00:00 foo@localservername
Local$scp ~/.ssh/id_dsa.pub foo@remote:/home/foo [Enter]

さらに，リモートのホスト側で登録作業

   Local$ ssh foo@Remote
   Remort$ mkdir .ssh (ディレクトリがない人)
   Remort$ chmod 700 .ssh/ (自分だけが読み書き可能に)
   Remort$ cd .ssh/
   Remort$ touch authorized_keys2 (公開鍵登録用のファイル）
   Remort$ chmod 600 authorized_keys2 (自分だけが読み書き可)
   Remort$ cat ~/id_dsa.pub >>authorized_keys2 (公開鍵の登録)
   Remort$ rm ~/id_dsa.pub (いらなくなった鍵を削除) Local$

でdsa の方法で設定すると　flex に自宅からパスワードなしで ssh できるようになった。

↑

Network Boot への挑戦　PEX†

究極の作業としてHDDを抜いて、HDDなしでLinuxを立ち上げる。HDDは親の機械をマウントして使う。

http://mitty.jp/pc/networkboot/

を参考に挑戦

↑

横山さん（物性理論）によるCPU比較†

---------------------------------------------------------------------------
              (A)     (A')      (B)    (B')     (C)    (D) (D')   (F)
CPU 　　　     C2Q     C2Q     MacPro 　自作  　 Xeon     Xeon   PentiumD
Clock         2.4GHz  2.66GHz   Xeon(3.0GHz)    2.66GHz 2.5/2.66  3.0GHz
プロセス      (65nm)   (45nm)  (65nm)  (45nm)   (45nm)   (45nm)
--------------------------------------------------------------------------
メモリ種類  |----Unbuf.ECC---| FB-DIMM Reg.ECC FB-DIMM  Reg.ECC    DDR2
搭載メモリ　|------ 8GB -----|  14GB    12GB    16GB  8GB 12GB16GB 2GB
　　　　　　　　　　                                                     
|今回計算で|　                                           　　　         
|使用メモリ|  1.30GB  0.55GB  0.81GB   1.31GB  1.31GB |--0.55GB--| 1.3+0.3GB
                                         (B')         (E) (E') (L)
稼働コア数　|---------------------  消費電力(W)--------------------------|
   idle        108       86     258     123     200    94  97  92  133
     1         136      100     308     136     216   111 110  |   200
     2         156      116     332     151     230   127 123  |   263
     3         172      128     382     166     246   140 136  |    -
     4         187      138     409     180     263   156 149  |    -
     5          -        -      437     193     276   166 160  |    -
     6          -        -      470     208     289   175 172  |    -
     7          -        -      494     220     302   185 184  |    -
     8          -        -      520     233     318   194 196 171   -
--------------------------------------------------------------------------

(A) Core2quad Q6600 2.40GHz (1CPU, 4 cores) FSB1066
 D975Xchipset, 8GB Unbuf.ECC DIMM (DDR2-667)　（価格は15万くらい）

(A') Core2quad Q9450 2.66GHz (1CPU, 4 cores) FSB1333
 X38chipset, 8GB Unbuf.ECC DIMM (DDR2-667) （総額 13万くらい）

(B) Xeon E5365 3.0GHz (2CPU, 8 cores) FSB1333 
 Mac Pro, 14GB FB-DIMM (DDR2-667)　（価格は60万くらい）

(B') ２．参照（下記）

(C) Xeon E5430 2.66GHz (2CPU, 8 cores) FSB1333
 5400chipset, 16GB FB-DIMM (DDR2-533)　（価格は30万くらい）

*(D)-(E) Xeon E5420 2.50GHz (2CPU, 8 cores) FSB1333 [#a0489359]
 5100chipset, 8GB Registered ECC (DDR2-533) (価格は20万くらい)

*(D)-(E') Xeon E5430 2.66GHz (2CPU, 8 cores) FSB1333 [#oca53210]
 5100chipset, 12GB Registered ECC (DDR2-533) (価格は20万くらい)

*(D')-(L) Xeon L5420 2.50GHz (2CPU, 8 cores) FSB1333 [#zc6a3461]
 5100chipset, 16(4*4)GB Registered ECC 

(F) Pentium D 3.0GHz (1CPU, 2 cores)       　　　　　　　　　
 2GB non-ECC (DDR2-400)  (2年半使用、価格：当時13万くらい)

---

２．計算能力（以前と同じデータ）
行った計算は、私の変分モンテカルロの計算（１９６サイト）で、
(i) ボソンに対する配列の入れ替え及び条件判別が中心の計算
(ii) フェルミオンに対する配列（或る程度の行列演算）の入れ替え中心
(iii) フェルミオンに対する行列と行列式演算が中心の計算
の3種類（前回と同一のもの）。所要時間の結果は以下の通り。
 
計算所要時間（単位：秒）
----------------------------------------------------------------
機種    clock     (i)     (ii)   (iii)      OS       Fortran  
----------------------------------------------------------------
(A) C2Q  2.4G    718.4   196.99  148.17   Fedora6   Intel v9.1
(A')C2Q  2.66G   583.2   172.48  136.33   Fedora8   Intel v10.1 
(B) Pro  3.0G    529.7   163.23  132.27   MacOS X   Intel v9.1
(B')Xeon 3.0G    522.0   152.98  120.47   Fodora8   Intel v10.1
(C) Xeon 2.66G   580.8   170.90  134.77   Fedora6   Intel v10.1
(D) Xeon 2.5G    619.6   183.10  144.83   Fedora8   Intel v10.1
(D')Xeon 2.5G(L) 615.4   180.77  144.36   Fedora8   Intel v10.1
(E) G5   2.5G   1286.3   347.74  167.26   MacOS X   IBM XLv8.1
(F) PD   3.0G   1089.2   509.77  316.45   SUSE10    Intel v9.1
---------------------------------------------------------------
(A)-(D),(A'),(D'),(F) 上記１．と同じ機種
(B') Xeon E5450 (3.0GHz) (2CPU, 8 cores) 12GB RAM
(E) Power Mac G5 (2.5GHz) (2CPU, 4 cores)  4GB RAM

PC 組み立て Xenon 4+4 (公開) の履歴(No.7)