PC 組み立て　Xenon 4+4　(公開) の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• PC 組み立て　Xenon 4+4　(公開) へ行く。
• PC 組み立て　Xenon 4+4　(公開) の差分を削除

#contents

** このページ [#b2024d02]

このページは、研究室の次期クラスター機の試験のために購入した
省電力PC（２CPU、４ｘ２コア、１６GB）ｘ２台の組み立ての記録
である。intel compiler, mpich2 (並列）も導入します。
予算３０万円/台。消費電力２００W（８コア使用時）。単体なら
居室において計算できます。まだデータを入力中です。（2008.9.10)

** 購入の記録 [#f5e0f8b2]

購入業者 [[マイスペック・コム:http://www.myspec.com/]]（042-370-6952)
- CPU: INTEL, Xeon L5420 LV (2.5G) 低電力　４コア メーカー：インテル/Intel 　CPUタイプ：Xeon 　ソケット：LGA771 　クロック：2.5GHz 　2次キャッシュ：12288KB 　FSB：1333MHz 　47,249円 x 2
- Motherboard: SuperMicro, [[X7DCA-L:http://www.supermicro.com/products/motherboard/Xeon1333/5100/X7DCA-L.cfm]] 42,524円
- メモリー: Transcend, DDR2 240Pin Long-DIMM DDR2-667 ECC Registered Memory: TS512MQR72V6T(4GB Reg.ECC) 35,699円 x 4
- メモリー（２回目）Transcend TS256MQR72V6U 2GB Reg ECC  ×20
- HDD: IBM(HITACHI), Deskstar 7K160 HDS721616PLA380 6,194円
- HDD(2回目）Deskstar P7K500 HDP725025GLA380　1ディスクの為、消費電力が3.6W

- DVD: LG Electronics, GH22NP20 BL バルク(ソフト付) 4,934円
- PCケース: OWLTECH, OWL-612MF(B)/N 7,349円
- 電源: ENERMAX, EMD525AWT 14,909円
- 電源(2 回目）はEMD425AWT
- 電源　ファンが横向きのタイプ　ZIPPY Zippy-500W V1 (HG2-5500V) ×4   計65,900円

- マザーボードのメモリーを入れるところが６枚しか入らないので、
１６GB入れるのであれば、４ｘ４GBである必要があります。
６ｘ２GBで予算を節約しました。

- [[tube の　MB:http://www.supermicro.com/products/motherboard/Xeon/E7505/X5DAL-G.cfm]] は、X5DAL-Gは Windows（Linux）機にする予定。
- Windows 機にするには、fan コントローラー(ScytheKAZE MASTER-BK x4 を導入)がないとうるさい。

** CPU とメモリーの実装 [#kea8fffd]

マザーボードにCPUとメモリーを実装し、電源をつないで
まずBIOSが立ち上がるかを確認しました。CPUファンが全力で
動いているので、BIOSのADVANCED の項からCPUファンコントロール
をDefault（自動コントロールにしました。）

** 配線 [#e322a98d]

マザーボードを本体に取り付け、DVDやHDDなどを配線します。
SATAのケーブル。また本体全面のLEDを取り付けます。
どちらがアースでどちらがLEDの電圧かが良くわからなかったが
LEDは逆につけるとつかないので、わかります。

Fan の電源も取り付けます。

** Linux のインストール [#y6def312]

Fedora　Core　64bit　の　DVD　を用いて（横山氏より借りました。）
インストールしました。Networkはとりあえず　DHCP　で設定しました。
このインストールは、快適に動きました。

** Intel Compiler のインストール [#c286c6ee]

最新のIntel Fortran 10.1.018をインストールしました。

Xenon processor は、[[インテル(R) 64 アーキテクチャー:http://www.intel.co.jp/jp/technology/intel64/]]　です。Core2 Duo も同じです。64アーキテクチャーはEM64T
とかつては呼ばれていました。Gaussian03はEM64T対応のものを選べばOKです。
IA-64 アーキテクチャー（opteron）ではありません。

最新の Linux Fedora 8 に Intel Fortran 10.1 をインストール
しようとする方も多いと思いますが、Fedora 8 を default で入れた
ままではインストールに失敗します。私の経験を書いておきますので、
参考にして下さい。尚、Fortran 10.1 では SSE4 演算命令が使え、
45nm の新しい CPU では割り算などが高速に実行されます。

1) 環境設定
Fedora は 7 以後、tcsh, emacs が default ではインストールされて
ないので、これらを使う場合、まずネットワーク環境を設定してから、
  yum install tcsh 
  yum install emacs
というコマンドでインストールする必要がある。

2) Intel コンパイラ
Intel コンパイラは gcc の上で動くので、Linux（SUSEでも）の
インストールの際（或いはインストール後追加で）、gcc などの
開発環境をインストールしておく必要がある。次に、Fedora 7 & 8 では、
Intel コンパイラで必要な libstdc++.so.5 がシステム上に存在しない
ため（libstdc++.so.6になっている）、そのままではインストールに
失敗する。そこで、libstdc++.so.5 を次のコマンドで取ってくる。
  yum -y install compat-libstdc++-33
これで libstdc++.so.5 をインストールできるので、後は Intel Fortran の

http://downloadcenter.intel.com/Detail_Desc.aspx?ProductID=907&DwnldID=4977&lang=jpn

URL ロケーションの場所をクリックする。
downloadをするのは1番とMKL。 
展開してcd l_fc_p_10.1.018　10.1.018/bin をする。
メッセージを読みｙ,accept,enterを入力する。

以下は、cshrc のサンプル　/home1/skel/cshrc にある。各PCで
/home/skel/cshrc にリンクする。

 # Intel Compiler 10.1.018
 source /opt/intel/fce/10.1.018/bin/ifortvars.csh
 source /opt/intel/idb/10.1.018/bin/idbvars.csh
 
 # MKL 7.2
 setenv MKLROOT /opt/intel/mkl/10.0.4.023
 setenv INCLUDE /opt/intel/mkl/10.0.4.023/include
 setenv LD_LIBRARY_PATH $MKLROOT/lib/em64t:$LD_LIBRARY_PATH
 endif
 # MPICH
 # Intel Compiler 7.1
 #  setenv PATH /usr/local/mpich-intel/bin:$PATH
 #  setenv MANPATH /usr/local/mpich-intel/man:$MANPATH
 
 
 # Gaussian 03
 
 setenv g03root /opt/intel
 if ( -d $g03root/g03 ) then
   source $g03root/g03/bsd/g03.login
        source $g03root/gv/init_gv
        if ( -d $g03root/g03/linda7.1 ) then
                set path = ( $g03root/g03 $g03root/linda7.1/intel-linux2.4/bin \
 $path )
        else
                set path = ( $g03root/g03 $path )
        endif
        setenv GAUSS_SCRDIR /scr
        setenv OMP_NUM_THREADS 1
 endif

*** For new tube [#v7e67b62]

+ /home/skel/cshrc (which is symbolic linked to /home1/skel/cshrc-newtube) should be read in ~/.cshrc
+ For superuser, when you make a newtube machine, set /home/skel/cshrc like
 # cd /home
 # mkdir skel
 # cd skel
 # ln -s /home1/skel/cshrc-newtube cshrc
 (Do not copy cshrc-newtube there, since we will fix it each time.)
+ A typical example of the command is as follows. 
 cp /rsaito/for/Jugyo/zheev.f90 .
 ifort zheev.f90 -o a.out -O3 -xS -L$MKLROOT/lib/em64t -I$MKLROOT/include -lmkl_intel_lp64 -lmkl_intel_thread -lmkl_lapack -lmkl -lmkl_core -lmkl_p4n -lguide -lpthread
 ./a.out
+ A typical example of Makefile is as follows
 (Please make an example)
+ -xS option of ifort is a special option for CPU new features which makes fast!

** C++のコンパイラのinsatall [#wcb06a48]

http://downloadcenter.intel.com/Detail_Desc.aspx?ProductID=907&DwnldID=4977&lang=jpn

URL ロケーションの場所をクリックする。

LinuxようのC++コンパイラをダウンロードする。

展開し、cd l_cc_p_10.1.018_intel64 で./installshをする。

次にcd　/opt/intel/cce/10.1.018/bin

rootで次のコマンドを入力

 tcsh
 source ./iccvars.csh

これでパスが通り終了となる。


** lapack 他のintall [#x73f3ceb]

 yum install lapack 
 yum install yumex yum-utils gconf-editor hwbrowser
 yum install emacs* anthy-el
 yum install gparted
 yum install kdebase kdeartwork kdegraphics kdemultimedia
 yum groupinstall japanese-support
 yum install tomoe scim-tomoe
 yum install gcc* compat* compat-libstdc++-33.i386
 yum install fftw fftw2 lapack blas units octave atlas
 yum install gnuplot grace plplot
 yum install xfig inkscape
 yum install maxima* TeXmacs
 yum install mplayer* vlc gstreamer* xmms xmms-mp3 amarok
 yum --enablerepo=flash install flash-plugin
 yum install ffmpeg mozplugger
 yum install xscreensaver*
 yum install cabextract p7zip p7zip-plugins
 yum install thunderbird gnubiff
 yum install gnomebaker k3b

library の設定がまだうまくいかない。

** 動作チェック [#zc4e2a0b]

横山さんによって、８コア全て動かした状況で電力測定171W。
省電力CPUでないものは196W。アイドル時は90W。計算時間は、省電力CPUと違いが無い。

** MPICH2 のインストール [#c5701f40]

インストールの方法 :
http://pccluster.web.fc2.com/MPI.html

 tar -zxf mpich2-1.0.7.tar.gz
 cd mpich2-1.0.7
 ./configure
 make
 su
 make install

 環境設定 "通常のユーザーアカウント"で
 cd $HOME
 touch .mpd.conf
 chmod 600 .mpd.conf

 .mpd.confを編集
 secretword="研究室指定”
 Wake on LAN from windows
 コンピュータの一覧ファイルを作成
 ~/mpd.hosts
 に
 sskn

http://flex.phys.tohoku.ac.jp/japanese/riron/tool/mpi/
よりhello.fをコピー

 [sasa@sskn ~]$ mpdboot -n 1 -f mpd.hosts 
 [sasa@sskn ~]$ mpif77 hello.f 
 [sasa@sskn ~]$ mpiexec -n 4 ./a.out 
  Hello World.  myrank =  2 ,  tnode =  4
  Hello World.  myrank =  1 ,  tnode =  4
  Hello World.  myrank =  0 ,  tnode =  4
  Hello World.  myrank =  3 ,  tnode =  4

次に２台のマシン（ssknとfuru）の並列を試みた。

　sftp sskn

　put .mpd.conf

のコマンドでfuruの.mpd.confをssknにコピー。

次に両方のマシンのファイアーウオールを無効にし

　mpdboot -n 2 -f mpd.hosts 

を行ったところ、 

failed to handshake with mpd on furu

というメッセージがでた。

** Network の設定 [#c52c02e1]

-Network カードが２枚ある。
-eth0 は　172.17.4.XXX　を使う。
-eth1 は　192.168.2.XXX　を使う。（これは計算機室にいってから設置）
-192.168.2.0 ネットワークは、NFS, NIS に利用している。

** ssh の設定 [#f027af16]

http://www.geocities.jp/turtle_wide/tools/sshpass.html


 Local$ cd ~ [Enter]
 Local$ mkdir .ssh [Enter] (←ディレクトリがない人は）
 Local$ chmod 700 .ssh [Enter]　（自分だけが読み書きできるように）
 Local$ ssh-keygen -t dsa [Enter]
 Generating public/private dsa key pair.
 Enter file in which to save the key (/home/foo/.ssh/id_dsa): [Enter]
 Enter passphrase (empty for no passphrase) [Enter]
 Enter same passphrase again: [Enter]
 The key fingerprint is:
 Your identification has been saved in /home/foo/.ssh/id_dsa
 Your public key has been saved in /home/foo/.ssh/id_dsa.pub
 00:00:00:00:00:00:00:00:00:00:00:00:00:00 foo@localservername
 Local$scp ~/.ssh/id_dsa.pub foo@remote:/home/foo [Enter]

さらに，リモートのホスト側で登録作業


    Local$ ssh foo@Remote
    Remort$ mkdir .ssh (ディレクトリがない人)
    Remort$ chmod 700 .ssh/ (自分だけが読み書き可能に)
    Remort$ cd .ssh/
    Remort$ touch authorized_keys2 (公開鍵登録用のファイル）
    Remort$ chmod 600 authorized_keys2 (自分だけが読み書き可)
    Remort$ cat ~/id_dsa.pub >>authorized_keys2 (公開鍵の登録)
    Remort$ rm ~/id_dsa.pub (いらなくなった鍵を削除) Local$

でdsa の方法で設定すると　flex に自宅からパスワードなしで
ssh できるようになった。新しい機械では、うまくいかない？

teraterm で　SSH　ver.2 に対応しているものとして　ttssh2 がある。
ver 2 だと　dsa ver.1 だと rsa で、authorized_key および　autorized_key2
にそれぞれ入れる。

** VNC server and viewer の設定。 [#w436b473]

http://merry.whitesnow.jp/REPORT/CONTENTS/xserver_3.html#inst

** Network Boot への挑戦　PXE [#e901a604]
** PXE server & client Network Boot への挑戦 [#e901a604]

究極の作業としてHDDを抜いて、HDDなしでLinuxを立ち上げる。HDDは親の機械をマウントして使う。

http://www.atmarkit.co.jp/flinux/rensai/linuxtips/a021pxediskless.html

http://mitty.jp/pc/networkboot/

http://d.hatena.ne.jp/adsaria/20080129

http://d.hatena.ne.jp/adsaria/20080131/1201792574

network boot とは、ハードディスクなしにLinuxを立ち上げることを意味する。

DVD-ROMなしにLinuxをインストールする意味として使うこともあるので、区別が必要。


を参考に挑戦. 下記で動作試験中　2009.5.22　runlevel 5 で動作に成功。
現在 PXE client cluster を設定中。

http://flex.phys.tohoku.ac.jp/english/pukiwiki-e/index.php?PXE%20Server%20%28Open%29

** Wake on LAN   flex から　sskn を poweron する。 [#z5f2bcca]

 [root@sskn rsaito]# yum install ethtool
 Setting up Install Process
 Parsing package install arguments
 Package ethtool - 5-1.fc7.x86_64 is already installed.
 [root@sskn rsaito]# /sbin/ifconfig
 eth0      Link encap:Ethernet  HWaddr 00:30:48:67:08:E2
          inet addr:172.17.4.178  Bcast:172.17.7.255  Mask:255.255.252.0
 [root@sskn sbin]# /sbin/ethtool -s eth0 wol g

sskn の　/etc/rc5.d/S99local を編集

 # add wake up LAN by R. Saito 2008.10.10
 /sbin/ethtool -s eth0 wol g

を追加。上記コマンドは、次の１回しか立ち上がらない。shutdown

 [root@sskn sbin]# ./shutdown -h now
 Broadcast message from root (pts/1) (Fri Oct 10 21:54:46 2008):
 The system is going down for system halt NOW!
 [root@sskn sbin]# Connection to sskn closed by remote host.
 Connection to sskn closed.

立ち上げるには、MAC　アドレスを指定。ether-wake (net-tools) を使う。

 [root@flex rsaito]# /sbin/ether-wake 00:30:48:67:08:E2

少しして、sskn が立ち上がっているか確認。

 [root@flex rsaito]# ping sskn
 PING sskn (172.17.4.178) 56(84) bytes of data.
 64 bytes from sskn (172.17.4.178): icmp_seq=0 ttl=64 time=0.258 ms
 64 bytes from sskn (172.17.4.178): icmp_seq=1 ttl=64 time=0.134 ms

おお、立ち上がっている。が　ssh が通らない。多分　sskn の　BIOS　設定が
必要。明日学校で実行。

**Wake on LAN from windows [#r7b89af3]

It is necessary to install 'wol193' to use 'Wake on LAN' from windows.
I ran the software.
And I wrote windows's IP address, Mask address and so on.
I put 'wol193','alzip' into the samba server.

** アクセスがないHDDを止める。 [#t0f084f9]

-hdparm コマンドを使うらしい　−S の以降の数字で決まる。
-夜間などアクセスがなければ、止めておきたい。sskn で動作を確認したい。

 hdparm -S 12 /dev/sda1

-数字の意味は、 http://www.linux.or.jp/JM/html/hdparm/man8/hdparm.8.html　参照。

http://goungoun.dip.jp/app/fswiki/wiki.cgi/debianetch?page=2008%2F01%2F07%A1%A2SATA%A5%CF%A1%BC%A5%C9%A5%C7%A5%A3%A5%B9%A5%AF%A4%CE%B2%F3%C5%BE%A4%F2%BB%DF%A4%E1%A4%EB

** tubeとfuruの計算速度 [#y0cc8e09]

今回、furuはintelのMKLのLAPACKを使用することができなかっため、
yum install lapack*でinstallしたlapackを用いた。

tubeはintelのMKLを用いた。

(11,2)のナノチューブのフォノンの分散関係で比較したところ

 tube 1.41[s] 
 furu 0.49[s] 

という結果になった。

** NIS NFS [#a270b95b]

http://www.server-world.info/note?os=fedora8&p=nis

を参考にした。NIS server は　172.17.4.134 tube (host をmake した場合には、/var/yp/saito に
コピーする必要あり。）NFSとして　tube:/home1 と　flex:/rsaito をマウント
した。

network の設定で、GATEWAY＝172.17.4.1　だけ指定して　192.168.1.1　や　192.168.2.1　を指定してはならない。192.168.1.1から、外につながる経路がない。
（tube は　192.168.1.1 192.168.2.1　172.17.4.134　などのIPアドレスを持ち、
172.17.4.1 をデフォルトのGateway　にしている。）研究室のサブネットの
構成を再度確認する必要がある。
　
NIS client　の設定: /etc/yp.conf

 domain saito server 172.17.4.134 

/etc/sysconfig/network

 NISDOMAIN=saito 

を入れる。また　/etc/sysconfig/authconfig

 USENIS=yes

/etc/nsswitch.conf

 passwd:     nis files
 shadow:     nis files
 group:      nis files
 hosts:      dns nis files
 ethers:     files
 netmasks:   files
 networks:   files
 protocols:  files
 rpc:        files
 services:   files
 netgroup:   nisplus
 publickey:  nisplus
 automount:  files nisplus
 aliases:    files nisplus

 # domainname saito
 # /etc/rc5.d/S73ypbind start

server 側で、client　を指定。

 # ypserv -m 
 

** 横山さん（物性理論）によるCPU比較 [#efd4308b]

 ---------------------------------------------------------------------------
               (A)     (A')      (B)    (B')     (C)    (D) (D')   (F)
 CPU 　　　     C2Q     C2Q     MacPro 　自作  　 Xeon     Xeon   PentiumD
 Clock         2.4GHz  2.66GHz   Xeon(3.0GHz)    2.66GHz 2.5/2.66  3.0GHz
 プロセス      (65nm)   (45nm)  (65nm)  (45nm)   (45nm)   (45nm)
 --------------------------------------------------------------------------
 メモリ種類  |----Unbuf.ECC---| FB-DIMM Reg.ECC FB-DIMM  Reg.ECC    DDR2
 搭載メモリ　|------ 8GB -----|  14GB    12GB    16GB  8GB 12GB16GB 2GB
 　　　　　　　　　　                                                     
 |今回計算で|　                                           　　　         
 |使用メモリ|  1.30GB  0.55GB  0.81GB   1.31GB  1.31GB |--0.55GB--| 1.3+0.3GB
                                          (B')         (E) (E') (L)
 稼働コア数　|---------------------  消費電力(W)--------------------------|
    idle        108       86     258     123     200    94  97  92  133
      1         136      100     308     136     216   111 110  |   200
      2         156      116     332     151     230   127 123  |   263
      3         172      128     382     166     246   140 136  |    -
      4         187      138     409     180     263   156 149  |    -
      5          -        -      437     193     276   166 160  |    -
      6          -        -      470     208     289   175 172  |    -
      7          -        -      494     220     302   185 184  |    -
      8          -        -      520     233     318   194 196 171   -
 --------------------------------------------------------------------------
 
 (A) Core2quad Q6600 2.40GHz (1CPU, 4 cores) FSB1066
  D975Xchipset, 8GB Unbuf.ECC DIMM (DDR2-667)　（価格は15万くらい）
 
 (A') Core2quad Q9450 2.66GHz (1CPU, 4 cores) FSB1333
  X38chipset, 8GB Unbuf.ECC DIMM (DDR2-667) （総額 13万くらい）
 
 (B) Xeon E5365 3.0GHz (2CPU, 8 cores) FSB1333 
  Mac Pro, 14GB FB-DIMM (DDR2-667)　（価格は60万くらい）
 
 (B') ２．参照（下記）
 
 (C) Xeon E5430 2.66GHz (2CPU, 8 cores) FSB1333
  5400chipset, 16GB FB-DIMM (DDR2-533)　（価格は30万くらい）
 
 *(D)-(E) Xeon E5420 2.50GHz (2CPU, 8 cores) FSB1333 [#a0489359]
  5100chipset, 8GB Registered ECC (DDR2-533) (価格は20万くらい)
 
 *(D)-(E') Xeon E5430 2.66GHz (2CPU, 8 cores) FSB1333 [#oca53210]
  5100chipset, 12GB Registered ECC (DDR2-533) (価格は20万くらい)
 
 *(D')-(L) Xeon L5420 2.50GHz (2CPU, 8 cores) FSB1333 [#zc6a3461]
  5100chipset, 16(4*4)GB Registered ECC 
 
 (F) Pentium D 3.0GHz (1CPU, 2 cores)       　　　　　　　　　
  2GB non-ECC (DDR2-400)  (2年半使用、価格：当時13万くらい)  

 ---

 ２．計算能力（以前と同じデータ）
 行った計算は、私の変分モンテカルロの計算（１９６サイト）で、
 (i) ボソンに対する配列の入れ替え及び条件判別が中心の計算
 (ii) フェルミオンに対する配列（或る程度の行列演算）の入れ替え中心
 (iii) フェルミオンに対する行列と行列式演算が中心の計算
 の3種類（前回と同一のもの）。所要時間の結果は以下の通り。
  
 計算所要時間（単位：秒）
 ----------------------------------------------------------------
 機種    clock     (i)     (ii)   (iii)      OS       Fortran  
 ----------------------------------------------------------------
 (A) C2Q  2.4G    718.4   196.99  148.17   Fedora6   Intel v9.1
 (A')C2Q  2.66G   583.2   172.48  136.33   Fedora8   Intel v10.1 
 (B) Pro  3.0G    529.7   163.23  132.27   MacOS X   Intel v9.1
 (B')Xeon 3.0G    522.0   152.98  120.47   Fodora8   Intel v10.1
 (C) Xeon 2.66G   580.8   170.90  134.77   Fedora6   Intel v10.1
 (D) Xeon 2.5G    619.6   183.10  144.83   Fedora8   Intel v10.1
 (D')Xeon 2.5G(L) 615.4   180.77  144.36   Fedora8   Intel v10.1
 (E) G5   2.5G   1286.3   347.74  167.26   MacOS X   IBM XLv8.1
 (F) PD   3.0G   1089.2   509.77  316.45   SUSE10    Intel v9.1
 ---------------------------------------------------------------
 (A)-(D),(A'),(D'),(F) 上記１．と同じ機種
 (B') Xeon E5450 (3.0GHz) (2CPU, 8 cores) 12GB RAM
 (E) Power Mac G5 (2.5GHz) (2CPU, 4 cores)  4GB RAM