高性能集群并行環(huán)境安裝與配置

1、并行環(huán)境安裝與調(diào)試 本文講解的是基于Red Hat Enterprise Linux 4為平臺(tái)的高性能計(jì)算集群安裝與調(diào)試，假設(shè)你使用過(guò)Red Hat Enterprise Linux 4并且理解了高性能計(jì)算的原理，所以本文稿的重點(diǎn)講解如何安裝與調(diào)試，關(guān)于高性能計(jì)算的原理請(qǐng)自行查閱相關(guān)的資料。 你可以拒絕學(xué)習(xí) 但你的競(jìng)爭(zhēng)對(duì)手不會(huì)-杰克.韋爾奇QQ：11217404MAIL：pcstart特洛伊整理,轉(zhuǎn)載請(qǐng)保留,前言LINUX集群中的每個(gè)節(jié)點(diǎn)都有自己的處理器和內(nèi)存，運(yùn)行獨(dú)立的操作系統(tǒng)，不能直接訪問(wèn)其他節(jié)點(diǎn)的處理器，內(nèi)存或其他設(shè)備。而MPI環(huán)境卻要求這樣的訪問(wèn)，這就需要內(nèi)部網(wǎng)絡(luò)和協(xié)議的支持。首先，每

2、個(gè)節(jié)點(diǎn)要能互訪，需進(jìn)行基本網(wǎng)絡(luò)配置；其次，由于并行計(jì)算的特點(diǎn)，每個(gè)節(jié)點(diǎn)的計(jì)算程序是通常是相同的，只是所分配的計(jì)算區(qū)間不同。這就需要：（1）高效率的用戶身份驗(yàn)證方法，并且能執(zhí)行用戶發(fā)出的計(jì)算指令。（2）每個(gè)計(jì)算節(jié)點(diǎn)能夠使用載入同一個(gè)計(jì)算程序，并能進(jìn)行相應(yīng)初始化。對(duì)于第一個(gè)要求，可通過(guò)網(wǎng)絡(luò)信息服務(wù)（NIS）和SHELL命令服務(wù)（RSH、SSH）實(shí)現(xiàn)。對(duì)于第二個(gè)要求，可以使用Linux的NFS文件系統(tǒng)實(shí)現(xiàn)，將服務(wù)器節(jié)點(diǎn)的用戶文件讓所有計(jì)算共享。所以NIS、NFS、RSH、SSH是集群的基本網(wǎng)絡(luò)服務(wù)。1網(wǎng)絡(luò)信息服務(wù)（NIS）NIS是一個(gè)簡(jiǎn)單的客戶機(jī)/服務(wù)器數(shù)據(jù)庫(kù)系統(tǒng)，提供一個(gè)簡(jiǎn)易網(wǎng)絡(luò)查詢(xún)服務(wù)。NIS是

3、網(wǎng)絡(luò)信息系統(tǒng)的簡(jiǎn)稱(chēng)，包含了網(wǎng)絡(luò)用戶的信息，由數(shù)據(jù)庫(kù)與處理程序構(gòu)成，目的是為網(wǎng)絡(luò)上所有機(jī)器提供所需信息。數(shù)據(jù)庫(kù)建立在服務(wù)器上，用于統(tǒng)一管理集群中服務(wù)器和節(jié)點(diǎn)機(jī)的用戶信息，使得一個(gè)用戶可以登入集群中任何一臺(tái)節(jié)點(diǎn)機(jī)，而不需要管理員另外為用戶在每臺(tái)節(jié)點(diǎn)機(jī)上設(shè)置用戶和密碼。雖然NIS存在一定的安全隱患，但在內(nèi)部網(wǎng)絡(luò)，安全問(wèn)題不大。2遠(yuǎn)程SHELL命令（RSH、SSH）基于MPI的并行計(jì)算需要在每個(gè)計(jì)算節(jié)點(diǎn)啟動(dòng)并行計(jì)算任務(wù)，用戶需要登入每個(gè)節(jié)點(diǎn)，然后遞交計(jì)算任務(wù)。不過(guò)這通常效率比較低，那么，高效的做法是，不需要登入遠(yuǎn)程機(jī)器，就可以在遠(yuǎn)程機(jī)器上啟動(dòng)并遞交計(jì)算任務(wù)，而RSH與SSH提供了這樣的機(jī)制。MPI安裝

4、于服務(wù)器節(jié)點(diǎn)，其啟動(dòng)命令包含有在每個(gè)可供使用的節(jié)點(diǎn)機(jī)上啟動(dòng)計(jì)算的批處理命令。NIS為節(jié)點(diǎn)機(jī)接受這樣的命令提供身份驗(yàn)證機(jī)制，但是，遠(yuǎn)程SHELL命令需要由程序來(lái)發(fā)出和響應(yīng)。RSH與SSH就是這樣的程序。命令執(zhí)行之前，節(jié)點(diǎn)機(jī)檢查服務(wù)器是否有權(quán)限發(fā)出這樣的命令。之后，節(jié)點(diǎn)機(jī)通過(guò)/etc/hosts.equiv文件對(duì)服務(wù)器IP做可信賴(lài)檢查，通過(guò)檢查，就命令執(zhí)行；沒(méi)通過(guò)，則需口令才能執(zhí)行命令。對(duì)于集群來(lái)說(shuō)，做的是高效率的并行計(jì)算，無(wú)口令登入，無(wú)疑帶來(lái)了更高的計(jì)算效率。 3網(wǎng)絡(luò)文件系統(tǒng)（NFS）并行任務(wù)啟動(dòng)時(shí)，需要所有節(jié)點(diǎn)都能載入并行計(jì)算程序的執(zhí)行代碼。并行計(jì)算程序執(zhí)行代碼文件、輸入輸出數(shù)據(jù)文件等必須讓所

5、有節(jié)點(diǎn)機(jī)共享，這可以通過(guò)NFS實(shí)現(xiàn)，用戶在任何節(jié)點(diǎn)登入，看到的是單一系統(tǒng)印象，感覺(jué)不到多臺(tái)計(jì)算機(jī)的存在。微機(jī)集群一般通過(guò)NFS來(lái)實(shí)現(xiàn)文件共享。NFS是一個(gè)可靠的協(xié)議，提供服務(wù)過(guò)程中不保留信息，客戶機(jī)出現(xiàn)問(wèn)題，并不影響服務(wù)器。雖然NFS也存在比較大的安全隱患，但在內(nèi)部網(wǎng)絡(luò)，問(wèn)題就不明顯了。 4MPICH并行環(huán)境MPICH是Linux平臺(tái)下最重要的一種MPI實(shí)現(xiàn)，是一個(gè)與MPI規(guī)范同步發(fā)展的版本。每當(dāng)MPI標(biāo)準(zhǔn)推出新的版本時(shí)，MPICH就會(huì)有相應(yīng)的實(shí)現(xiàn)版本。MPICH是一個(gè)MPI的庫(kù)，它提供了不同版本MPI的庫(kù)結(jié)構(gòu)，編程人員可以使用MPICH來(lái)使用這些MPI接口，以便寫(xiě)出適合自己的基于消息傳遞的并

6、行程序。編程人員使用C 或者是Fortran語(yǔ)言來(lái)調(diào)用這些標(biāo)準(zhǔn)庫(kù)，實(shí)現(xiàn)程序的并行性。MPICH使用的是MPI標(biāo)準(zhǔn)，所以它開(kāi)發(fā)的程序可移植性很強(qiáng)，而且它提供統(tǒng)一的編程接口，所以程序的可開(kāi)發(fā)性很強(qiáng)。本次測(cè)試就是MPICH的基礎(chǔ)實(shí)現(xiàn)的，所以我們將介紹如何的安裝和使用MPICH具體安裝步驟如下(以?xún)晒?jié)點(diǎn)集群為例)： 集群中各節(jié)點(diǎn)所安裝的系統(tǒng)為Red Hat Enterprise Linux 4 U3 32bit，在安裝操作系統(tǒng)時(shí)，預(yù)安裝所有軟件包，以免以后用到的軟件在重新安裝帶來(lái)的麻煩，在安裝服務(wù)器和節(jié)點(diǎn)機(jī)操作系統(tǒng)時(shí)，設(shè)置服務(wù)器和節(jié)點(diǎn)機(jī)的主機(jī)名分別為：node1,node2；其中node1充當(dāng)服務(wù)器兼

7、管理節(jié)點(diǎn)和I/O節(jié)點(diǎn)，node2充當(dāng)計(jì)算節(jié)點(diǎn)。node1的IP為：eth0: eth1:node2的IP為: eth0: eth1:配置完成后，可以用機(jī)群部署系統(tǒng)軟件（曙光DCIS）把node2的系統(tǒng)鏡像分發(fā)到其它計(jì)算節(jié)點(diǎn)上。NIS配置在一個(gè)大型的網(wǎng)域當(dāng)中，如果有多部 Linux 主機(jī)時(shí)，萬(wàn)一要每部主機(jī)都設(shè)定相同的賬號(hào)與密碼的設(shè)定，還真是啰唆。所以，適時(shí)的使用一部主要主機(jī) ( master server ) 管理網(wǎng)域中的所有賬號(hào)，其它的主機(jī)則使用這部主要主機(jī)提供的賬號(hào)與密碼來(lái)達(dá)成讓使用者登入的作用即可！這樣的功

8、能有很多的服務(wù)器軟件可以達(dá)成，這里我們要介紹的則是 Network Information Services, NIS server 這個(gè)服務(wù)器軟件！NIS服務(wù)器具體配置1安裝NIS服務(wù)默認(rèn)配置安裝的RedHat，其安裝程序會(huì)將NIS服務(wù)安裝在系統(tǒng)上，在RedHat中我們只需使用下面的命令檢查系統(tǒng)是否已經(jīng)安裝了NIS服務(wù)：rootnode1 # rpm -qa |grep yp如果系統(tǒng)顯示有如下軟件包，表示NIS服務(wù)已經(jīng)正確安裝yp-tools-2.8-1ypserv-2.8-1ypbind-1.12-1否則表示還沒(méi)有安裝NIS服務(wù)，在RedHat AS 4的第1張與第2張安裝光盤(pán)的/RedH

9、at/RPMS目錄有NIS服務(wù)器的RPM安裝包，該安裝包的文件名分別為ypserv-2.13-9.i386.rpm，yp-tools-2.8-7.i386.rpm， ypbind-1.17.2-8.i386.rpm 。放入光盤(pán)然后進(jìn)行裝載，并使用下面的命令安裝:rootnode1 # mount -t iso9660 /dev/cdrom /mnt/cdromrootnode1 # rpm -ivh /mnt/cdrom/RedHat/RPMS/ypserv-2.13-9.i386.rpmrootnode1 # rpm -ivh /mnt/cdrom/RedHat/RPMS/yp-tools-

10、2.8-7.i386.rpm rootnode1 # rpm -ivh /mnt/cdrom/RedHat/RPMS/ypbind-1.17.2-8.i386.rpm注意：要提供NIS服務(wù)，必須安裝portmap服務(wù)，并且portmap服務(wù)是運(yùn)行的，查看是否安裝與安裝方法同上，RedHat默認(rèn)會(huì)安裝portmap服務(wù)。2配置NIS服務(wù)(1)啟動(dòng) portmap 并設(shè)定開(kāi)機(jī)時(shí)啟動(dòng)：rootnode1 # service portmap startrootnode1 # chkconfig -level 35 portmap on(2)啟動(dòng) time 與 time-udprootnode1 # v

11、i /etc/xinetd.d/time#將 disable = yes 改成 disable = no 即可！rootnode1 # vi /etc/xinetd.d/time-udp # 同樣的將 disable = yes 改成 disable = no 即可！ rootnode1 # service xinetd restart rootnode1 # chkconfig -level 35 xinetd onrootnode1 # netstat -utl Active Internet connections (only servers) Proto Recv-Q Send-Q L

12、ocal Address Foreign Address State tcp 0 0 *:time *:* LISTEN tcp 0 0 *:sunrpc *:* LISTEN udp 0 0 *:time *:* udp 0 0 *:sunrpc *:*目前至少也要有上面四個(gè) LISTEN 的 port 才行喔！分別是 UDP 與 TCP 封包的啦！ (3) 建立 NIS 的領(lǐng)域名稱(chēng) ( nisdomainname )建立 NIS 的領(lǐng)域名稱(chēng) (我這里是設(shè)定為 cluster )： rootnode1 # nisdomainname cluster rootnode1 # vi /etc/r

13、c.d/rc.local # 將底下這一行加入這個(gè)檔案的最后一行： /bin/nisdomainname cluster 設(shè)定好網(wǎng)絡(luò)參數(shù)： rootnode1 # vi /etc/sysconfig/network # 加入底下這一行： NISDOMAIN=cluster(3)建立網(wǎng)絡(luò)信任群組： rootnode1 # touch /etc/netgroup(4)啟動(dòng) ypserv 與yppasswdd，并且設(shè)定開(kāi)機(jī)時(shí)啟動(dòng):rootnode1 # service ypservstart rootnode1 # service yppasswdd startrootnode1 # chkconf

14、ig -level 35 ypserv on rootnode1 # chkconfig -level 35 yppasswdd on(5)制作數(shù)據(jù)庫(kù)、并重新啟動(dòng) ypserv 與 yppasswd ：rootnode1 # /usr/lib/yp/ypinit -mAt this point, we have to construct a list of the hosts which will run NIS servers. server.cluster is in the list of NIS server hosts. Please continue to add the name

15、s for the other hosts, one per line. When you are done with the list, type a . next host to add: node1 next host to add: =在這里按下ctrl + d跳出 The current list of NIS servers looks like this: node1Is this correct? y/n: y y We need a few minutes to build the databases. Building /var/yp/cluster/ypservers.

16、Running /var/yp/Makefile. gmake1: Entering directory /var/yp/cluster Updating passwd.byname. Updating passwd.byuid. Updating group.byname. Updating group.bygid. Updating hosts.byname. Updating hosts.byaddr. Updating rpc.byname. Updating rpc.bynumber. Updating services.byname. Updating services.byser

17、vicename. Updating netid.byname. Updating protocols.bynumber. Updating protocols.byname. Updating mail.aliases. gmake1: Leaving directory /var/yp/cluster node1 has been set up as a NIS master server. Now you can run ypinit -s node1 on all slave server.# 這個(gè)動(dòng)作是每次修改使用者數(shù)據(jù)后一定要做的動(dòng)作！，就是重新制作數(shù)據(jù)庫(kù)， rootnode1 #

18、 service ypserv restart rootnode1 # servcie yppasswdd restart# 然后并且需要重新啟動(dòng) ypserv 與 yppasswdd 喔！ 3管理NIS服務(wù)啟動(dòng)NIS服務(wù)rootnode1 # service ypserv start rootnode1 # service yppasswdd start停止NIS服務(wù)rootnode1 # service ypserv stoprootnode1 # service yppasswdd stop重新啟動(dòng)NIS服務(wù)rootnode1 # service ypserv restartrootno

19、de1 # service yppasswdd restartNIS客戶機(jī)具體配置1安裝NIS服務(wù)默認(rèn)配置安裝的RedHat，其安裝程序會(huì)將NIS服務(wù)安裝在系統(tǒng)上，在RedHat中我們只需使用下面的命令檢查系統(tǒng)是否已經(jīng)安裝了NIS服務(wù)：rootnode1 # rpm -qa |grep yp如果系統(tǒng)顯示有如下軟件包，表示NIS服務(wù)已經(jīng)正確安裝yp-tools-2.8-1ypserv-2.8-1ypbind-1.12-1否則表示還沒(méi)有安裝NIS服務(wù)，在RedHat AS 4的第1張與第2張安裝光盤(pán)的/RedHat/RPMS目錄有NIS服務(wù)器的RPM安裝包，該安裝包的文件名分別為ypserv-2.

20、13-9.i386.rpm，yp-tools-2.8-7.i386.rpm， ypbind-1.17.2-8.i386.rpm 。放入光盤(pán)然后進(jìn)行裝載，并使用下面的命令安裝:rootnode1 # mount -t iso9660 /dev/cdrom /mnt/cdromrootnode1 # rpm -ivh /mnt/cdrom/RedHat/RPMS/ypserv-2.13-9.i386.rpmrootnode1 # rpm -ivh /mnt/cdrom/RedHat/RPMS/yp-tools-2.8-7.i386.rpm rootnode1 # rpm -ivh /mnt/cdr

21、om/RedHat/RPMS/ypbind-1.17.2-8.i386.rpm注意：要提供NIS服務(wù)，必須安裝portmap服務(wù)，并且portmap服務(wù)是運(yùn)行的，查看是否安裝與安裝方法同上，RedHat默認(rèn)會(huì)安裝portmap服務(wù)。2配置NIS服務(wù)(1)啟動(dòng) portmap 并設(shè)定開(kāi)機(jī)時(shí)啟動(dòng)：rootnode2 # service portmap startrootnode2 # chkconfig -level 35 portmap on(2) 設(shè)定 NIS Server 的 IP 對(duì)應(yīng)主機(jī)名稱(chēng)：rootnode2 # vi /etc/hosts # 要有底下這一行喔！ 192.168.0.

22、1 node1 gnode1(3) 設(shè)定 NIS 的 domain 與 NIS 的主機(jī)： 建立 NIS domain name：rootnode2 # nisdomainname cluster rootnode2 # vi /etc/rc.d/rc.local # 加入底下這一行： /bin/nisdomainname cluster rootnode2 # vi /etc/sysconfig/network # 加入底下這一行： NISDOMAIN=cluster 建立 NIS 查尋的主機(jī)名稱(chēng)：rootnode2 # vi /etc/yp.conf # 加入這兩行： d

23、omain cluster ypserver node1 #那個(gè) cluster 是你的 NIS 的 domain ，至于 node1則是 NIS Server 的主機(jī)名稱(chēng)(4) 修改密碼驗(yàn)證的方式：密碼文件的修改： rootnode2 # vi /etc/passwd # 在這個(gè)檔案的最后面加入這一行： +: # 注意喔！在 + 之后連續(xù)加六個(gè) : ，并且中間沒(méi)有空格符！ 查尋密碼的程序： # 因?yàn)槲覀冇泻芏喾绞絹?lái)查尋密碼，需要修改 /etc/nsswitch.conf 這個(gè)檔案才行 rootnode2 # vi /etc/nsswitch.conf # 找到相關(guān)的參數(shù)，并改成底下這樣： p

24、asswd: nis files shadow: nis files group: nis files hosts: nis files dns # 至于 nis 則是透過(guò) NIS 來(lái)進(jìn)行查尋# 這個(gè)檔案在設(shè)定一些信息的查尋程序！那個(gè) files 指的是本機(jī)的相關(guān)檔案， 3管理NIS服務(wù)啟動(dòng) ypbind 與設(shè)定開(kāi)機(jī)啟動(dòng)：rootnode2 # service ypbind startrootnode2 # chkconfig -level 35 ypbind on4測(cè)試NIS服務(wù) NIS Client 端檢驗(yàn) NIS 設(shè)定：yptest, ypwhich, ypcat在node2上運(yùn)行ypt

25、est：rootnode2 # yptestTest 1: domainnameConfigured domainname is clusterTest 2: ypbindUsed NIS server: node1Test 3: yp_matchWARNING: No such key in map (Map passwd.byname, key nobody)（這里報(bào)錯(cuò)，我也不知為什么）Test 4: yp_firstpc pc:$1$R0RKP5Vx$Wmu79QE1zt43v8L45Orsk1:500:501:/home/pc:/bin/bashTest 5: yp_nextTest

26、6: yp_masternode1Test 7: yp_order1156259277Test 8: yp_maplistprotocols.bynumbergroup.bygidservices.bynamepasswd.bynameypserversrpc.bynumberservices.byservicenamemail.aliasespasswd.byuidhosts.bynameprotocols.bynamerpc.bynamenetid.bynamegroup.bynamehosts.byaddrTest 9: yp_allpc pc:$1$R0RKP5Vx$Wmu79QE1z

27、t43v8L45Orsk1:500:501:/home/pc:/bin/bash1 tests failed#如果你看到以上信息，說(shuō)明客戶端可以與服務(wù)器端正常工作。在node2上運(yùn)行ypwhich：rootnode2 # ypwhichnode1rootnode2 #如果你看到以上信息，說(shuō)明客戶端可以與服務(wù)器端正常工作。在node2上運(yùn)行上運(yùn)行ypcat：rootnode2 # ypcat passwdpc:$1$R0RKP5Vx$Wmu79QE1zt43v8L45Orsk1:500:501:/home/pc:/bin/bashrootnode2 #如果你看到以上信息，說(shuō)明客戶端可以與服務(wù)器端

28、正常工作。NIS服務(wù)的配置也很簡(jiǎn)單吧！其中node1為NIS服務(wù)器端，其它節(jié)點(diǎn)為NIS客戶端，以上的NIS服務(wù)器端配置在node1上進(jìn)行，NIS客戶端配置在其它節(jié)點(diǎn)(如,node2,node3)上進(jìn)行。在這里有一個(gè)特別說(shuō)明的地方大家一定要注意，當(dāng)你配置NIS服務(wù)成功后，不管你用哪個(gè)普通用戶（如本例中的pc）rsh到任何一個(gè)節(jié)點(diǎn)，都應(yīng)是不用輸入用戶名與密碼的，不用在做其它配置！至此NIS服務(wù)配置完成！RSH配置在高性能計(jì)算集群中，每個(gè)節(jié)點(diǎn)都需要分擔(dān)一定的任務(wù)，而這些任務(wù)都是由執(zhí)行任務(wù)的主機(jī)發(fā)起的，剩余的節(jié)點(diǎn)通過(guò)遠(yuǎn)程的通信協(xié)議來(lái)完成任務(wù)的接收和執(zhí)行。當(dāng)前用于遠(yuǎn)程通信的協(xié)議很多，其中比較出名的是SS

29、H(Secure Shell)和RSH。RSH是通過(guò)網(wǎng)絡(luò)將要執(zhí)行的命令分發(fā)給目的機(jī)，目的機(jī)在接收命令后根據(jù)用戶的情況和當(dāng)前的環(huán)境判斷是否執(zhí)行發(fā)送來(lái)的命令。SSH是RSH的一種改進(jìn)，RSH存在一種很大的缺陷那就是安全問(wèn)題。RSH在發(fā)送命令時(shí)使用的是明文的方式，這樣一來(lái)命令在網(wǎng)絡(luò)中傳輸很容易被截獲，并且會(huì)被一些不法份子給竄改。出于這樣的原因，出現(xiàn)了現(xiàn)在比較流行的SSH，它是通過(guò)SSL的加密方式來(lái)發(fā)送數(shù)據(jù)，這樣就避免了數(shù)據(jù)被偷竊和竄改的可能。RSH服務(wù)具體配置1安裝RSH服務(wù)默認(rèn)配置安裝的RedHat，其安裝程序會(huì)將RSH服務(wù)安裝在系統(tǒng)上，在RedHat中我們只需使用下面的命令檢查系統(tǒng)是否已經(jīng)安裝了

30、NFS服務(wù)：rootnode1 # rpm -qa |grep rsh如果系統(tǒng)顯示如下內(nèi)容，表示NFS服務(wù)已經(jīng)正確安裝rsh-0.17-25.3rsh-server-0.17-25.3否則表示還沒(méi)有安裝RSH服務(wù)，在RedHat AS 4的第2張與第4張安裝光盤(pán)的/RedHat/RPMS目錄分別有RSH服務(wù)客戶端與RSH服務(wù)器端的RPM安裝包，該安裝包的文件名分別為rsh-0.17-25.3.i386.rpm 與rsh-server-0.17-25.3.i386.rpm。放入光盤(pán)然后進(jìn)行裝載，并使用下面的命令安裝:mount -t iso9660 /dev/cdrom /mnt/cdromrp

31、m -ivh /mnt/cdrom/RedHat/RPMS/rsh-0.17-25.3.i386.rpm (第2張)rpm -ivh /mnt/cdrom/RedHat/RPMS/rsh-server-0.17-25.3.i386.rpm (第4張)以上設(shè)置必須得在每一個(gè)節(jié)點(diǎn)上運(yùn)行。2配置RSH服務(wù)編輯/etc/hosts.equiv (若不存在，請(qǐng)自行建立)如下： node1node2gnode1gnode2編輯/etc/hosts (若不存在，請(qǐng)自行建立)如下： localhost node1 node2

32、gnode1 gnode2編輯/root/.rhosts (若不存在，請(qǐng)自行建立,其中root為當(dāng)前用戶目錄下)如下： node1node2gnode1gnode2編輯/etc/securetty文件，在末尾處新起一行加入:rexecrloginrsh 以上設(shè)置必須得在每一個(gè)節(jié)點(diǎn)上運(yùn)行。3管理RSH服務(wù)啟動(dòng)RSH服務(wù)/etc/rc.d/init.d/rsh start/etc/rc.d/init.d/rlogin start停止RSH服務(wù)/etc/rc.d/init.d/rsh stop/etc/rc.d/init.d/rlogin stop重新啟動(dòng)RSH服務(wù)/etc/rc

33、.d/init.d/rsh restart/etc/rc.d/init.d/rlogin restart自動(dòng)啟動(dòng)RSH服務(wù)chkconfig level 35 rexec onchkconfig level 35 rlogin onchkconfig level 35 rsh on以上設(shè)置必須得在每一個(gè)節(jié)點(diǎn)上運(yùn)行。4測(cè)試RSH服務(wù)首先，在RSH服務(wù)器端保證RSH服務(wù)啟動(dòng),運(yùn)行如下命令：rootnode1 # rsh node2如果你能看到以下信息，說(shuō)明RSH服務(wù)配置成功，并且不用密碼可以登陸其它節(jié)點(diǎn)。connect to address : Connection refu

34、sedTrying krb4 rlogin.connect to address : Connection refusedtrying normal rlogin (/usr/bin/rlogin)Last login: Fri Aug 25 17:11:38 from node1You have mail.rootnode2 #我想大家都看明白了吧，每個(gè)節(jié)點(diǎn)既是RSH服務(wù)器，又可充當(dāng)RSH客戶機(jī)，最后要達(dá)到的效果是在任何一節(jié)點(diǎn)rsh到任何一節(jié)點(diǎn)上，都能成功并且不需要輸入用戶名與密碼。至此RSH服務(wù)配置完成！SSH配置在高性能計(jì)算集群中，每個(gè)節(jié)點(diǎn)都需要分擔(dān)一定的任務(wù)，而這

35、些任務(wù)都是由執(zhí)行任務(wù)的主機(jī)發(fā)起的，剩余的節(jié)點(diǎn)通過(guò)遠(yuǎn)程的通信協(xié)議來(lái)完成任務(wù)的接收和執(zhí)行。當(dāng)前用于遠(yuǎn)程通信的協(xié)議很多，其中比較出名的是SSH(Secure Shell)和RSH。RSH是通過(guò)網(wǎng)絡(luò)將要執(zhí)行的命令分發(fā)給目的機(jī)，目的機(jī)在接收命令后根據(jù)用戶的情況和當(dāng)前的環(huán)境判斷是否執(zhí)行發(fā)送來(lái)的命令。SSH是RSH的一種改進(jìn)，RSH存在一種很大的缺陷那就是安全問(wèn)題。RSH在發(fā)送命令時(shí)使用的是明文的方式，這樣一來(lái)命令在網(wǎng)絡(luò)中傳輸很容易被截獲，并且會(huì)被一些不法份子給竄改。出于這樣的原因，出現(xiàn)了現(xiàn)在比較流行的SSH，它是通過(guò)SSL的加密方式來(lái)發(fā)送數(shù)據(jù)，這樣就避免了數(shù)據(jù)被偷竊和竄改的可能。SSH服務(wù)器具體配置1安裝

36、SSH服務(wù)：默認(rèn)配置安裝的RedHat，其安裝程序會(huì)將RSH服務(wù)安裝在系統(tǒng)上，在RedHat中我們只需使用下面的命令檢查系統(tǒng)是否已經(jīng)安裝了SSH服務(wù)：rootnode1 # rpm -qa |grep ssh如果系統(tǒng)顯示如下內(nèi)容，表示SSH服務(wù)已經(jīng)正確安裝openssh-clients-3.9p1-8.RHEL4.9openssh-askpass-3.9p1-8.RHEL4.9openssh-server-3.9p1-8.RHEL4.9openssh-askpass-gnome-3.9p1-8.RHEL4.9openssh-3.9p1-8.RHEL4.9否則表示還沒(méi)有安裝SSH服務(wù)，在RedH

37、at AS 4的第2張與第4張安裝光盤(pán)的/RedHat/RPMS目錄分別有SSH服務(wù)客戶端與SSH服務(wù)器端的RPM安裝包，放入光盤(pán)然后進(jìn)行裝載，并使用下面的命令安裝:mount -t iso9660 /dev/cdrom /mnt/cdromrpm -ivh /mnt/cdrom/RedHat/RPMS/openssh-clients-3.9p1-8.RHEL4.9.i386.rpmrpm -ivh /mnt/cdrom/RedHat/RPMS/openssh-askpass-3.9p1-8.RHEL4.9.i386.rpmrpm -ivh /mnt/cdrom/RedHat/RPMS/ope

38、nssh-server-3.9p1-8.RHEL4.9.i386.rpmrpm -ivh /mnt/cdrom/RedHat/RPMS/openssh-askpass-gnome-3.9p1-8.RHEL4.9.i386.rpmrpm -ivh /mnt/cdrom/RedHat/RPMS/openssh-3.9p1-8.RHEL4.9.i386.rpm2配置SSH服務(wù)在node1生成SSH秘鑰對(duì)：rootnode1 # ssh-keygen -t rsa 一路回車(chē)即可查看是否有.ssh文件夾：rootnode1 # ls a進(jìn)入.ssh目錄rootnode1 # cd .sshrootnod

39、e1 .ssh#生成authorized_keys文件：rootnode1 .ssh# cp id_rsa.pub authorized_keys建立本身的信任連接：rootnode1 .ssh# ssh node1 按提示輸入yes（三個(gè)字母要打全）設(shè)置node2（node2的root目錄下） rootnode2 #ssh-keygen -t rsa 生成.ssh文件夾 rootnode2 #rcp node1:/root/.ssh/* /root/.ssh 拷貝node1上的.ssh文件夾覆蓋本地的 rootnode2 #ssh node1 提示處輸入yes回車(chē) 確認(rèn)兩臺(tái)機(jī)器的信任連接已建

40、立 對(duì)每個(gè)節(jié)點(diǎn)執(zhí)行： #ssh node01 #ssh node02 在提示處輸入yes回車(chē)，最后確定無(wú)需輸入密碼并且沒(méi)有任何提示信息即可登陸（Last login:時(shí)間日期提示信息除外） 3管理SSH服務(wù)啟動(dòng)SSH服務(wù)/etc/rc.d/init.d/sshd start停止SSH服務(wù)/etc/rc.d/init.d/sshd stop重新啟動(dòng)SSH服務(wù)/etc/rc.d/init.d/sshd restart自動(dòng)啟動(dòng)SSH服務(wù)chkconfig -level 35 sshd on以上設(shè)置必須得在每一個(gè)節(jié)點(diǎn)上運(yùn)行。4測(cè)試SSH服務(wù)：首先，在SSH服務(wù)器端保證RSH服務(wù)啟動(dòng),運(yùn)行如下命令：ro

41、otnode1 # ssh node2如果你能看到以下信息，說(shuō)明SSH服務(wù)配置成功，并且不用密碼可以登陸其它節(jié)點(diǎn)。Last login: Sat Aug 26 19:39:21 2006 from node1rootnode2 #我想大家都看明白了吧，每個(gè)節(jié)點(diǎn)既是SSH服務(wù)器，又可充當(dāng)SSH客戶機(jī)，最后要達(dá)到的效果是在任何一節(jié)點(diǎn)ssh到任何一節(jié)點(diǎn)上，都能成功并且不需要輸入用戶名與密碼。至此SSH服務(wù)配置完成！NFS配置編輯文件NFS文件輸出表文件/etc/exports，輸出/usr/local和/home文件讓節(jié)點(diǎn)機(jī)共享。其中/usr/local用于安裝MPI并行環(huán)境和存放其他公用程序。/h

42、ome是普通用戶登錄目錄，通過(guò)這樣的機(jī)制，可以統(tǒng)一集群中的應(yīng)用程序目錄及用戶目錄，更體現(xiàn)集群的單一系統(tǒng)印象。雖然NFS可以在網(wǎng)絡(luò)中進(jìn)行文件共享。但是NFS協(xié)議本身并沒(méi)有提供數(shù)據(jù)傳輸?shù)墓δ?，它必須借助于過(guò)程調(diào)用（RPC）協(xié)議來(lái)實(shí)現(xiàn)數(shù)據(jù)的傳輸。RPC定義了一種進(jìn)程間通過(guò)網(wǎng)絡(luò)進(jìn)行交互通信的機(jī)制，它允許客戶端進(jìn)程通過(guò)遠(yuǎn)程服務(wù)器上的服務(wù)進(jìn)程請(qǐng)求服務(wù)，而不需要了解底層通信協(xié)議的細(xì)節(jié)。 NFS服務(wù)器具體配置1安裝NFS服務(wù)默認(rèn)配置安裝的RedHat，其安裝程序會(huì)將NFS服務(wù)安裝在系統(tǒng)上，在RedHat中我們只需使用下面的命令檢查系統(tǒng)是否已經(jīng)安裝了NFS服務(wù)：rootnode1 root# rpm -qa |

43、grep nfs如果系統(tǒng)顯示如下內(nèi)容，表示NFS服務(wù)已經(jīng)正確安裝nfs-utils-1.0.6-46否則表示還沒(méi)有安裝NFS服務(wù)，在RedHat AS 4的第2張安裝光盤(pán)的/RedHat/RPMS目錄有NFS服務(wù)器的RPM安裝包，該安裝包的文件名為nfs-utils-1.0.6-46.i386.rpm 。放入光盤(pán)然后進(jìn)行裝載，并使用下面的命令安裝:mount -t iso9660 /dev/cdrom /mnt/cdromrpm -ivh /mnt/cdrom/RedHat/RPMS/nfs-utils-1.0.6-46.i386.rpm2配置NFS服務(wù)編輯/etc/exports文件內(nèi)容如下

44、： /home *（rw,sync,no_root_squash）/usr/local *（rw,sync,no_root_squash） 3管理NFS服務(wù)啟動(dòng)NFS服務(wù)/etc/rc.d/init.d/nfs start停止NFS服務(wù)/etc/rc.d/init.d/nfs stop重新啟動(dòng)NFS服務(wù)/etc/rc.d/init.d/nfs restart自動(dòng)啟動(dòng)NFS服務(wù)chkconfig level 35 nfs on4測(cè)試NFS服務(wù)首先，在服務(wù)器端保證NFS服務(wù)啟動(dòng)，使用下面的命令來(lái)查看NFS服務(wù)器的共享使用和相關(guān)的配置信息showmount -e 服務(wù)器IP也可以輸入：showmou

45、nt -a 服務(wù)器IP查看nfs共享在客戶端的加載情形。NFS客戶機(jī)具體配置編輯/etc/fstab文件,使節(jié)點(diǎn)機(jī)啟動(dòng)時(shí)自動(dòng)掛載NFS服務(wù)器輸出的文件目,在該文件中加入： node1:/home /home nfs defaults 0 0node1:/usr/local /usr/local nfs defaults 0 0 可用mount 命令，測(cè)試是否能掛載NFS服務(wù)器上的輸出文件目錄 mount -t nfs node1:/home /home 若正確，進(jìn)入節(jié)點(diǎn)機(jī)/home 目錄，可看到服務(wù)器上的/home 目錄 。這個(gè)NFS也比較簡(jiǎn)單了，我們的目地是以node1充當(dāng)NFS的服務(wù)器端，

46、其它節(jié)點(diǎn)充當(dāng)NFS的客戶端，因此以上的服務(wù)器端配置需要在node1上進(jìn)行，客戶機(jī)的配置需要在所有其它節(jié)點(diǎn)機(jī)上進(jìn)行，以達(dá)到所以節(jié)點(diǎn)機(jī)啟動(dòng)時(shí)能自動(dòng)掛載node1上的/home與/usr/local目錄，并且對(duì)這些目錄有讀寫(xiě)的權(quán)限！至此NFS服務(wù)配置完成！MPICH1配置我們要讓我們的集群發(fā)揮它的效能就必須讓它能夠執(zhí)行并行程序，而我們要執(zhí)行并行程序就必須使用并行運(yùn)算軟件，MPICH是MPI的一種實(shí)現(xiàn)，下面就介紹安裝的方法。（本次使用的mpich-1.2.7.tar版本的）MPICH1具體配置1安裝MPICH1從/mpi/mpich/index.ht

47、m下載MPICH1安裝包，這里我們下載到/root/mpich1目錄里，并安裝到node1上。rootnode1 mpich1# tar zxvf mpich-1.2.7.tar#解壓mpich-1.2.7.tarrootnode1 mpich1# cd mpich-1.2.7#進(jìn)入到mpich-1.2.7.tar目錄里rootnode1 mpich-1.2.7# mkdir /usr/local/mpich-1.2.7#建立安裝目錄/usr/local/mpich-1.2.7rootnode1 mpich-1.2.7./configure -prefix=/usr/local/mpich-1

48、.2.7| tee configure.log#配置mpich-1.2.7的安裝目錄rootnode1 mpich-1.2.7make | tee make.log#建筑mpich-1.2.7rootnode1 mpich-1.2.7make install | tee install.log#安裝mpich-1.2.72配置MPICH1編輯/etc/profile,在文件的最后新起一行，新建以下一行如下： PATH=/usr/local/mpich-1.2.7/bin:$PATH#增加mpich1的環(huán)境變量rootnode1 mpich-1.2.7#source /etc/profile#使

49、環(huán)境變量立即生效環(huán)境變量設(shè)置完成后，我們需要測(cè)試環(huán)境變量設(shè)置是否成功，用如下命令：rootnode1 mpich-1.2.7# which mpirun/usr/local/mpich-1.2.7/bin/mpirun如果顯示以上信息，表示設(shè)置環(huán)境變量已成功。3測(cè)試MPICH13.1 單節(jié)點(diǎn)測(cè)試rootnode1 mpich-1.2.7cd /usr/local/mpich-1.2.7/examples#進(jìn)到/usr/local/mpich-1.2.7/examplesrootnode1 mpich-1.2.7make#Make一下生成算例，如cpi等執(zhí)行如下命令:rootnode1 mpic

50、h-1.2.7mpirun np 4 cpi 如果你看到如下信息，表示安裝成功:Process 1 on node1Process 2 on node1Process 3 on node1Process 0 on node1pi is approximately 3.1416009869231249, Error is 0.0000083333333318wall clock time = 0.0000003.2 多節(jié)點(diǎn)測(cè)試rootnode1 mpich-1.2.7 vi /usr/local/mpich-1.2.7/share/machines.LINUX#編輯machines.LINUX文

51、件，內(nèi)容如下：# Change this file to contain the machines that you want to use# to run MPI jobs on. The format is one host name per line, with either# hostname# or# hostname:n# where n is the number of processors in an SMP. The hostname should# be the same as the result from the command hostnamenode1 在這里，要加

52、上所有的計(jì)算節(jié)點(diǎn)，本機(jī)為node1，要加入node2、node3等node2rootnode1 mpich-1.2.7 cd /usr/local/mpich-1.2.7/examples#回到/usr/local/mpich-1.2.7/examplesrootnode1 examples# mpirun -np 8 cpi -machinefile#執(zhí)行mpirun -np 8 cpi machinefile，如看到以下信息，說(shuō)明配置正確！Process 2 on node1Process 6 on node1Process 4 on node1Process 0 on node1Proc

53、ess 1 on node2Process 7 on node2Process 5 on node2Process 3 on node2pi is approximately 3.1416009869231249, Error is 0.0000083333333318wall clock time = 0.003906如果你能看到以上信息，說(shuō)明MPICH1配置成功，至此MPICH1服務(wù)配置完成！MPICH2配置我們要讓我們的集群發(fā)揮它的效能就必須讓它能夠執(zhí)行并行程序，而我們要執(zhí)行并行程序就必須使用并行運(yùn)算軟件，MPICH是MPI的一種實(shí)現(xiàn)，下面就介紹安裝的方法。（本次使用的mpich2-1.0.4p1.tar版本的）當(dāng)前的最新版本。MPICH2具體配置1安裝MPICH2從/mpi/mpich/index.htm下載MPICH2安裝包，這里我們下載到/root/mpich2目錄里，并安裝到node1上。rootnode1 mpich2