HPC高性能計算集群實(shí)施指導(dǎo)手冊

1、1、基本系統(tǒng)參數(shù)設(shè)置-11.1、ulimit系統(tǒng)進(jìn)程資源限制-11.2、關(guān)閉 selinux 服務(wù)-11.3、配置本地yum源-12、nis服務(wù)配置-22.1、nis服務(wù)器端的配置-22.2、nis客戶端的配置管理-42.3、nis客戶端的屬性設(shè)置-63、nfs 配置-83.1、nfs軟件包安裝-83.2、編輯nfs服務(wù)器配置文件-83.3、啟動服務(wù)-83.4、在客戶端中掛載nfs服務(wù)器中的共享目錄-94、配置kdump服務(wù)-94.1、kdump 安裝94.2、kdump 配置-104.3、安裝分析轉(zhuǎn)存儲文件所需的rpm包-115、配置 rsyslog 服務(wù)-115.1服務(wù)端配置-115.2、

2、客戶端配置-125.3、日志輪詢月艮務(wù)logrotate-131.基本系統(tǒng)參數(shù)設(shè)置1.1. ulimit系統(tǒng)進(jìn)程資源限制修/etc/security/limits.conf 文件，添加如下內(nèi)容：*sof tmemlockunlimitedhardmemlockunlimited*sof tstackunlimited*hardst ackunlimited1.2關(guān)閉selinux服務(wù)運(yùn)行如下命令修改/etc/selinux/config文件，關(guān)閉selinuxsed -i s/=enable/=disabled/g /etc/selinux/config sed -i s/=enforcing

3、/=disabled/g /etc/selinux/config可以使用以下命令查看selinux服務(wù)狀態(tài)root3nodel # sestatus hselinux status :disabled1.3配置本地yum源上傳對應(yīng)操作系統(tǒng)的iso文件到/public/sourecode目錄將操作系統(tǒng)iso文件掛載到/m nt目錄mount -t iso9660 -o loop /public/sourcecode/xxx.iso /mntroot伽odd /# mount iso9660 loop /pub1ic/sourcecode/centos7x86_64dvd1511iso /mnt創(chuàng)

4、建/public/sourcecode/yum目錄，并將安裝盤內(nèi)容拷貝到這個目錄cp -rp /mnt/packages/* /public/sourcecode/yum»*iijurootnodel /# cp -rp /nmt/* /public/sourcecode/yum創(chuàng)建yum源酉己置文/etc/yum.repo.d/local.repo ,內(nèi)容如下：localname=centos7-loca1baseurl=fi1e:/public/sourcecode/yum enabled=lgpgcheck=o生成yum本地緩存，命令如下:yum makecache2. nis

5、服務(wù)配置2.1. nis服務(wù)器端的配置nis軟件包安裝查看系統(tǒng)中是否已經(jīng)安裝下列三個軟件:ypservnis服務(wù)器軟件，一般默認(rèn)是不安裝的，需要安裝yp-tools 提供對nis服務(wù)器的查詢和管理軟件ypbindnis客戶端需要使用軟件包rpm -qa | grep ayp安裝ypserv前需要利用rpm -qa | grep portmap命令（6.0之后的版本使用rpcbind ）確認(rèn)portmap仲cbind）已經(jīng)安裝。安裝需要利用rpm -ivh進(jìn)行安裝，命令如下：rpm -ivh ypserv-2.13-5.i386.rpm安裝完成之后需要重新確認(rèn)并重啟portmap （rpcbin

6、d ）服務(wù)：/etc/rcd/init.d/portmap restart氣殳置time和time-upd服務(wù)啟動狀態(tài)（針對rhel6.0之前的系統(tǒng)，之后的可以略過）chkconfig -list i grep timeypserv服務(wù)的啟動和運(yùn)行需要time和time-upd兩個服務(wù)支持。在rhel系統(tǒng)中，這兩個服務(wù)默認(rèn)是禁用的，需要利用chkconfig命令啟動，并重啟xinetd服務(wù)設(shè)置生效。chkconfig time on chkconfig time-udp on/etc/rc.d/initd/xinetd restart建立nis域名nisdomainname命令建立臨時域名，但

7、重啟會失效nisdomainname sugoncom可以使用domainname命令查詢當(dāng)前域名。為了使每次重啟之后域名都能生效需要將 nisdomainname命令添加到rc.local文件中，添加完成之后需要查看一下是否添加成功。nisdomainname sugoncomecho '/usr/bin/nisdomainname sugoncomz >> /etc/rc.d/rc.local tail -1 /etc/rc.d/rc.local上述echo的過程最好事先which nisdomainname 下確認(rèn)具體路徑。同時需要將 nisdomainname 二

8、配置項(xiàng)添加到/etc/sy sco nf i g/n etwo r k 文件中，以便nis服務(wù)器主機(jī)能夠進(jìn)行正確的網(wǎng)絡(luò)設(shè)置。echo ynisdomain=sugoncom7 >> /etc/sysconfig/networktail 一1 /etc/sysconfig/network設(shè)置ypserv服務(wù)的配置文件ypserv.conf文件的配置（詳細(xì)方法文件中有注釋）文件作用:ypserv.conf配置文件中可以使用訪問控制列表記錄配置nis服務(wù)器中數(shù)據(jù) 庫庫的訪問控制。文件位置：/etc/ypserv.conf配置格式：主機(jī)記錄:host ip網(wǎng)絡(luò)記錄：子網(wǎng)掩碼網(wǎng)絡(luò)地址注意:沒

9、有設(shè)置的都將被拒絕訪問host host 06securenets安全設(shè)置文件文件作用:secruenets文件用于對nis客戶端主機(jī)的訪問控制，它具有比ypserv.conf配置文件更高的對主機(jī)進(jìn)行訪問控制的級別和效率。文件位置：/var/yp/secruenets如果沒有需要手動創(chuàng)建啟動nis服務(wù)器需要啟動ypserv和yppasswdd ,如果是rhel6.0以后的版本還需要啟動rpcbind/etc/rc.d/init.d/ypserv restart /etc/rcd/initd/yppasswdd restart /etc

10、/rc.d/init.d/rpcbind restart如果需要系統(tǒng)啟動的時候自動啟動”需要使用chkconfig命令手動進(jìn)行設(shè)置chkconfig ypserv onchkconfig yppasswdd on添加用戶,進(jìn)行測試useradd sugonpasswd sugon構(gòu)建nis數(shù)據(jù)庫生成數(shù)據(jù)庫用到兩個shell腳本，腳本的選擇根據(jù)32位還是64位/usr/lib64/yp/ypinit （64 位）/usr/lib/yp/ypinit（32 位）命令如下/usr/lib64/yp/ypinit -h注：當(dāng)nis服務(wù)器主機(jī)中對本地系統(tǒng)用戶賬號、組賬號等信息（文件）更改后,需要使用yp

11、init命令重新構(gòu)建數(shù)據(jù)庫文件的內(nèi)容，否則nis客戶端主機(jī)獲得的信息不會自動更新。2.2> nis客戶端的配置管理nis客戶端需要的軟件包利用rpm -qa | grep ayp確認(rèn)ypbind和yp-tools兩個軟件包已經(jīng)安裝，一般都是默認(rèn)已經(jīng)安裝了。建立nis的域名在nis客戶機(jī)中建立nis域名的操作方法與nis服務(wù)器中完全相同，這里使用另外一 種方法建立這些設(shè)置。setuptext f-k>5e setup jtility 1丄9丄丄(c) 19992006 red hat, incckddso a tddi rhm rpgi srpr systen services<

12、;tab>/<alt-tab> between eluentsuse <enter> to edit r selection選擇 choose a tool authe nticati on con figurationtui r) 1999 jfifis rat hatj t-i<tab>/<alt tab> bctvixsc選中use nis選項(xiàng)，然后切換到next輸入nis域名以及對應(yīng)的ip地址z點(diǎn)擊ok完成之后,點(diǎn)擊next退出。隨后/需要對ypbind重新啟動：（早期版本需要先重啟portmap）service ypbind re

13、start設(shè)置nis服務(wù)開機(jī)自啟動：chkconfig ypbind on設(shè)置完成之后可以使用yptest命令檢測一下，如果有錯誤會爆出failed ,可以根據(jù)提 示進(jìn)行排查，詳見2.3相關(guān)部分。2.3、nis客戶端的屬性設(shè)置該部分相當(dāng)于對前面配置的補(bǔ)充設(shè)置yp.conf配置文件yp.conf是ypbind服務(wù)程序的配置文件，使用echo 'domain域名server服務(wù)端主機(jī)名>> /etc/yp.conf即可進(jìn)行配置， 并進(jìn)行查詢”命令如下：echo 'domain server nodelz >> /etc/yp.conftail -1 /etc

14、/yp.conf設(shè)置 nsswitch.conf 文件文件位置：/etc/nsswitch.conf文件說明：nsswitch.conf文件中相關(guān)設(shè)置項(xiàng)不代表系統(tǒng)中的文件或命令，而是代表相 關(guān)信息的查詢，具體含義如下：passwd表示用戶賬戶信息的查詢shadow表示用戶口令信息的查詢group 表示用戶組賬戶信息的查詢hosts 表示主機(jī)名信息的查詢文件中列岀的各項(xiàng)之后有files字段，該字段之后如果輸入nis，則表示優(yōu)先使用本地文 件，然后使用nis服務(wù)器獲取信息。具體參數(shù)可參見文件中注釋說明。使用nis客戶端測試與nis服務(wù)器的連接yp-tools軟件包提供了 yptest、ypwhic

15、h和ypcat共3個命令工具，用于nis客戶端測試與nis服務(wù)器的連接。所有測試命令都通過nis客戶端中的ypbind服務(wù)程序?qū)is 服務(wù)進(jìn)行查詢。yptest基本的nis服務(wù)器測試命令命令作用：對nis服務(wù)器域名、主機(jī)、數(shù)據(jù)庫及其內(nèi)容進(jìn)行測試，并顯示測試結(jié)果。# yptesttest 1: domainnmmeconfigured domainname is nvbirdnisntest 2: ypbindused nis server: master.vbirdnistest 3: yp_matchwarning: no such key in map (map passwd.bynam

16、e, key nobody).中間省略.test 8: yp_maplisthosts.bynamegroup.bynamepasswd.byuidgroup.bygidpasswd.bynamehosts.byaddr中間省略test 9: yp_all中間省略1 tests failed第三步的錯誤可以忽略，在passwd.byname當(dāng)中找不到nobody的字樣，這是因?yàn)樵缙诘膎obody的uid都設(shè)定再65534但rhel4之后將nobody設(shè)定位系統(tǒng)賬號的99 ,所以不會被記錄,也就出現(xiàn)這一個警告。ypwhich命令作用：顯示nis客戶端所使用的nis服務(wù)器的主機(jī)名稱，當(dāng)使用命令選項(xiàng)

17、時會顯示nis服務(wù)器使用的數(shù)據(jù)庫和映射文件的名稱。ypcat命令作用：添加"x"命令會與ypwhich顯示相同的查詢信息，但當(dāng)使用數(shù)據(jù)庫名作 為ypcat命令參數(shù)時，該命令將顯示指定數(shù)據(jù)庫的內(nèi)容。ypcat -xypcat group.bynamenis客戶端用戶登陸nis客戶端主機(jī)中測試與nis服務(wù)器鏈接成功后,可嘗試使用nis服務(wù)器的用戶賬戶 登陸nis客戶端，當(dāng)?shù)顷懞?，屏幕會提示沒有找到用戶宿主目錄的信息，這是由于nis客 戶端本地文件系統(tǒng)中沒有在/home目錄下建立用戶宿主目錄。nis常用命令ypppasswd :與passwd命令相同，但需要nis服務(wù)器端yppa

18、sswd服務(wù)必須啟動。ypchfn :與chfn相同功能,改變finger信息ypchsh :與chsh相同功能，改變用戶登陸的shell3. nfs配置3.1> nfs軟件包安裝搭建nfs之前需要確認(rèn)rpcbind和nfsutils是否已經(jīng)安裝，利用rpm -q rpcbind nfs-utils命令進(jìn)行查詢。3.2.編輯nfs服務(wù)器配置文件:/etc/exports/public *(rw,no_root_squash,no_subtree_check, async)3.3、啟動服務(wù)exports文件配置后r需要重新啟動rpcbind （舊版本portmap ）和nfs服務(wù)。serv

19、ice rpcbind startservice nfs start或者確保開機(jī)自啟動利用chkconfig ,成功后利用showmount命令查看showmount -e localhost3.4.在客戶端中掛載nfs服務(wù)器中的共享目錄在root模式下查看一下nfs文件服務(wù)器是否可用showmount -e nodel然后用mount命令將nfs共享的目錄/public掛載到客戶端宿主目錄/public下mount -t nfs inodel:/public /public掛載完成之后，可以在nfs服務(wù)器上使用showmount -a查看掛載的主機(jī)如果需要開機(jī)自啟動，則可以在/etc/rc.

20、d/rc.local文件中將上述命令加入即可。4、酉kdump服務(wù)kdump是一種有效的內(nèi)存轉(zhuǎn)儲工具,啟用kdump后,生產(chǎn)內(nèi)核將會保留一部分內(nèi)存 空間，用于在內(nèi)核崩潰時通過kexec快速啟動到新的內(nèi)核，這個過程不需要重啟系統(tǒng)，因 此可以轉(zhuǎn)儲崩潰的生產(chǎn)內(nèi)核的內(nèi)存鏡像。當(dāng)系統(tǒng)內(nèi)存崩潰時，生成的內(nèi)存轉(zhuǎn)存儲文件有助于分析系統(tǒng)在崩潰前發(fā)生了什么，查找 原因并修復(fù)錯誤，進(jìn)而改進(jìn)系統(tǒng)的穩(wěn)定性。4.1> kdump 安裝查看kdump是否安裝，命令如下:rpm -qa|grep rrkexec-tools"rootnodel # rpm -qalgrep "kexec-tools&

21、quot; kexec-tools-2.0.7-38.e!7_2.1.x86_64若未安裝，則可以使用在安裝光盤中kexec-tools的rpm包進(jìn)行安裝,命令如下:rpm -ivh kexec-tools.xxx.rpm若配置本地yum源，則可以使用如下命令進(jìn)行安裝:yum install -y kexec-tools4.2> kdump 配置指定轉(zhuǎn)存儲文件所使用內(nèi)存的大小修改/etc/default/grub 文件，在 grub_cmdline_linux 行添加 crashkernel=autoroot®nodel # cat /etc/default/grubgrub_

22、timeout=5grub_distributor="$(sed 's, release 叮八g /etc/system-release)"grub_default=savedgrub_disable_submenu=truegrub_terminaloutput=f,consol eugrub_cmdline_linux="vconsolekeymap=us lashkervconsolefont=latarcyrheb-sunl6 rhgb console=tt yso console=ttyo intel_i dle.max_cstate=o&quo

23、t;grub_disable_recove ry="true"執(zhí)行以下命令，重新生成啟動菜單:grub2-mkconfig -o /boot/grub2/grub.cfg重啟系統(tǒng)使配置生效配置/etc/kdump.conf,取消以下三行的注釋，并將default值改為reboot#轉(zhuǎn)存儲文件路徑path /var/crash#此行設(shè)置保存內(nèi)存鏡像內(nèi)容的級別，-c表示使用makedumpfile壓縮數(shù)據(jù)， -message-level 1表示提示信息的級別(1表示只顯示進(jìn)度信息)d 31表示不復(fù)制所 有可以去掉的內(nèi)存頁(包括 zero page cache page, cac

24、he private, user data, free page 等)core_collector makedumpfile -1 -messageevel 1 d 31#此行表示如果kdump轉(zhuǎn)儲內(nèi)存鏡像失敗后的執(zhí)行的動作，默認(rèn)為掛載根文件系統(tǒng)并執(zhí) 行/sbin/init 進(jìn)程，可以更改為：reboot., halt power off, shell 等。default reboot修改s/etc/kdump.conf文件內(nèi)容如下：#raw /dev/vg/1v.kdump#ext4 /dev/vg/1v_kdump#ext4 label=/boot#ext4 uuid=03138356-5

25、e61-4ab3-b58e-27507ac41937#nfs :/export/tmp#ssh user尹shkey /root/.ssh/kdumpidcsabath /var/crashcore_coll£ctor 咱灼馳叩鬥2 -1 -messaqetevel 1 -d 31 #core coi lector scp#kdump_post /var/crash/scripts/kdump-post.sh#kdump_pre /var/crash/scripts/kdump-pre.sh#extra_bins /usr/bin/iftp#extra_modules qfs2def

26、ault reboot#torce_rebuiid 1#dracut_args -omit-drivers hcfg80211 sndh -add-drivers hext2 ext3h #fence_kdump_args -p 7410 -f auto -c 0 -i 10#fence_kdump_nodes nodel node2-io-啟動kdump服務(wù)systemctl start kdump查看kdump服務(wù)運(yùn)行狀態(tài) systemctl status kdump設(shè)置kdump m自動啟動 systemctl enable kdump43、安裝分析轉(zhuǎn)存儲文件所需的rpm包查看系統(tǒng)內(nèi)核版

27、本root©nodel j# uname -r3.10.0-123.20.1.e!7.x86_64安裝與內(nèi)核版本一致的 kernel-debuginfo-common 與 kernel-debuginfo 的 rpm 包推薦網(wǎng)站：5.酉bb rsyslog 服務(wù)centos/redhat 6開始系統(tǒng)日志服務(wù)默認(rèn)采用rsyslog取代syslog。建議將集群各節(jié)點(diǎn)系統(tǒng)日志messages統(tǒng)一存放在管理節(jié)點(diǎn)的/var/log/remotelogs目錄，以"hostnamemessages"命名，便于日志文件的統(tǒng)一管理。5.1服務(wù)端配置一般將集群的管理節(jié)點(diǎn)配置為rsys

28、log的服務(wù)端修改rsyslog服務(wù)啟動參數(shù)配置文件/etc/sysconfig/rsyslog ,內(nèi)容如下：syslogd_options=w-c 2 -r514 -x ”since rsyslog v3. to compatibility smode2by r-c 2rr# # #sd n gu o o o11 y t s pyf o s i sge o r i a y s s n r or de oe lhl d c.l e t a - t i t x 3 we- c sd e 4 r j e 1 pm r 5 e e o r dh m 一r 2 e osf y 0 8 = t (s d

29、 n r t t go o pn o i r o a 1 t w s pyo s修改/etc/rsyslog.conf文件，內(nèi)容如下：配置日志傳輸協(xié)議與端口可以采用upd或tcp協(xié)議進(jìn)行傳輸,默認(rèn)端口號為514確認(rèn)協(xié)議后，可將配置文件中對應(yīng)行的注釋取消# provides udp syslog reception #jmodload ilnudp fsudpseryerrun 514# provides tcp syslog reception imodload imtcp jlnputtcpserverrun 514在global directives行下方添加自定義日志模板template

30、 remotelogs ,/var/log/remotelogs/%hostname%-messages11*infomailnoneauthprivnonecronnone?remotelogs&# global directives #itempl ate remotelogs, 'vvar/l og/remotelogs/%hostname%-messages1 r.i nfo,mai1.none,authpriv.none,cron.none?remotelogs配置完成后，會將除了郵件服務(wù)內(nèi)容、認(rèn)證服務(wù)內(nèi)容與定時任務(wù)服務(wù)內(nèi)容外的信息傳送 到管理節(jié)點(diǎn)的/var/log/remotelogs目錄下，并以"hostnamemessages"格式命名。52、客戶端配置將集群其余節(jié)點(diǎn)配置為rsyslog的客戶端,修改/etc/rsyslog.conf文件，內(nèi)容如下：注釋 *.info;mail.none;authpriv.none;cron.none/var/log/messages 彳亍# log