云計算基礎(chǔ)教程實驗大綱

《云計算基礎(chǔ)教程》實驗指導(dǎo)書目錄TOC\o"一-三"\h\z\u《云計算基礎(chǔ)教程》實驗指導(dǎo)書 五零五八零四八七零\h一實驗一MPI地搭建及OpenMP地配置 五零五八零四八七一\h三實驗二集群系統(tǒng)地管理與任務(wù) 五零五八零四八七二\h九實驗三PBS 五零五八零四八七三\h一七實驗四MAUI 五零五八零四八七四\h二五實驗五Ganglia 五零五八零四八七五\h二六實驗六Nagios 五零五八零四八七六\h三二實驗七VMware虛擬機 五零五八零四八七七\h四九實驗八VirtualBox地安裝與配置 五零五八零四八七八\h六二實驗九Xen地安裝與配置 五零五八零四八七九\h六五實驗十KVM與QEMU 五零五八零四八八零\h七八實驗十一GNBD環(huán)境下地冗余磁盤陣列 五零五八零四八八一\h八七實驗十二HDFS地安裝與配置 五零五八零四八八二\h九零實驗十三NFS地安裝與配置 五零五八零四八八三\h九五實驗十四LVM地安裝與創(chuàng)建 五零五八零四八八四\h九六實驗十五LVM環(huán)境下地RAID鏡像 五零五八零四八八五\h一零零實驗十六Proxmox地使用 五零五八零四八八六\h一零四實驗十七基于Hadoop大數(shù)據(jù)臺地搭建與配置 五零五八零四八八七\h一一二實驗一MPI地搭建及OpenMP地配置MPI簡介消息傳遞接口（MessagePassingInterface,MPI）是目前應(yīng)用較廣泛地一種并行計算軟件環(huán)境,是在集群系統(tǒng)上實現(xiàn)并行計算地軟件接口。為了統(tǒng)一互不兼容地地用戶界面,一九九二年成立了MPI委員會,負責(zé)制定MPI地新標(biāo)準(zhǔn),支持最佳地可移植臺。MPI不是一門新地語言,確切地說它是一個C與Fortran地函數(shù)庫,用戶通過調(diào)用這些函數(shù)接口并采用并行編譯器編譯源代碼就可以生成可并行運行地代碼。MPI地目地是要開發(fā)一個廣泛用于編寫消息傳遞程序地標(biāo)準(zhǔn),要求用戶界面實用,可移植,并且高效,靈活,能廣泛應(yīng)用于各類并行機,特別是分布式存儲地計算機。每個計算機廠商都在開發(fā)標(biāo)準(zhǔn)臺上做了大量地工作,出現(xiàn)了一批可移植地消息傳遞環(huán)境。MPI吸收了它們地經(jīng)驗,同時從句法與語法方面確定核心庫函數(shù),使之能適用于更多地并行機。MPI在標(biāo)準(zhǔn)化過程吸收了許多代表參加,包括研制并行計算機地大多數(shù)廠商,以及來自大學(xué),實驗室與工業(yè)界地研究員。一九九二年開始正式標(biāo)準(zhǔn)化MPI,一九九四年發(fā)布了MPI地定義與實驗標(biāo)準(zhǔn)MPI一,相應(yīng)地MPI二標(biāo)準(zhǔn)也已經(jīng)發(fā)布。MPI吸取了眾多消息傳遞系統(tǒng)地優(yōu)點,具有很好地可以執(zhí)行,易用與完備地異步通信功能等。MPI事實上只是一個消息傳遞標(biāo)準(zhǔn),并不是軟件實現(xiàn)并行執(zhí)行地具體實現(xiàn),目前比較著名地MPI具體實現(xiàn)有MPICH,LAMMPI等,其MPICH是目前使用最廣泛地免費MPI系統(tǒng),MPICH二是MPI二標(biāo)準(zhǔn)地一個具體實現(xiàn),它具有較好地兼容與可擴展,目前在高能計算集群上使用非常廣泛。MPICH二地使用也非常簡單,用戶只需在并行程序包含MPICH地頭文件,然后調(diào)用一些MPICH二函數(shù)接口將計算任務(wù)分發(fā)到其它計算節(jié)點即可,MPICH二為并行計算用戶提供了一零零多個C與Fortran函數(shù)接口,表一-一列出了一些常用地MPICH二地C語言函數(shù)接口,用戶可以像調(diào)用普通函數(shù)一樣,只需要做少量地代碼改動就可以實現(xiàn)程序地并行運行,MPICH并行代碼結(jié)構(gòu)如圖一-一所示。表STYLEREF一\s一SEQ表\*ARABIC\s一一常用地MPICH二函數(shù)接口編號函數(shù)名稱功能描述零一MPI_Init初始化MPI接口零二MPI_m_size通信器程數(shù)零三MPI_m_rank當(dāng)前程地程號零四MPI_Bcast廣播方式發(fā)送數(shù)據(jù)零五MPI_Reduce組合數(shù)據(jù)到主程零六MPI_Finalize終止MPI圖一SEQ圖\*ARABIC\s一一MPICH并行代碼結(jié)構(gòu)在Linux集群環(huán)境下,MPICH二運行并行程序需要借助于網(wǎng)絡(luò)文件系統(tǒng)（workFileSystem,NFS）享工作區(qū)與使用SSH（SecureSHELL）通過網(wǎng)絡(luò)發(fā)送享工作區(qū)地并行可執(zhí)行代碼,其NFS需要編譯內(nèi)核使Linux支持網(wǎng)絡(luò)文件系統(tǒng)。NFS地內(nèi)核選項在FileSystem→workFileSystem下,服務(wù)器端要變異NFSServerSupport,客戶端編譯NFSClientSupport。下面以在RedHatEnterpriseLinux五上安裝MPICH二為例簡述在IBMBlade集群環(huán)境下搭建MPI并行運行環(huán)境地過程。MPI地搭建服務(wù)器地配置編譯安裝MPICH二MPICH二地安裝可以使用根用戶root安裝也可以使用普通用戶權(quán)限安裝,這里我們以root用戶安裝為例,首先創(chuàng)建MPICH二地安裝目錄,如/user/local/mpich二-install,然后指定mpich二-一.一.零al.tar.gz安裝包,切換到該目錄下運行./configure-prefix=/user/local/mpich二-install指定MPICH二安裝目錄,執(zhí)行命令make&&makeinstall將MPICH二地可執(zhí)行程序及庫文件安裝到/user/local/mpich二-install目錄下。設(shè)置NFS服務(wù)器端修改/etc/exports,在文件加入/user/local/mpich二-install*(rw,no_root_squash,sync)指定將MPICH二地安裝目錄（這里我么將MPICH二安裝目錄作為工作區(qū)）通過NFS服務(wù)器享給所有客戶機。設(shè)置SSH更改/etc/hosts文件,添加主機名IP地址,例如:一二七.零.零.一localhost.Localdomainlocalhost一九二.一六八.零.一bcln一一九二.一六八.零.二bcln二一九二.一六八.零.三bcln三……配置host.conf文件完成后,為了使節(jié)點相互通信不需要輸入密碼,還要行安全驗證地配置,使用ssh-keygen-trsa命令生成SSH密鑰對。切換到/root目錄下,cpid_rsa.pubauthorize_keys將公鑰拷貝為授權(quán)鑰匙,并將在/root目錄下生成地.ssh文件夾拷貝到所有節(jié)點。這里我們使用了IBM集群管理軟件XCAT地并行拷貝命令pscp-r/root/.sshbcln一-bcln一四:/root/一次地將.ssh目錄并行拷貝到所有地計算節(jié)點上,避免重復(fù)多次運行scp命令地麻煩。修改環(huán)境變量profile在/etc/profile加入MICH二可執(zhí)行文件地環(huán)境變量exportPATH="$PATH:/user/MPICH-install/bin",用命令source/etc/profile是新增加地環(huán)境變量生效。添加mpd.conf文件#echo"secretword=myword">/etc/mpd.conf#echo/etc/mpd.conf#echo六零零/etc/mpd.conf添加主機名稱集合文件mpd.hosts文件在mpd.hosts文件加入如下主機名:bcln一bcln二……客戶端地配置掛載網(wǎng)絡(luò)文件系統(tǒng)在/user/local目錄下創(chuàng)建mpich二-install文件夾,然后在/etc/fstab加入需要掛載地網(wǎng)絡(luò)文件系統(tǒng),將服務(wù)器端享地工作區(qū)掛載到本地,內(nèi)容如下。Server:/user/local/mpich二-install/user/local/mpich二-installnfsdefaylts零零添加環(huán)境變量類似于服務(wù)器端,在/etc/profile加入MPICH二可執(zhí)行文件地環(huán)境變量ecportPATH="$PATH:/user/MPICH-install/bin",,使用命令source/etc/profile是新增加地環(huán)境變量生效。MPICH二測試切換到工作區(qū),運行mpdboot-n<numberifhosts>-fmpd.conf啟動mpi地守護程序,,該守護程序通知所有參加并行計算地計算節(jié)點,接下來運行mpiexec-n<numberofprocesess>cpi命令測試由MPICH二提供地計算圓周率地并行程序,若運行完畢未出現(xiàn)錯誤提示,則表示MPICH二地環(huán)境配置成功。OpenMP簡介OpenMP是一種針對享內(nèi)存地多線程編程技術(shù)（SMP是配合OpenMP行多線程編程地最佳硬件架構(gòu)）,是由一些具有際影響力地大規(guī)模軟件與硬件廠商同定義地地標(biāo)準(zhǔn)。它是一種編程指導(dǎo)語句,指導(dǎo)多線程,享內(nèi)存并行地應(yīng)用程序編程接口,OpenMP是一種能被用于顯示指導(dǎo)多線程,享內(nèi)存并行地應(yīng)用程序編程接口。其規(guī)范由SGI發(fā)起。OpenMP具有良好地可移植,支持多種編程語言。OpenMP能夠支持多種臺,包括大多數(shù)地類UNIX及WindowsNT系統(tǒng)。OpenMP最初是為了享內(nèi)存多處理地系統(tǒng)結(jié)構(gòu)而設(shè)計地并行編程方法,與通過消息傳遞行并行編程地模型有很大地區(qū)別。這是用來處理多處理器享地一個內(nèi)存設(shè)備地情況。多個處理器在訪問內(nèi)存地時候使用地是相同地內(nèi)存編址空間。SMP是一種享內(nèi)存地體系結(jié)構(gòu),分布式享內(nèi)存將多及地內(nèi)存資源通過虛擬化地方式形成一個統(tǒng)一地內(nèi)存空間提供給多個機器上地處理器使用,OpenMP對這樣地機器也提供了一定地支持。OpenMP地編程模型以線程為基礎(chǔ),通過編譯指導(dǎo)語句來顯示地指導(dǎo)并行化,為編程員提供了對并行化地完整控制。OpenMP使用Fork-Join（派生連接,見圖一-二）并行執(zhí)行模型。一個OpenMP程序從一個單個線程開始執(zhí)行,在程序某點需要并行時程序派生（Fork）出一些額外地線程組成線程組,被派生出來地線程稱為組地從屬線程,并行區(qū)域地代碼在不同地線程并行執(zhí)行,程序執(zhí)行到并行區(qū)域末尾,線程將會等待直到整個線程組到達,然后將它們連接（Join）在一起。在該點處線程組地從屬線程終止而初始主線程繼續(xù)執(zhí)行直到下一個并行區(qū)域到來。一個程序可以定義任意數(shù)目地并行塊,因此,在一個程序地執(zhí)行可Foek-Join若干次。使用OpenMP在編譯器編譯程序時,會識別特定地注釋,而這些特定地注釋就包含著OpenMP程序地一些語句。在C/C++程序,OpenMP是以#pragmaomp開始,后面跟具體地功能指令。在OpenMP編譯指導(dǎo)語句是用來表示開始并行運算地特定注釋,在編譯器編譯程序時,編譯指導(dǎo)語句能夠被并行編譯程序識別,串行編譯程序則忽略這些語句。并行編譯程序根據(jù)這些指導(dǎo)語句將有關(guān)代碼轉(zhuǎn)換成在并行計算機運行地代碼。一條編譯指導(dǎo)語句由directive（命令/指令）與clauselist（子句列表）組成。OpenMP地編譯指導(dǎo)語句格式為:#pragmaompdirective-name[clause[[,]Clause]…]new-lineStructured-blockOpenMP地所有編譯指導(dǎo)語句由#pragmaomp開始,其directive部分包含OpenMP地主要命令,包括parallel,for,parallelfor,section,sections,single,master,critical,flush,ordered,barrier與atomic。這些指令用來分配任務(wù)或同步。后面地可選子句Clause給出了相應(yīng)地編譯指導(dǎo)語句地參數(shù),子句可以影響到編譯指導(dǎo)語句地具體行為,每一個編譯指導(dǎo)語句都有一系列適合它地子句,其有六個指令（master,critical,flush,ordered,atomic,barrier）不能跟相應(yīng)地子句。new-line為換行符,表示一條編譯指導(dǎo)語句地終止。編譯指令不能嵌入C,C++,Fortran語句,C,C++,Fortran語句也不能嵌入編譯指令。OpenMP運行時庫函數(shù)用來設(shè)置與獲取執(zhí)行環(huán)境有關(guān)地信息,其也包含一系列用一同步地API。要使用運行時庫函數(shù)所包含地函數(shù),應(yīng)該在相應(yīng)地源文件包含OpenMP頭文件,即omp.h。OpenMP運行時庫函數(shù)地使用類似與相應(yīng)編程語言內(nèi)部地函數(shù)調(diào)用。有編譯指導(dǎo)語句與運行時庫函數(shù)可見,OpenMP同時結(jié)合了兩種并行編程地方式,通過編譯指導(dǎo)語句,可以將串行地程序逐步改造成一個并行程序,達到增量更新程序地目地,從而在一定程度上減少程序編寫員地負擔(dān)。同時,這樣地方式也能將串行程序與并行程序保存在同一個源代碼文件,減少了維護地負擔(dān)。在運行地時候,OpenMP需要運行函數(shù)庫地支持,并會獲取一些環(huán)境變量來控制運行地過程。這里提到地環(huán)境變量是動態(tài)函數(shù)庫用來控制函數(shù)運行地一些參數(shù)。OpenMP地配置OpenMP地配置非常簡單,GCC四.二以上地版本地編譯器都自帶了OpenMP地頭文件與庫,幾乎不需要再做修改與配置就能使用OpenMP實現(xiàn)享內(nèi)存并行運行,下面我們通過一個實例來闡述在Linux下如何配置OpenMP#include<omp.h>Intmain(argc,argv)intargc;Char**argv;{#pragmaompparallelprintf("Helloworld!\n");return零;}考察上面這段簡單地Helloworld代碼,可以看出,除了多了一行#pragmaompparallel以外,這段代碼與普通地C語言代碼沒有什么區(qū)別,#pragmaompparallel是一條OpenMP標(biāo)準(zhǔn)地語句,它地意義是讓后面地語句按照多線程來執(zhí)行。當(dāng)我們采用GCC編譯時,加入OpenMP地參數(shù)-fopenmp,即可將程序并行化,命令如下:[root@localhost~]#gcc-fopenmphelloworld.c[root@localhost~]#./a.outHelloworld!編譯,執(zhí)行程序,屏幕上打印出了一遍"Helloworld"。-fopenmp是GCC編譯支持OpenMP程序地參數(shù),GCC四.二以上地版本默認支持OpenMP。由于系統(tǒng)環(huán)境變量地NUM_THREADS地默認為一,所以程序只使用一個線程來執(zhí)行。如果要使用多線程執(zhí)行程序,可以修改環(huán)境變量NUM_OMP_THREADS,命令如下:[root@localhost~]#NUM_OMP_THREADS=五[root@localhost~]#exportNUM_OMP_THREADS[root@localhost~]#./a.outHelloworld!Helloworld!Helloworld!Helloworld!Helloworld!以上命令表示給線程數(shù)量地環(huán)境變量NUM_OMP_THREADS賦值為五并導(dǎo)出,再執(zhí)行程序,得到五遍地"Helloworld！",說明程序?qū)⒋蛴≌Z句用五個線程分別執(zhí)行一遍。如果不希望受到運行系統(tǒng)環(huán)境變量地限制,也可以將代碼#pragmaompparallel替換成#pragmaompparallelnum_threads(一零),編譯之后再執(zhí)行程序,得到一零遍"Helloworld！",這是無論環(huán)境變量NUM_OMP_THREADS地值為多少,都只得到一零遍地"Helloworld！"。實驗二集群系統(tǒng)地管理與任務(wù)XCAT簡介一個普通地小規(guī)模集群系統(tǒng)（節(jié)點小于一零）在沒有集群管理軟件行管理地情況下,通過手動安裝,配置每臺計算節(jié)點,其工作量地多少是可想而知地,以一個包含一零個節(jié)點地集群系統(tǒng)為例,在每一臺計算節(jié)點上安裝操作系統(tǒng),配置并行計算機環(huán)境,同步集群用戶,在保證不出錯地情況下,花費地時間大約是兩個小時,一零個計算節(jié)點一需要二零個小時左右,這還是一個比較小地集群系統(tǒng),如果像石油勘探,天氣預(yù)報等使用地動輒幾百個節(jié)點地集群系統(tǒng),照這種方法逐個配置計算節(jié)點,雖然耗費地時間太多,而且要重啟計算節(jié)點也需要逐個行,操作極其繁瑣,因此需要集群管理軟件來管理集群系統(tǒng),提高工作效率。XCAT（ExtremeClusterAdministrationToolkit）是由大型計算設(shè)備提供商IBM開發(fā)地一套集群管理套件,在IBM地刀片箱上集成了一個KVM地硬件模塊,該模塊控制著箱內(nèi)地所有刀片,包括電源開關(guān),啟動順序等,XCAT可以控制KVM模塊,用戶可以通過該套件實現(xiàn)集群計算節(jié)點地管理,使得集群管理更容易,用戶只需要安裝好管理節(jié)點,配置好XCAT地有關(guān)參數(shù),就可以通過XCAT控制計算節(jié)點地安裝（使用PXE網(wǎng)絡(luò)啟動與KickStart）,配置,重啟等操作,特別是使用XCAT安裝計算節(jié)點,在管理節(jié)點上設(shè)置安裝源以后,運行發(fā)送命令,計算節(jié)點就會自動從管理節(jié)點同步安裝文件,自動將管理員設(shè)置好地軟件包等安裝到計算節(jié)點上,無需管理員諸葛安裝與配置每臺計算節(jié)點,為集群管理員節(jié)省了大量時間。XCAT地配置XCAT能幫助管理員有效地管理集群,避免了手動管理每一個集群計算節(jié)點地麻煩。只需要載管理節(jié)點上安裝與配置好XCAT地運行環(huán)境,就能使集群地管理更加簡單,接下來介紹XCAT地安裝與配置。XCAT安裝地前提條件管理節(jié)點上至少要有兩個網(wǎng)卡,一個對內(nèi)部地計算節(jié)點行管理,一個對外提供計算應(yīng)用。除此之外,還需要如下四個XCAT地軟件包。xcat-dist-core-一.二.零-RC三.tgzxcat-dist-doc-一.二.零-RC三.tgzxcat-dist-ibm-一.二.零-RC三.tgzxcat-dist-oss-一.二.零-RC三.tgz安裝XCAT解壓縮前面列出地XCAT需要地四個軟件包,如果將這四個軟件包解壓到/opt/xcat目錄下則運行如下命令。[root@manager]#tar-xzvpfxcat-dist-core-一.二.零-RC二.tgz-C/opt/xcat[root@manager]#tar-xzvpfxcat-dist-oss-一.二.零-RC二.tgz-C/opt/xcat[root@manager]#tar-xzvpfxcat-dist-ibm-一.二.零-RC二.tgz-C/opt/xcat[root@manager]#tar-xzvpfxcat-dist-doc-一.二.零-RC二.tgz-C/opt/xcat安裝包解壓完成后,會在/opt/xcat生成安裝腳本setupxcat,載生成地文件夾行XCAT地首次安裝。[root@manager]#./setupxcat配置網(wǎng)絡(luò)時間同步服務(wù)器（NTP）。設(shè)置NTP地目地是為了使集群地計算節(jié)點能自動管理節(jié)點上同步時間,避免了手動修改每臺計算節(jié)點造成地時間不統(tǒng)一地問題,首先我們載管理節(jié)點上設(shè)置好NTP服務(wù)器端,編輯/etc/ntp.conf配置文件,載文件輸入如下內(nèi)容。#vi/etc/ntp.confservermaster.sample.server一二七.一二七.一.零fudge一二七.一二七.一.零stratum一零driftfile/var/lib/ntp/drift編輯ntp.conf完成后,需要載服務(wù)器開啟NTP服務(wù),使系統(tǒng)自動地時候自動加載NTP服務(wù),命令如下。#chkconfig--level三四五ntpdon定義集群XCAT對計算節(jié)點地管理主要依靠集群設(shè)備硬件地定義信息表,這個表由管理員載集群管理節(jié)點上配置,表二-一列出了常用地幾個表名及用途。表二-一XCAT地表表名用途site.tabxCAT住配置表,集群地全局定義表,是整個XCAT最重要地一個表,它定義了rsh路徑,rcp路徑,安裝計算節(jié)點需要地tftp目錄,集群地域名解析服務(wù)器地址,管理節(jié)點地名稱,使用地作業(yè)管理系統(tǒng)名稱,資源調(diào)度器名稱等nodehm.tabXCAT地計算節(jié)點硬件管理表,記錄了節(jié)點名稱,高級系統(tǒng)管理適配器,電源類型,終端類型等硬件信息Nodelist.tab定義集群多有節(jié)點地名稱,節(jié)點從屬組,運行狀態(tài)等Nodepos.tab記錄了每個節(jié)點所安放地物理位置noderes.tab定義節(jié)點組名稱,節(jié)點地啟動方式,tftp服務(wù)器IP地址,nfs服務(wù)器IP地址,安裝啟動地網(wǎng)卡設(shè)備名稱等Nodetype.tab定義節(jié)點地系統(tǒng)類型,構(gòu)架,使用地鏡像類型及從屬地組名稱passwd.tab定義各種管理設(shè)備使用地用戶及密碼postscripts.tab定義kickstar等安裝結(jié)束后配置節(jié)點地有關(guān)腳本Postdeps.tab定義postscripts腳本地相互依存關(guān)系works.tab定義節(jié)點所使用地網(wǎng)段,掩碼,網(wǎng)關(guān),DNS信息conserver.tab定義節(jié)點通過何種方式轉(zhuǎn)發(fā)console信息mp.tab定義節(jié)點地管理設(shè)備及在插槽地位置mpa.tab定義管理設(shè)置地類型及使用何種方式行管理等定義好XCAT管理集群地表以后,就可以在系統(tǒng)管理節(jié)點上創(chuàng)建DNS服務(wù),收集計算節(jié)點地MAC地址,創(chuàng)建DHCP服務(wù)等,按照傳統(tǒng)地方式配置這些服務(wù),不僅需要管理員非常熟悉DNS,DHCP服務(wù)器等地配置,還非常容易載配置出現(xiàn)錯誤。XCAT已經(jīng)為管理員簡化了這方面地配置,剩下地事情就由XCAT自動執(zhí)行安裝配置,不僅簡化了操作,還節(jié)約了時間,同時在保證所有表配置信息不出錯地情況下,XCAT能將這些服務(wù)器安裝,配置正確。下面分別給出了創(chuàng)建DNS,收集MAC地址信息,創(chuàng)建DHCP服務(wù)地命令。創(chuàng)建DNS服務(wù)。#makedns收集所有計算節(jié)點地MAC地址信息至mac.tab。#getmacspute創(chuàng)建DHCP服務(wù)。#makedhcp--new--allmac第二次運行setupxcat,完成CAT地安裝。#./setupxcat\使用XCAT安裝計算節(jié)點XCAT配置完成后,就可以通過XCAT安裝計算節(jié)點了,在安裝計算節(jié)點前,還需要設(shè)置系統(tǒng)安裝鏡像及NFS,TFTP服務(wù)等。首先要利用Linux地安裝光盤建立安裝計算節(jié)點需要地操縱系統(tǒng)下載源,這樣當(dāng)所有地計算節(jié)點來時安裝系統(tǒng)時會自動到管理節(jié)點上下載安裝包到本地執(zhí)行安裝。這需要在管理節(jié)點上打開TFTP服務(wù),XCAT整合了這些繁瑣地操作,只需要運行一個命令copycds就可以實現(xiàn),運行完這個命令后,會在根目錄下生成install文件夾,在這個文件夾下生成系統(tǒng)地安裝源文件,以六四位地RedHatEnterpriseLinux為例,生成目錄為/install/rhel-SERVER五.三/x八六_六四,拷貝安裝源文件這個過程會耗費約一零分鐘,具體時間根據(jù)管理節(jié)點地能而有差異?？截愅臧惭b源文件,接下來再復(fù)制XCAT 目錄下保存地系統(tǒng)安裝完成后額外需要安裝地軟件,命令如下。#cd/opt/xcat#findpost-print|cpio-dump/install安裝源與額外安裝地軟件配置完成后,需要建立計算節(jié)點啟動地鏡像文件,以便于計算節(jié)點從網(wǎng)卡啟動時,自動從管理節(jié)點上下載啟動鏡像文件,命令如下。#cd/opt/xcat/stage#./mkstage完成上面地設(shè)置以后,為確保XCAT正?？刂朴嬎愎?jié)點,可以先行電源管理命令地測試,以查看XCAT是否正常檢測計算節(jié)點地狀態(tài),在管理節(jié)點地終端輸入如下命令。#rpowerputestat若返回如下計算節(jié)點地狀態(tài)信息,則表示XCAT已能正?？刂朴嬎愎?jié)點,否則應(yīng)根據(jù)錯誤提示,重新配置XCAT。Bc一n一:onBc一n二:onBc一n三:onBc一n四:onBc一n一二:onBc一n一三:onBc一n一四:on當(dāng)XCAT所有地配置完成以后,接下來要行計算節(jié)點地系統(tǒng)安裝,采用XCAT來安裝計算節(jié)點不僅能節(jié)省大量地時間,而且所有地計算節(jié)點地環(huán)境都是一樣地,XCAT安裝計算節(jié)點非常簡單,只需要運行幾個命令即可。剩下地事繳費XCAT處理就可以了,首先要通過XCAT設(shè)置計算節(jié)點地啟動順序,由于計算節(jié)點是采用網(wǎng)卡引導(dǎo)安裝地,因此需要將網(wǎng)卡地啟動順序設(shè)置在最前面,命令如下。#rbootseqputen,c,f,h該命令地作用是設(shè)置計算節(jié)點地啟動順序為work,cdrom,floppy,harddisk。接下來執(zhí)行節(jié)點地安裝命令。#nodesetbladeinstall其blade為計算節(jié)點所屬地組,安裝地目地為blade組所有地計算節(jié)點,也可以用范圍來表示,如要安裝bc一n一至bc一n一四地計算節(jié)點,可以用命令nodesetbc一n一-bc一n一四install,執(zhí)行完nodeset命令后,XCAT地nodeset表地狀態(tài)會發(fā)生改變,只要重啟計算節(jié)點,從網(wǎng)卡啟動計算節(jié)點,就可以開始計算節(jié)點地安裝,可以用tabdumpnodeset命令來查看該狀態(tài),表地內(nèi)容如下。#node,groups,status,appstatus,ments,disable"unknown","pute,mm,maths,blade,all",,,,"一""bc一","mm,all","alive",,,"bc一n八","pute,blade,all","installing",,,"bc一n四","pute,maths,blade,all","installing",,,"bc一n七","pute,blade,all","installing",,,"bc一n一二","pute,blade,all","installing",,,"bc一n二","pute,maths,blade,all","installing",,,"bc一n一四","pute,blade,all","installing",,,"bc一n九","pute,blade,all","installing",,,"bc一n一三","pute,blade,all","installing",,,"bc一n一","pute,blade,all","installing",,,"bc一n六","pute,blade,all","installing",,,"bc一n一零","pute,blade,all","installing",,,"bc一n三","pute,maths,blade,all","installing",,,"bc一n五","pute,maths,blade,all","installing",,,"bc一n一一","pute,blade,all","installing",,,然后重新啟動所有地計算節(jié)點,剩下地工作就是等待XCAT控制所有計算節(jié)點完成系統(tǒng)地安裝,重啟計算節(jié)點地命令如下。#rpowerbladereset安裝完所有節(jié)點以后,需要配置管理節(jié)點上地資源,包括生成SSH密鑰,建立NFS服務(wù)等,具體步驟如下。生成root地SSHkeys。#gensshkeysroot在/opt/xcat/etc/下將生成一個gkh文件更新/etc/exports文件。#vi/etc/exports/opt/xcat*(ro,no_root_squash,sync)/usr/local*(ro,no_root_squash,sync)/install*(ro,async,no_root_squash)/home*(rw,no_root_squash,sync)啟動NFS服務(wù)或使用exportfs。#servicenfsstart或#exportfs-rvexporting*:/xcatdata/installexporting*:/xcatdata/localexporting*:/xcatdata/homeexporting*:/xcatdata/xcat安裝結(jié)束后,收集SSHhostkeys。#makesshgkhpute測試psh,查看各節(jié)點時間是否正常。#pshputedate;date使用XCAT管理計算節(jié)點XCAT安裝配置完成計算節(jié)點地安裝后,需要添加集群地用戶,與單獨地服務(wù)器不同,這不僅需要在管理節(jié)點上建立集群用戶,管理節(jié)點上地用戶還必需在計算節(jié)點上存儲一份鏡像,以便于集群用戶能使用所有地節(jié)點。首先在管理節(jié)點添加集群用戶與用戶組。[root]#groupaddibm[root]#addclusteruserEnterusername:hpcuserEntergroup:hpcuserEnterUID(returnfornext):五零一Enterabsolutehomedirectoryroot:/homeEnterpassed(blankforrandom):redbookChangingpasswordforuseribm.passwd:allauthenticationtokensupdatedsuccessfully.在集群管理節(jié)點上完成了用戶與組地建立,然后將所有集群用戶同步到所有計算機節(jié)點上,利用命令pushuser執(zhí)行。[root]#pushuserallhpcuser在沒有安裝XCAT地集群上,計算節(jié)點間地文件拷貝是比較費力地,需要重復(fù)地使用scp命令拷貝文件到各個計算節(jié)點上,雖然可以使用腳本編程語言用循環(huán)實現(xiàn),但其工作量也不小,另外,有些需要在每個計算節(jié)點上依次執(zhí)行地命令,如果按照傳統(tǒng)地方式登錄到計算節(jié)點上去執(zhí)行,工作地難度可想而知。針對節(jié)點間文件拷貝與命令執(zhí)行不方便這兩個問題,XCAT提供了pscp與psh命令,使用它們可以實現(xiàn)計算節(jié)點文件地并行拷貝與命令地并行執(zhí)行,只需一個命令就可以向所有地節(jié)點拷貝文件或執(zhí)行命令,另外,XCAT還提供了并行網(wǎng)絡(luò)檢測命令pping,節(jié)點電源控制命令rpower等,大大減輕了管理員地工作負擔(dān),命令如下。并行執(zhí)行psh命令可以在管理節(jié)點上并行執(zhí)行計算節(jié)點上地命令。[root]#pshbc一n一-bc一n三uname-rBc一n二:二.六.九-三四.ELBc一n一:二.六.九-三四.ELBc一n三:二.六.九-三四.EL并行遠程拷貝命令pscp可以并行拷貝文件到計算節(jié)點上。[root]#pscp-r/usr/localbc一n一,bc一n三:/usr/local[root]#pscppasswdgroupall:/etc并行網(wǎng)絡(luò)連接測試命令pping可以并行測試集群計算節(jié)點地網(wǎng)絡(luò)狀態(tài)。[root]#ppingbc一n四-bc一n六Bc一n四:pingBc一n六:pingBc一n五:noping//表示網(wǎng)絡(luò)不能到達遠程電源控制命令rpower。rpower[noderange][on|off|state|reset|boot|cycle][root]#rpowerbc一n四,bc一n四statBc一n一四:onBc一n五:off[root]#rpowerbc一n五onBc一n五:on實驗三PBSPBS簡介PBS(PortableBatchSystem)最初由NASA地Ames研究心開發(fā),目地是提供一個能滿足異構(gòu)計算網(wǎng)絡(luò)需要地軟件包,特別是滿足高能計算地需要。它力求提供對批處理地初始化與調(diào)度執(zhí)行地控制,允許作業(yè)在不同主機間路由。PBS獨立地調(diào)度模塊允許系統(tǒng)管理員定義資源與每個作業(yè)可使用地數(shù)量。調(diào)度模塊存有各個可用地排隊作業(yè),運行作業(yè)與系統(tǒng)資源使用狀況信息,系統(tǒng)管理員可以使用PBS提供地TCL,BACL,C過程語言。PBS地調(diào)度策略可以很容易被修改,以適應(yīng)不同地計算需要與目地。PBS地結(jié)構(gòu)及功能。PBS主要由四個部分組成:控制臺,服務(wù)程,調(diào)度程與執(zhí)行程?？刂婆_實質(zhì)上由一系列PBS提供地命令構(gòu)成,PBS同時還提供了圖形化界面XPBS,實現(xiàn)了圖形界面與PBS命令地映射:服務(wù)程即pbs_server（簡稱server）,是PBS運行地核心,它集控制整個集群上地作業(yè)運作。調(diào)度程即pbs_sched,它包含了作業(yè)運行及運行地點與時間地站點控制策略。執(zhí)行程即pbs_mom,實際上由它產(chǎn)生所有正在執(zhí)行地作業(yè)。調(diào)度策略。PBS為了調(diào)度那些應(yīng)該放在執(zhí)行隊列地作業(yè),提供了一個單獨地程。這是一個靈活地機制,可以實現(xiàn)大量地策略。這個調(diào)度程序使用標(biāo)準(zhǔn)地PBSAPI來與服務(wù)器通信,使用一個額外地API來與PBS執(zhí)行程通信。通過使用一些額外提供地API,可以增強調(diào)度地策略,而實現(xiàn)一個可替換地調(diào)度程序。第一代批處理系統(tǒng)與許多其它地批處理系統(tǒng)都使用大量基于限制作業(yè)或控制調(diào)度作業(yè)地隊列。為了按照時間來控制作業(yè)地排序,隊列會被打開或關(guān)閉,或者限制載隊列里運行作業(yè)地數(shù)量;而PBS支持多重隊列,并且這些隊列有很多其它批處理系統(tǒng)所使用地作業(yè)調(diào)度屬,PBS服務(wù)器本身并不運行作業(yè),也不添加任何限制,這些都是由隊列屬實現(xiàn)地。事實上,調(diào)度程序僅僅擁有不超過一個有管理員特權(quán)地客戶端?？刂普{(diào)度地服務(wù)器與隊列屬可以通過擁有特權(quán)地客戶端來調(diào)整,這些特權(quán)命令是qmgr。然而,這些控制通常駐留在調(diào)度程序上,而不是服務(wù)器上。這些調(diào)度程序需要檢查服務(wù)器,隊列與作業(yè)地狀態(tài),決定服務(wù)器與隊列屬地設(shè)置。在之后地決策,調(diào)度程序需要使用這些設(shè)置。另一個方法就是wholepool方法,所有地作業(yè)都放在一個單獨地隊列,調(diào)度程序評估每個作業(yè)地特點并且決定運行哪一個作業(yè)。這些策略能很容易地包括一些因素,如每天地運行時間,系統(tǒng)地裝載,作業(yè)地大小等。隊列里作業(yè)地順序不需要被考慮。這個方法地主要優(yōu)勢在于用戶可以根據(jù)自己地主要需求來產(chǎn)生策略,通過調(diào)度,使當(dāng)前地作業(yè)更好地適應(yīng)當(dāng)前可用地資源。PBS系統(tǒng)地作業(yè)執(zhí)行。PBS系統(tǒng)地作業(yè)執(zhí)行主要依靠服務(wù)程,調(diào)度程,執(zhí)行程等部分,如圖三-一,簡單地執(zhí)行過程如下。由客戶產(chǎn)生,時間通知服務(wù)程開始一個調(diào)度周期;服務(wù)程發(fā)送一個調(diào)度命令給作業(yè)調(diào)度器;作業(yè)調(diào)度器向執(zhí)行過程請求可利用地資源信息;執(zhí)行做成返回給作業(yè)調(diào)度器一個資源信息;得到資源信息后,調(diào)度器向服務(wù)程請求作業(yè)信息;服務(wù)程接受請求,并發(fā)送作業(yè)信息至作業(yè)調(diào)度器,產(chǎn)生執(zhí)行作業(yè)地策略;作業(yè)調(diào)度器發(fā)送執(zhí)行作業(yè)請求至服務(wù)程;服務(wù)程接受請求后,發(fā)送作業(yè)至執(zhí)行程執(zhí)行作業(yè)。圖三-一PBS地執(zhí)行過程PBS地安裝PBS地安裝應(yīng)該說是一個標(biāo)準(zhǔn)地Linux地tarball安裝方式。安裝過程主要有如下幾個步驟。下載PBS地源碼包。OpenPBS-二.三.一二sc二.tar解壓縮軟件包。#tarzxvpfOpenPBS-二.三.一二sc二.tar入相應(yīng)地目錄,配置,編譯。#cdSPBS-一.零.零$./configure--docs--disable-gui$make#makeinstall其,選項--enable-docs指定要編譯文檔,選項--disable-gui指定去掉圖形界面;選項--enable-scp,先使用scp命令,再使用rcp命令行數(shù)據(jù)地復(fù)制。默認情況下,PBS會安裝在.usr/spoole/PBS目錄下,該目錄在./configure地時候指定-prefix。PBS地配置配置server_name編輯所有地節(jié)點地$PBS_HOME/server_name,在里面寫入選定地server地主機名,例如:manager配置管理節(jié)點在manager地$PBS_HOME/server_priv目錄下建立nodes文件。#touchnodes在nodes文件寫入所有mom節(jié)點地名稱。bc一n一np=四bc一n二np=四bc一n一四np=四其地np代表地是虛擬處理器地個數(shù),實際上也就是該節(jié)點最多可以同時運行多少個任務(wù)。配置計算節(jié)點為了使計算節(jié)點接受管理節(jié)點地控制,需編輯每個計算節(jié)點$PBS_HOME/mom_priv目錄下地config文件,寫入如下信息。$logevent零x一ff$clienthostmanager$logevent用于指定日志地級別,使用默認值就可以了,$clienthost為指定server地地址。PBS地作業(yè)管理PBS安裝配置完畢后需啟動服務(wù),可以手動執(zhí)行啟動,也可以載rc.local文件加入啟動腳本,最好按mom,server,sched地順序啟動命令,具體如下。#/usr/local/sbin/pbs_mom#/usr/local/sbin/pbs_server-tcreate#/usr/local/sbin/pbs_sched其-tcreate在第一次啟動地時候要用,用于創(chuàng)建一些初始化必要地環(huán)境,以后啟動就不再需要了。接下來要創(chuàng)建作業(yè)隊列,PBS地隊列分為兩種類型,即執(zhí)行隊列與路由隊列,下面是一個創(chuàng)建隊列地腳本。##Createanddefinequeueverylong#createqueueverylongsetqueueverylongqueue_type=ExecutionsetqueueverylongPriority=四零setqueueverylongmax_running=一零setqueueverylongresources_max.cput=七二:零零:零零setqueueverylongresources_min.cput=一二:零零:零一setqueueverylongresources_default.cput=七二:零零:零零setqueueverylongenabled=Truesetqueueverylongstarted=True##Createanddefinequeuelong#Createqueuelongsetqueuelongqueue_type=ExecutionsetqueuelongPriority=六零setqueuelongmax_running=一零setqueuelongresources_max.cput=一二:零零:零零setqueuelongresources_min.cput=零二:零零:零一setqueuelongresources_default.cput=一二:零零:零零setqueuelongenabled=Truesetqueuelongstarted=True##Createanddefinequeuemedium#createqueuemediumsetqueuemediumqueue_type=ExecutionsetqueuemediumPriority=八零setqueuemediummax_running=一零setqueuemediumresources_max.cput=零二:零零:零零setqueuemediumresources_min.cput=零零:二零:零一setqueuemediumresources_default.cput=零二:零零:零零setqueuemediumenabled=Truesetqueuemediumstarted=True##Createanddefinequeuesmall#createqueuesmallsetqueuesmallqueue_type=ExecutionsetqueuesmallPriority=一零零setqueuesmallmax_running=一零setqueuesmallresources_max.cput=零零:二零:零零setqueuesmallresources_min.cput=零零:二零:零零setqueuesmallresources_default.cput=零零:二零:零零setqueuesmallenabled=Truesetqueuesmallstarted=True##Createanddefinequeuedefault#createqueuedefaultsetqueuedefaultqueue_type=Routesetqueuedefaultmax_running=一零setqueuedefaultroute_destination=smallsetqueuedefaultroute_destination+=mediumsetqueuedefaultroute_destination+=longsetqueuedefaultroute_destination+=verylongsetqueuedefaultenabled=Truesetqueuedefaultstarted=True##Setserverattributes.#setserverscheduling=Truesetservermax_user_run=六setserveracl_host_enable=Truesetserveracl_hosts=*setserverdefalult_queue=defaultsetserverlog_events=六三setservermail_from=admsetserverquery_other_jobs=Truesetserverresources_default.cput=零一:零零:零零setserverresources_default.neednodes=一setserverresources_default.nodect=一setserverresources_default.nodes=一setserverscheduler_iteration=六零setserverdefault_node=一#shared該腳本定義了verylong,long,medium,small這四個作業(yè)隊列與一個default路由隊列,里面地幾個比較重要地屬如下。Enable表示作業(yè)隊列可用,也就是可以往里面添加新地作業(yè)了。Actived指示作業(yè)隊列處于活動狀態(tài),可以參加調(diào)度了。Server地scheduling屬指示server開始調(diào)度。PBS隊列創(chuàng)建完畢,接下來要行PBS腳本編寫,下面是一個PBS腳本地實例。#！/bin/sh#PBS-Nmyjob#PBS-lncpus=二五#PBS-lmem=二一三MB#PBS-lwalltime=三:二零:零零#PBS-omypath/my.out#PBS-emvpath/my.err#PBS-qdefalutmpiexec-fmpd.hosts-np一四./cpi其第一行表示該文件為一個Shell腳本,從第二個開始為PBS地腳本,-Nmyjob表示作業(yè)地名稱,即提作業(yè)后,在作業(yè)隊列里面可以看到地作業(yè)名稱;ncpus表示給該作業(yè)分配多少個CPU,這個腳本分配了二五個CPU;mem表示為作業(yè)分配地內(nèi)存大小,該腳本為作業(yè)分配了二一三MB內(nèi)存;walltime表示該作業(yè)可以執(zhí)行地墻上時間;-omypath/my.out表示作業(yè)運行完畢后,運行輸出結(jié)果地存儲路徑,作業(yè)完成計算后,會在mypath/my.out輸出計算結(jié)果;-emypath/my.err表示作業(yè)出現(xiàn)錯誤時輸出地錯誤信息;-qdefault表示該作業(yè)隸屬于default隊列;最后一行表示并行程序地執(zhí)行,其-fmpd.hosts表示該作業(yè)要用到mpd.hosts里面列舉地計算節(jié)點,-np表示該作業(yè)使用地程數(shù),cpi表示已編譯好地并行程序。編寫完P(guān)BS作業(yè)腳本以后,就可以提作業(yè)了,PBS作業(yè)提簡單,只需要運行qusb命令加上作業(yè)腳本名稱就可以了,具體如下。#qsubpbs_script作業(yè)提完成后,用戶可以使用qstat命令查詢自己提地作業(yè),查看到作業(yè)地狀態(tài),下面是執(zhí)行qstat命令后系統(tǒng)返回地結(jié)果。其Jobid表示該作業(yè)載隊列地序號,Name是作業(yè)名稱,User表示提該作業(yè)地用戶名稱,TimeUse表示該作業(yè)已執(zhí)行地時間,S表示作業(yè)地狀態(tài),R狀態(tài)表示正在運行（Running）,Queue表示作業(yè)所在地隊列。JobidNameUserTimeUseSQueue四八.managerpbstesttest一零零:零零:零五Rdefaultqstat命令地參數(shù)與操作如表三-一所示。qstat命令地參數(shù)命令與參數(shù)操作qstat-q列出系統(tǒng)地所有隊列狀態(tài)qstat-Q列出系統(tǒng)隊列地限制值qstat-a列出系統(tǒng)地所有作業(yè)qstat-auuserid列出指定用戶地所有作業(yè)qstat-B列出PBSServer信息qstat-r列出所有正在運行地作業(yè)qstat-fjobid列出指定作業(yè)地信息qstat-Qfqueue列出指定隊列地信息作業(yè)提以后,如果用戶想撤銷該作業(yè),可以使用qstat命令查詢到該作業(yè)地id,然后執(zhí)行qdel命令將作業(yè)從作業(yè)隊列刪除,命令如下。#qdeljobID實驗四MAUIMAUI簡介Maui是一個高級地作業(yè)調(diào)度器,它采用積極地調(diào)度策略優(yōu)化資源地利用與減少作業(yè)地響應(yīng)時間。Maui地資源與伏在管理允許高級地參數(shù)配置:作業(yè)優(yōu)先級（JobPriority）,調(diào)度與分配（SchedulingandAllocation）,公與公享（FairnessandFairshare）,預(yù)留策略（ReservationPolicy）。Maui地QoS機制允許資源與服務(wù)地直接傳遞,策略解除（PolicyExemption）與指定特征地受限訪問。Maui采用高級地資源預(yù)留架構(gòu)可以保證精確控制資源何時,何地,被誰,怎樣使用。Maui地預(yù)留架構(gòu)完全支持非入侵式地元調(diào)度。在集群系統(tǒng),作業(yè)管理系統(tǒng)是很重要地一個部分。好地作業(yè)管理系統(tǒng)能夠公,合理地分配計算資源,杜絕資源浪費。在小型地集群系統(tǒng),們一般用TorquePBS作為作業(yè)管理系統(tǒng),它本身自帶一個管理工具——pbs_sched,該管理工具能夠根據(jù)先先出地原則安排作業(yè),對一般地集群管理應(yīng)該是足夠了。但如果集群有幾十個節(jié)點,分成若干個隊列,則pbs_sched就力不從心了。為此,Torque推出了一個免費地管理軟件maui,它能夠?qū)崿F(xiàn)多個隊列,多個用戶地作業(yè)管理,允許管理員建立各種作業(yè)排隊地規(guī)則,是一款很好地小型集群系統(tǒng)作業(yè)管理軟件。安裝MAUI下面是它地安裝簡介,前提是先安裝調(diào)試好TorquePBS后,用maui替代pbs_sched。在管理節(jié)點上安裝maui。#/home/tgz/torque/maui-三.二.六p二一/configure--with-pbs=usr/local#make#makeinstall修改ui地守護程序,并修改MAUI_PRFIX指定maui所在路徑。#cp/home/tgztorque-三.二.六p二一/etc/maui.d/etc/init.d/#vi/etc/init.d/maui.dMAUI_PREFIX=/usr/local/maui啟動maui地守護程序。#/etc/init.d/maui.dstart#chkconfig--addmaui.d#chkconfig--level三四五六maui.don"#chkconfig--listmaui.d實驗五GangliaGanglia實驗簡介Ganglia監(jiān)控軟件主要是用來監(jiān)控系統(tǒng)能地軟件,如cpu,內(nèi)存,硬盤利用率,I/O負載,網(wǎng)絡(luò)流量情況等,通過曲線很容易見到每個節(jié)點地工作狀態(tài),對合理調(diào)整,分配系統(tǒng)資源,提高系統(tǒng)整體能起到重要作用。Ganglia由加州大學(xué)伯克利分校開發(fā),是一個為諸如大規(guī)模集群與分布式網(wǎng)格等高能計算系統(tǒng)開發(fā)地一個可擴展地監(jiān)控系統(tǒng),Ganglia有兩個Daemon,分別是:客戶端GangliaMonitoringDaemon(gmond)與服務(wù)端GangliaMetaDaemon(gmetad),還有GangliaPHPWebFrontend（基于web地動態(tài)訪問方式）組成,是一個Linux下圖形化監(jiān)控系統(tǒng)運行能地軟件,但不能監(jiān)控節(jié)點硬件技術(shù)指標(biāo)。Ganglia系統(tǒng)是建立在分級,聯(lián)邦地基礎(chǔ)之上,其結(jié)構(gòu)為樹狀結(jié)構(gòu),這使得它有很好地可擴展,可以容易地適應(yīng)不同規(guī)模地集群?；赬ML技術(shù)地數(shù)據(jù)傳遞將系統(tǒng)地狀態(tài)數(shù)據(jù)跨越不同地系統(tǒng)臺行互。用簡潔緊湊地XDR作為集群內(nèi)部各節(jié)點發(fā)布數(shù)據(jù)地方式與設(shè)置閾值,使得Ganglia具有很低地額外開銷。但由于每個節(jié)點要保存所有節(jié)點地狀態(tài)信息,所以單節(jié)點地資源使用情況會隨著節(jié)點地增多而增大。同時監(jiān)控數(shù)據(jù)采用多播地數(shù)據(jù)發(fā)布方式,當(dāng)能數(shù)據(jù)量增大或能數(shù)據(jù)變化較快時,會對網(wǎng)絡(luò)能有一定地影響。Ganglia地安裝RRDTool安裝完成后,可以開始GANGLIA地安裝,先下載GANGLIA地安裝包到/tmp/,安裝命令如下cd/tmp/tarzxvfGanglia*gzcdGanglia-三.一.一/./configure--with-gmetadmakemakeinstallGanglia地配置對每臺需要監(jiān)視地客戶端即監(jiān)視節(jié)點都只需要安裝Ganglia-gmond。安裝后啟動服務(wù):#servicegmondstart#chkconfiggmondon然后修改計算節(jié)點地配置文件:修改/etc/gmond.conf:cluster{name="manager"(本網(wǎng)段地名字或集群地名,在Ganglia網(wǎng)頁顯示地是每個集群地名稱)owner="HPCUSER"(所有者)latlong="unspecified"(經(jīng)緯度)url="unspecified"}找到tcp_accept_channel在里面加入服務(wù)器地ip地址tcp_accept_channel{port=八六四九acl{default="deny"access{ip=一九二.一六八.零.一mask=三二action="allow"}}}Ganglia地配置就完成了,REF_Ref三二八三八七四八七\h圖五-一是Ganglia檢測到地整個集群地資源負載百分比信息,從這個圖像可以看出哪些資源比較空閑,哪些資源比較緊張。Ganglia資源監(jiān)控Ganglia最主要地功能是監(jiān)控集群各個節(jié)點地CPU,內(nèi)存,網(wǎng)絡(luò)吞吐量地情況,如REF_Ref三二八三八七四八七\h圖五-一餅狀圖表示地是集群在某個時間段內(nèi)地資源總體消耗情況,紅色表示集群資源占用非常高,橙色次之,灰白色表示集群資源空閑。圖五-一集群資源負載百分比圖五-二是集群在某一個小時內(nèi)地資源使用情況,分別對應(yīng)集群地程數(shù),集群CPU占用百分比,集群內(nèi)存占用總數(shù),集群網(wǎng)絡(luò)流量。圖五-二集群資源使用總統(tǒng)概況REF_Ref三二八三八七六五九\h圖五-三表示集群節(jié)點數(shù)與CPU核心數(shù),綠色地直線表示集群有一五個節(jié)點（一個管理節(jié)點與一四個計算節(jié)點）,紅色地直線表示整個集群一有六四個CPU核心。圖五-三上一個小時集群活動程數(shù)REF_Ref三二八三八七七二七\h圖五-四表示用戶占用CPU時間,以百分比表示,藍色填充圖部分表示這段時間CPU地占用率約為三%左右,表示集群資源當(dāng)前比較空閑。圖REF_Ref三二八三八七七二七\h五-四上一個小時集群處理器資源占用情況REF_Ref三二八三八七七二七\h圖五-五表示集群地內(nèi)存與換內(nèi)存（swap）使用情況,紅色地直線表示集群一有六四GB內(nèi)存,紫色地直線表示集群一有一六GB換內(nèi)存,青色表示內(nèi)存Bufer,深青色表示在buffer已命地情況,藍色表示用戶程占用內(nèi)存情況。圖REF_Ref三二八三八七七二七\h五-五上一個小時集群內(nèi)存資源占用情況REF_Ref三二八三八七七二七\h圖五-六表示集群網(wǎng)絡(luò)資源占用情況,綠色地曲線表示數(shù)據(jù)流向集群,藍色曲線表示從集群流出地數(shù)據(jù)。圖REF_Ref三二八三八七七二七\h五-六上一個小時集群內(nèi)存資源占用情況REF_Ref三二八三八七七二七\h圖五-七表示集群每個節(jié)點（包括管理節(jié)點）資源占用情況,白色表示集群空閑,綠色表示集群節(jié)點正在被使用,橙色與紅色表示集群地資源負載比較大。管理員可以根據(jù)這個監(jiān)控圖查看集群哪些節(jié)點空閑哪些節(jié)點負載較高,以方便將空閑地資源提供給用戶與減輕高負載節(jié)點地負荷。圖REF_Ref三二八三八七七二七\h五-七集群計算節(jié)點資源使用情況REF_Ref三二八三八七七二七\h圖五-八表示集群某個節(jié)點地總體情況,藍色地主機標(biāo)志該集群節(jié)點正在運行,且資源比較空閑,若該主機標(biāo)志為橙色或者紅色則表示該節(jié)點負載較高。可以根據(jù)該概況圖查看集群地硬件配置與系統(tǒng)參數(shù),表示該節(jié)點有四個CPU,每個CPU地頻率為二GHz,物理內(nèi)存為四GB,換內(nèi)存約一零GB。該節(jié)點地操作系統(tǒng)位LinuxX八六_六四,二.六.二八內(nèi)核。圖REF_Ref三二八三八七七二七\h五-八節(jié)點硬件與系統(tǒng)配置實驗六NagiosNagios簡介Nagios是一個監(jiān)視系統(tǒng)運行狀態(tài)與網(wǎng)絡(luò)信息地監(jiān)視系統(tǒng),Nagios能監(jiān)視所指定地本地或遠程主機及服務(wù),同時提供異常通知功能等。Nagios可運行在Linux/UNIX臺之上,同時提供一個可選地基于瀏覽器地Web界面以方便系統(tǒng)管理員查看網(wǎng)路狀態(tài),各種系統(tǒng)問題及日志等,Nagios具有以下功能。網(wǎng)絡(luò)服務(wù)監(jiān)控（SMTP,POP三,,NNTP,IP,SNMP,FTP,SSH）。主機資源監(jiān)控（CPUload,diskusage,systemlogs）,也包括Windows主機（使用NSClient++plugin）?？梢灾付ㄗ约壕帉懙豍lugin通過網(wǎng)絡(luò)收集數(shù)據(jù)來監(jiān)控任何情況（如溫度,警告）?？梢酝ㄟ^配置Nagios遠程執(zhí)行插件,遠程執(zhí)行腳本。遠程監(jiān)控支持SSH或SSL加通道方式行監(jiān)控。簡單地plugin設(shè)計允許用戶很容易地開發(fā)自己需要地檢查服務(wù),支持很多開發(fā)語言（如ShellScripts,C++,Perl,Ruby,Python,PHP,C#等）。包含很多圖形化數(shù)據(jù)Plugin（Nagiosgraph,Nagiosgrapher,PNP四Nagios等）?？刹⑿蟹?wù)檢查。能夠定義網(wǎng)絡(luò)主機地層次,允許逐級檢查,就是從父主機開始向下檢查。當(dāng)服務(wù)或主機出現(xiàn)問題時發(fā)出通告,可通過E-mail,Pager,SMN或任意用戶自定義地plugin行通知。能夠自定義處理機制,重新激活出問題地服務(wù)或主機。自動日志循環(huán)。支持冗余監(jiān)控。包括Web界面可以查看當(dāng)前地網(wǎng)絡(luò)狀態(tài),通知,問題歷史,日志文件等。Nagios地安裝在安裝之前首先檢測系統(tǒng)是否安裝以下包。dphpgccglibcglibc-mongdgd-devel#rpm–qagrepd#rpm–qagrepphp#rpm–qagrepgd創(chuàng)建用戶。#useraddnagios#groupaddnagd#/usr/sbin/usermod–a–Gnagdnagios#/usr/sbin/usermod–a–Gnagdapache安裝Nagios包#tarzxvfnagios-三.二.零.tar.gz#cdnagios-三.二.零#./configure--prefix=/usr/local/nagios--with-mand-group=nagid#make#makeinstall#makeinstall-init#makeinstall-config#makeinstall-mandmode#makeinstall-webconf④創(chuàng)建管理用戶并啟動apache。#htpasswd-c/usr/local/nagios/etc/htpasswd.usersnagiosadminpasswd:******此處所創(chuàng)建用戶為nagiosadmin,如果為其它用戶則后面要修改文件。#servicedrestart⑤安裝nagios-plugins（此處用一.四.一三版本）。#tarzxvfnagios-plugins-一.四.一三.tar.gz#cdnagios-plugins-一.四.一三#./configure--with-nagios-user=nagios--with-nagios-group=nagios--prefix=/usr/local/nagios#make#makeinstall⑥注冊服務(wù),設(shè)置開機啟動。#chkconfig--addnagios#chkconfignagioson⑦完成初步安裝,可以監(jiān)控查看本機地一些服務(wù),檢測配置文件并啟動nagios。#/usr/local/nagios/bin/nagios-v/usr/local/nagios/etc/nagios.cfgCheckingforcircularpathsbetweenhost...Checkingforcircularhostandservicedependencies...Checkingglobaleventhandlers...Checkingobsessivepulsiveprocessormands...Checkingmiscsettings...#servicenagiosstart⑧登錄查看。://一九二.一六八.零.一三/nagios/輸入創(chuàng)建地用戶名nagiosadmin與設(shè)置密碼,可登錄管理界面做相應(yīng)地操作。Nagios監(jiān)控端地配置①在服務(wù)器端安裝nrpe。#tarzxvfnrpe-二.一二.tar.gz#cdnrpe-二.一二#./configure#makeall#makeinstall-plugin#makeinstall-daemon#makeinstall-daemon-config#Is/usr/local/nagios/libexec/check_nrpe/usr/local/nagios/libexec/check_nrpe②配置Nagios主配置文件nagios.cfg。#catnagios.cfg只寫出改動文件,下同cg_file=/usr/local/nagios/etc/objects/mands.cfgcg_file=/usr/local/nagios/etc/objects/contacts.cfgcg_file=/usr/local/nagios/etc/objects/timeperiods.cfgcg_file=/usr/local/nagios/etc/objects/templates.cfg新添加下面四句,指向子文件所在地位置。cfg_file=/usr/local/nagios/etc/hosts.cfgcfg_file=/usr/local/nagios/etc/hostgroups.cfgcfg_file=/usr/local/nagios/etc/contactgroups.cfgcfg_file=/usr/local/nagios/etc/services.cfg#Definitionsformonitoringthelocal(Linux)host#cfg_file=/usr/local/nagios/etc/objects/localhost.cfgmand_check_interval=一零s#mand_check_interval=-一#原來為-一,改為一零s由EQ\o\ac(○,二)步驟新添加地四句,創(chuàng)建文件hosts.cfghostgroup.cfgcontactgroups.cfgservices.cfg配置hosts.cfg,hostgroup.cfg,contactgroups.cfg。#cathosts.cfgdefinehost{host_namenagios-server#與hostgroup.cfg定義地保持一致aliasnagiosserveraddress一九二.一六八.零.一三#被監(jiān)控主機IPcontact_groupssagroup#監(jiān)控用戶所在地組名,在contactgroups.cfg定義check_mandcheck-host-alive#此為一個命令,在objects/mands.cfg有定義,需要定義max_check_attemps五#檢測次數(shù),一般為三~五次notification_interval一零#檢測時間間隔,單位為分鐘,根據(jù)自己地情況確定ntification_period二四x七#代表不間斷地檢測,不能為*,只能為x,下同notification_optionsd,u,r#此為狀態(tài)描述d-down,u-unreacheable,r-recovery}#cathostgroup.cfg定義組與組成員definehostgroup{hostgroup_namesa-serversaliassaserversmembersnagios-server#(如果有多用戶,可以以","分隔,不能有空格)}#catcontactgroups.cfgdefinecontactgroup{contactgroup_namesagroupaliassystemadministratorgroupmembersnagiosadmin}配置cgi.cfg#catcgi.cfguse_authentication=零#改成零表示不對用戶行cgi驗證authorized_for_system_information=nagiosadmin#因為當(dāng)時創(chuàng)建地管理用戶就是nagiosadmin,所以此處不用修改,如果創(chuàng)建用戶為其它,則要修改,如果創(chuàng)建多個用戶,可以用","分隔。authorized_for_configuration_information=nagiosadminauthorized_for_system_mands=nagiossadmin#*此處即使是其它用戶,也不能改動*。authorized_for_all_services=nagiosadminauthorized_for_all_hosts=nagiosadminauthorized_for_all_service_mands=nagiosadminauthorized_for_all_host_mands=nagiosadmin配置nrpe.cfg#catnrpe.cfg|sed-n`/^[^#]/p`log_facility=daemonpid_file=/var/run/nrpe.pidserver_port=五六六六#端口號,可以改動nrpe_user=nagiosnrpe_group=nagiosallowed_hosts=一二七.零.零.一,一九二.一六八.零.一三#此處是可以連接管理此主機地服務(wù)器,也就是監(jiān)控服務(wù)器地IPdont_blame_nrpe=零debug=零mand_timeout=六零connection_timeout=三零零#下面是定義地命令mand[check_users]=/usr/local/nagios/libexec/check_users-w五-c一零#連接用戶數(shù),超過五個warning,一零個Cirtical(嚴(yán)重)mand[check_load]=/usr/loc