曙光集群簡明使用手冊課件

曙光集群簡明使用手冊技術(shù)支持中心一、曙光集群的概念二、曙光集群系統(tǒng)整體架構(gòu)三、曙光集群的使用遠(yuǎn)程登錄系統(tǒng)上傳下載數(shù)據(jù)Linux常用命令安裝和運(yùn)行程序使用作業(yè)調(diào)度目錄一、曙光集群的概念什么是集群集群系統(tǒng)是利用高性能通信網(wǎng)絡(luò)將一組計(jì)算機(jī)（節(jié)點(diǎn)）按某種結(jié)構(gòu)連接起來，在并行化設(shè)計(jì)及可視化人機(jī)交互集成開發(fā)環(huán)境支持下，統(tǒng)一調(diào)度、協(xié)調(diào)處理，實(shí)現(xiàn)高效并行處理的系統(tǒng)所有計(jì)算機(jī)節(jié)點(diǎn)一起工作如同一個(gè)單一集成的系統(tǒng)資源，實(shí)現(xiàn)單一系統(tǒng)映像（SSI）集群是目前高性能計(jì)算機(jī)三大體系結(jié)構(gòu)之一，是目前最主流的和最有生命力的體系結(jié)構(gòu)集群是目前性能價(jià)格比最高的高性能計(jì)算機(jī)體系結(jié)構(gòu)集群特點(diǎn)：容易實(shí)現(xiàn)、容易維護(hù)、較好用的高性能計(jì)算機(jī)曙光集群是使用Infiniband、Myrinet等高速網(wǎng)絡(luò)或者千兆網(wǎng)絡(luò)節(jié)點(diǎn)機(jī)網(wǎng)絡(luò)連接，進(jìn)行高性能并行計(jì)算；使用千兆網(wǎng)絡(luò)連接，進(jìn)行網(wǎng)絡(luò)管理監(jiān)控；一個(gè)節(jié)點(diǎn)就是一臺機(jī)器，N臺機(jī)器通過連接高速網(wǎng)、安裝系統(tǒng)（系統(tǒng)的一致性，即系統(tǒng)配置必須一致）、調(diào)試并行環(huán)境、安裝應(yīng)用軟件來進(jìn)行計(jì)算；曙光集群曙光5000A(魔方)，部署在上海超算曙光集群可擴(kuò)展性強(qiáng)，如果現(xiàn)有的計(jì)算資源無法滿足需要，可以根據(jù)實(shí)際需求，動(dòng)態(tài)增加計(jì)算節(jié)點(diǎn)；曙光集群的易管理性：GridView、CloudView等監(jiān)控管理軟件，協(xié)助管理集群系統(tǒng)；曙光集群曙光6000(星云)，部署在深圳超算二、曙光集群系統(tǒng)整體架構(gòu)曙光集群硬件系統(tǒng)的基本架構(gòu)基于節(jié)點(diǎn)的集群CPU：AMD系列Opteron、Intel系列Xeon高中低端產(chǎn)品：八路、四路、雙路、單路外圍設(shè)備：機(jī)柜系統(tǒng)網(wǎng)絡(luò)系統(tǒng)集群監(jiān)控系統(tǒng)集群管理系統(tǒng)視頻管理系統(tǒng)集群系統(tǒng)的硬件組成集群系統(tǒng)的體系結(jié)構(gòu)集群系統(tǒng)的物理架構(gòu)(InfiniBand)曙光集群的計(jì)算系統(tǒng)

計(jì)算系統(tǒng)內(nèi)容計(jì)算節(jié)點(diǎn)一般為雙路或四路刀片或機(jī)架式服務(wù)器，為計(jì)算系統(tǒng)的主力。GPGPU節(jié)點(diǎn)GPU即圖形處理單元，GPGPU的意思為使用顯卡做通用計(jì)算，由于GPU卡具有更多計(jì)算核心數(shù)，更高的能效比和更強(qiáng)的浮點(diǎn)計(jì)算能力，所以對于適合GPU，并在GPU上移植成功的應(yīng)用軟件提供更高的性能SMP胖節(jié)點(diǎn)一般用于一些有大內(nèi)存、高IO或單機(jī)多核處理的需求，滿足一些特殊應(yīng)用的需求。曙光集群功能節(jié)點(diǎn)管理節(jié)點(diǎn)IO節(jié)點(diǎn)用于運(yùn)行系統(tǒng)級的管理軟件，性能要求不高，但可靠性要求高，數(shù)量少用于連接存儲設(shè)備，提供共享存儲空間。小型項(xiàng)目，使用單一IO節(jié)點(diǎn)提供NFS解決。大中型，使用并行文件系統(tǒng)，多個(gè)IO節(jié)點(diǎn)和存儲空間解決IO瓶頸登陸節(jié)點(diǎn)用于用戶登陸集群，在集群上實(shí)現(xiàn)作業(yè)提交，文件上傳，編輯，程序編譯等操作?？煽啃砸蟾撸瑪?shù)量少管理節(jié)點(diǎn)登陸節(jié)點(diǎn)IO節(jié)點(diǎn)高性能集群三要素?zé)o密碼訪問統(tǒng)一的系統(tǒng)印象統(tǒng)一的文件印象對于普通用戶來說，所有節(jié)點(diǎn)看到的某一個(gè)文件都是相同的文件。

通過nfs或者并行文件系統(tǒng)實(shí)現(xiàn)。通過NIS或同步用戶信息來實(shí)現(xiàn)。

網(wǎng)絡(luò)全通rsh或ssh無密碼訪問配通主要參數(shù)種類名稱：風(fēng)冷機(jī)柜長寬高：110*60*200重量：180KG壓強(qiáng)：500KG/MM容量：42U通風(fēng)設(shè)計(jì)：風(fēng)冷布線設(shè)計(jì)：電源、網(wǎng)絡(luò)曙光集群物理視圖(示例)曙光集群網(wǎng)絡(luò)拓?fù)鋱D(示例)曙光集群用戶視圖(示例)三、曙光集群的使用遠(yuǎn)程登錄系統(tǒng)上傳下載數(shù)據(jù)Linux常用命令安裝和運(yùn)行程序使用作業(yè)調(diào)度遠(yuǎn)程登錄系統(tǒng)Putty一款免費(fèi)的Telnet和SSH終端實(shí)現(xiàn)，可使用在Win32平臺下。

VNCVirtualNetworkComputing，可跨操作系統(tǒng)實(shí)現(xiàn)對遠(yuǎn)程桌面的控制，對網(wǎng)絡(luò)帶寬要求較低；由于采用遠(yuǎn)程桌面的模式，遇到網(wǎng)絡(luò)連接中斷不會影響實(shí)際操作，重新連接即可；登錄工具完全免費(fèi);在Windows9x/NT/2000/Win7下運(yùn)行的都非常好;全面支持ssh1和ssh2；綠色軟件，無需安裝，解壓后即可使用；體積很小，僅364KB(0.54beta版本)；操作簡單，所有的操作都在一個(gè)控制面板中實(shí)現(xiàn)。Putty簡介Putty登錄終端Putty登錄終端VNC是虛擬網(wǎng)絡(luò)計(jì)算機(jī)(VirtualNetworkComputing)的縮寫，屬于一種顯示系統(tǒng)，能將完整的窗口界面通過網(wǎng)絡(luò),傳輸?shù)搅硪慌_計(jì)算機(jī)的屏幕上。VNC是一款優(yōu)秀的遠(yuǎn)程控制工具軟件，由AT&T的歐洲研究實(shí)驗(yàn)室開發(fā)，是基于UNIX和Linux操作系統(tǒng)的免費(fèi)開放源碼軟件，遠(yuǎn)程控制能力強(qiáng)大，高效實(shí)用。VNC由兩部分組成：一部分是客戶端的應(yīng)用程序(vncviewer)；另外一部分是服務(wù)器端的應(yīng)用程序(vncserver)。VNC在UNIX、Linux和Windows操作系統(tǒng)中都有相應(yīng)的實(shí)現(xiàn)方式，圖形用戶界面友好，可跨操作系統(tǒng)互訪桌面。VNC簡介VNC連接Linux遠(yuǎn)程桌面創(chuàng)建VNC連接密碼：首次啟動(dòng)VNC時(shí)要求創(chuàng)建密碼[dawn@node110~]$vncserverYouwillrequireapasswordtoaccessyourdesktops.Password:Warning:passwordtruncatedtothelengthof8.Verify:Wouldyouliketoenteraview-onlypassword(y/n)?nNew'X'desktopisnode110:1Creatingdefaultstartupscript/home/dawn/.vnc/xstartupStartingapplicationsspecifiedin/home/dawn/.vnc/xstartupLogfileis/home/dawn/.vnc/node110:1.log修改VNC密碼：使用vncpasswd重設(shè)密碼；或刪除其passwd文件，再啟動(dòng)VNC時(shí)重新創(chuàng)建密碼[dawn@node110~]$rm~/.vnc/passwd修改VNC啟動(dòng)界面的參數(shù)：xterm界面過于簡陋，改為常用的gnome界面；注意行末“&”符號[dawn@node110~]$vi~/.vnc/xstartup1#!/bin/sh23xrdb$HOME/.Xresources4xsetroot-solidgrey5#xterm-geometry80x24+10+10-ls-title"$VNCDESKTOPDesktop"&6#twm&7gnome-session&VNC連接Linux遠(yuǎn)程桌面關(guān)閉VNC遠(yuǎn)程桌面：[dawn@node110~]$vncserver-kill:1KillingXvncprocessID22016重新打開VNC遠(yuǎn)程桌面：[dawn@node110~]$vncserverNew'X'desktopisnode110:1Startingapplicationsspecifiedin/home/dawn/.vnc/xstartupLogfileis/home/dawn/.vnc/node110:1.log在Windows客戶端，通過VNCView連接遠(yuǎn)程Linux的桌面，注意遠(yuǎn)程桌面的描述格式：VNC連接Linux遠(yuǎn)程桌面VNC控制遠(yuǎn)程Linux桌面：上傳下載數(shù)據(jù)WinSCP是一個(gè)Windows環(huán)境下使用SSH的開源圖形化SFTP客戶端，并支持SCP協(xié)議。它的主要功能就是在本地Windows與遠(yuǎn)程Linux服務(wù)器之間安全地復(fù)制文件。WinSCP簡介WinSCP登錄界面WinSCP登錄界面WinSCP操作界面Linux常用命令man是“manual”的簡寫，可查詢Linux常用命令的手冊。格式：man[關(guān)鍵字]查詢Linux命令使用方法：manls是“l(fā)ist”的簡寫，用來顯示指定目錄下的內(nèi)容。格式：ls[參數(shù)][路徑或文件名]顯示文件列表：lsvi是Linux終端下最常用的文檔創(chuàng)建和編輯工具。格式：vi[參數(shù)][文件名]編輯文件：vigrep是強(qiáng)大的檢索工具，可用正則表達(dá)式檢索字符串。格式：grep[參數(shù)][文件名]檢索字符串：grepscp采用SSH協(xié)議，通過網(wǎng)絡(luò)在節(jié)點(diǎn)之間傳輸文件。格式：scp[[user@]host1:]file1[[user@]host2:]file2遠(yuǎn)程復(fù)制文件：scpssh采用加密傳輸協(xié)議，用于登錄網(wǎng)絡(luò)上的其它節(jié)點(diǎn)。格式：ssh[user@]hostname[command]登錄不同節(jié)點(diǎn)：ssh瀏覽文件命令

cat：顯示一個(gè)文本文件的全部內(nèi)容；

more/less：瀏覽文本文件的內(nèi)容，沒有編輯功能；

head/tail：顯示文本文件的頭/尾若干行，默認(rèn)為10行；目錄操作命令

mkdir：創(chuàng)建目錄；

rmdir：刪除目錄；文件操作命令

touch：創(chuàng)建一個(gè)空文件，或者將指定文件的時(shí)間戳改為當(dāng)前時(shí)間；

rm：刪除文件；“rm-rf”可以迭代方式刪除整個(gè)目錄，慎用；

cp：拷貝文件；

mv：移動(dòng)文件，或者將文件重命名；

ln-s：創(chuàng)建文件軟鏈接，類似于快捷方式；

tar：將一組文件、目錄打包或解包，通過參數(shù)可設(shè)定是否壓縮文件；文件目錄類命令安裝和運(yùn)行程序示例：編譯、安裝OpenMPI：tar-xzvf./configure--prefix=/public/software/ompi-1.43-gnumakemakeinstall示例：設(shè)置OpenMPI的環(huán)境變量vi~/.bashrcexportMPIDIR=/public/software/ompi-1.43-gnuexportPATH=$MPIDIR/bin:$PATHexportLD_LIBRARY_PATH=$MPIDIR/lib:$LD_LIBRARY_PATHexportINCLUDE=$MPIDIR/include:$INCLUDEexportMANPATH=$MPIDIR/share/man:$MANPATHsource~/.bashrcLinux安裝程序什么是環(huán)境變量？

Linux是一個(gè)多用戶的操作系統(tǒng)。多用戶意味著每個(gè)用戶登錄系統(tǒng)后，都有自己專用的運(yùn)行環(huán)境。而這個(gè)環(huán)境是由一組變量所定義,這組變量被稱為環(huán)境變量。用戶可以對自己的環(huán)境變量進(jìn)行修改以達(dá)到對環(huán)境的要求。定制環(huán)境變量

環(huán)境變量是和Shell緊密相關(guān)的，它是通過Shell命令來設(shè)置的。環(huán)境變量又可以被所有當(dāng)前用戶所運(yùn)行的程序所使用。對于bash來說，可以通過變量名來訪問相應(yīng)的環(huán)境變量。全局環(huán)境變量

/etc/profile、/etc/profile.d/*.sh這些文件中設(shè)置的環(huán)境變量對所有用戶都起作用，登錄時(shí)自動(dòng)生效，稱為全局環(huán)境變量。全局環(huán)境變量可用來設(shè)定一些默認(rèn)的應(yīng)用環(huán)境，如指定編譯器、MPI并行庫等。用戶環(huán)境變量

安裝一個(gè)應(yīng)用程序后，相關(guān)的環(huán)境參數(shù)盡量不要加入的全局環(huán)境變量，避免版本沖突。

可在/public/software/profile.d/目錄下創(chuàng)建相應(yīng)的env文件，讓用戶在~/.bashrc或PBS腳本中自由選擇source。Linux的環(huán)境變量顯示環(huán)境變量：echo命令

[dawn@vnode110~]echo$HOME

/home/dawn設(shè)置一個(gè)新的環(huán)境變量：export命令

[dawn@vnode110~]exportNAME="RaidCheng“

[dawn@vnode110~]echo$NAME

RaidCheng清除環(huán)境變量：unset命令

[dawn@vnode110~]unsetNAME

[dawn@vnode110~]echo$NAME

[dawn@vnode110~]幾個(gè)關(guān)鍵的環(huán)境變量：

HOME：當(dāng)前用戶的主目錄

PATH：決定了shell將到哪些目錄中尋找命令或可執(zhí)行程序

LD_LIBRARY_PATH：shell在哪些目錄尋找動(dòng)態(tài)鏈接庫，非常重要

INCLUDE：編譯程序時(shí)，設(shè)定在哪些目錄下尋找頭文件Linux的環(huán)境變量方法一cd/home/your_account/your_workdir./your_code方法二cd$HOMEvi.bashrcexportPATH=/home/your_account/your_workdir:$PATHyour_code運(yùn)行串行程序確認(rèn)自己的并行環(huán)境##OpenMPI##source/public/software/profile.d/ompi143-gnu-env.shwhichmpirun/public/software/ompi143-gnu/bin/mpirun##IntelMPI##source/public/software/profile.d/impi-env.shwhichmpirun運(yùn)行并行程序(1)采用OpenMPI單機(jī)并行cd/home/your_account/your_workdirsource/public/software/profile.d/ompi143-gnu-env.shmpirun–np4./your_code跨節(jié)點(diǎn)并行cd/home/your_account/your_workdirsource/public/software/profile.d/ompi143-gnu-env.shvihosts.txtmpirun–np8–machinefilehosts.txt./your_code運(yùn)行并行程序(2)vihosts.txtnode1slots=2node2slots=2node3slots=2node4slots=2采用IntelMPI設(shè)定節(jié)點(diǎn)之間的通訊密碼echosecretword=xxxxxx>$HOME/.mpd.confchmod600$HOME/.mpd.conf單機(jī)并行cd/home/your_account/your_workdirsource/public/software/profile.d/impi-env.shmpirun–np4./your_code跨節(jié)點(diǎn)并行cd/home/your_account/your_workdirsource/public/software/profile.d/impi-env.shvihosts.txtmpirun–np8–machinefilehosts.txt./your_code運(yùn)行并行程序(2)vihosts.txtnode1:2node2:2node3:2node4:2使用作業(yè)調(diào)度作業(yè)管理系統(tǒng)的結(jié)構(gòu)在PBS系統(tǒng)中，用戶使用qsub命令提交用戶程序。用戶運(yùn)行程序的命令及PBS環(huán)境變量設(shè)置組成PBS作業(yè)腳本，提交格式如下：注釋,以“#”開頭PBS指令,以“#PBS”開頭SHELL命令PBS的基本命令[dawn@node1~]$vi

vasp.pbs#PBS–Nvasp.Hg#PBS–lnodes=2:ppn=8#PBS–qhighecho"Thisjobsis"$PBS_JOBID@$PBS_QUEUEcd$PBS_O_WORKDIRsource/public/software/profile.d/ompi143-gnu-env.shexportvasp_exe=/public/software/vasp/vasp5.2.11-ompimpirun-np16-machinefile$PBS_NODEFILE$vasp_exe[dawn@node1~]$qsub

vasp.pbs#PBS-lmem=200mb#PBS-lwalltime=01:00:00#PBS-lnodes=1:ppn=4#PBS-lnodes=4:ppn=2#PBS-lnodes=node01+node02+node03#PBS-lnodes=server:ib+3:bigmem:ib#PBS-lnodes=2:blue:ppn=2+red:ppn=3+b1014#PBS-lnodes=4:ppn=4,mem=200mb#PBS-lother=matlab$TORQUEHOME/server_priv/nodes

node01np=4bigmemdualcorenode02np=8bigmemmatlab……#PBS–l:申請計(jì)算資源qmgr-c'ps'#Createanddefinequeuehighcreatequeuehighsetqueuehighqueue_type=Executionsetqueuehighacl_user_enable=Truesetqueuehighacl_users=dawnsetqueuehighacl_users+=rootsetqueuehighPriority=30setqueuehighresources_max.nodect=4setqueuehighmax_user_queuable=10setqueuehighmax_user_run=4setqueuehighenabled=Truesetqueuehighstarted=True……qmgr-c“setqueuehighacl_users+=guest”qmgr–c:查詢隊(duì)列信息[dawn@node1~]$qsubexample.pbs2743.node200[dawn@node1~]$pestatnodestateloadpmemncpumemresiusrstasksjobids/usersnode10excl8.06*2402512240256620/0122743dawnnode11free0.002402512240256611/10node12free0.002402512240256611/10node13free0.002402512281276600/00node14free0.002402512281276611/10node16free0.99*24025122812712336/222733NONE*2735NONE*node17free1.3324025122402510113/112740NONE*node18free0.002402512240256611/10node19free0.002402512281276600/00node20offl*0.0048267245236912030/00node21offl*0.0048267245236912040/00node22offl*0.0048267245236912030/00node23free0.0048267245236912190/00node24free0.0048267245236912111/10node25free0.0048267245236912111/10node26free0.0048267245236912121/10node27free0.0048267245236912071/10node28free0.003210716362098940/00node29free0.003210716362098910/00pestat:查詢節(jié)點(diǎn)狀態(tài)節(jié)點(diǎn)狀態(tài)excl：所有CPU資源已被占用；busy：CPU已接近滿負(fù)荷運(yùn)行；free：全部或部分CPU空閑；offl：管理員手動(dòng)指定離線狀態(tài)；[dawn@node1~/pbs]$qsubexample.pbs2739.node200[dawn@node1~/pbs]$qstat-annode200:Req'dReq'dElapJobIDUsernameQueueJobnameSessIDNDSTSKMemoryTimeSTime-----------------------------------------------------------------------------------2739.node200dawnhighpbsTest590512--00:00R--node40/1+node40/0查詢作業(yè)命令

qstat[參數(shù)]，其中參數(shù)可為:

-q：列出系統(tǒng)隊(duì)列信息

-B：列出PBS服務(wù)器的相關(guān)信息

-Q：列出隊(duì)列的一些限制信息

-an：列出隊(duì)列中的所有作業(yè)及其分配的節(jié)點(diǎn)