昆明超算分中心用戶試用說明

1、昆明超算分中心用戶試用說明昆明超算分中心采用的是曙光5000系列的高性能集群計算機系統(tǒng)，其整體計算能力理論峰值為10T flops。2009年12月完成安裝，現(xiàn)已投入試運行。本文主要介紹該計算機的整體的軟硬件環(huán)境，以及機器的使用方法。機器基本軟硬件環(huán)境硬件部署昆明超算分中心采用60臺曙光刀片服務器、兩臺曙光8路胖節(jié)點為計算服務器，10臺機架式服務器作為IO、登陸管理及網(wǎng)格服務器，網(wǎng)絡系統(tǒng)由千兆網(wǎng)和Infiniband高速網(wǎng)構成，存儲系統(tǒng)為100T的盤陣。具體安裝配置情況如下：1） 計算節(jié)點：Node1至Node060為曙光TC2600刀片服務器（4路4核，32G內(nèi)存），Node61、Node6

2、2為8路4核胖節(jié)點，配置128G內(nèi)存，供需要大內(nèi)存的計算任務使用。共用1024個核供高性能計算使用，可提供9萬億次的理論計算能力。2） IO節(jié)點（Node63至Node68）：4臺機架式服務器組成Lastre并行文件系統(tǒng)IO節(jié)點，連接84T盤陣；另有兩部服務器構成HA雙機節(jié)點，連接16T盤陣（NSF文件系統(tǒng)），為Solexa測序儀提供高可靠的IO傳輸保障。3） 管理及登陸節(jié)點：Node69為用戶登陸節(jié)點；Node70為管理節(jié)點，曙光配置的集群管理系統(tǒng)Gridview，Platform 公司的LSF作業(yè)管理系統(tǒng)等管理軟件安裝部署在該節(jié)點上。5） 存儲系統(tǒng)：配置了100T盤陣，其中84T部署為并行

3、文件系統(tǒng)Lustre（做完raid6加熱備后，剩余約60T），16T的空間部署為網(wǎng)絡文件系統(tǒng)NFS（做完raid6加熱備后，剩余約12T），掛載在雙機節(jié)點的/Solexa 下，保證測序數(shù)據(jù)的實時高可靠傳輸。6）網(wǎng)絡配置：系統(tǒng)配置兩套網(wǎng)絡，千兆網(wǎng)和Infiniband網(wǎng)。超算中心網(wǎng)絡以光纖與研究所內(nèi)網(wǎng)連接。系統(tǒng)軟件部署1）操作系統(tǒng)：計算節(jié)點和前端接入節(jié)點的操作系統(tǒng)均為64位SuSE Linux Enterprise Server 10，提供了一個標準的64位Linux操作環(huán)境，用戶需要事先適當熟悉命令行方式的基本Linux操作，特別是文件目錄操作，并應該會熟練使用一種編輯器(vi等)。2）作業(yè)管

4、理系統(tǒng)：采用Platform 公司的LSF作業(yè)管理系統(tǒng)。為保障計算系統(tǒng)有效利用眾多處理器核心所提供的計算能力，必須有一個統(tǒng)一的作業(yè)管理系統(tǒng)，統(tǒng)一地跟用戶交互，接收提交的各類計算任務，統(tǒng)一地分配計算資源，將各種各樣的用戶作業(yè)具體指派到節(jié)點上執(zhí)行。對用戶來說不需要關心計算具體是在哪里進行的，系統(tǒng)會自動按照優(yōu)化原則調(diào)度，這不僅方便了用戶的使用，而且提高了整個系統(tǒng)的利用率。作業(yè)管理系統(tǒng)是整個超級計算機最重要的軟件環(huán)境之一，因此我們安裝配置了目前最常用的LSF (Load Sharing Facility) 作業(yè)管理系統(tǒng)。3）編譯環(huán)境：系統(tǒng)安裝的編譯器、并行環(huán)境以及數(shù)學庫見下表：分類名稱路徑版本說明編譯

5、器intel編譯器/public/software/intel10.0.23包含C, C+, Fortran77, Fortran90 編譯器pgi編譯器/public/software/pgi7.1.4包含C, C+, Fortran77, Fortran90 編譯器。包含acml數(shù)學庫MPIopenmpi-gnu/public/software/mpi/openmpi132-gnuopenmpi1.2.8支持infiniband和千兆網(wǎng)，使用mpicc等mpi編譯器時調(diào)用gnu編譯器openmpi-intel/public/software/mpi/openmpi132-intelopen

6、mpi1.2.8支持infiniband和千兆網(wǎng)，使用mpicc等mpi編譯器時調(diào)用intel編譯器openmpi-pgi/public/software/mpi/openmpi128-pgiopenmpi1.2.8支持infiniband和千兆網(wǎng)，使用mpicc等mpi編譯器時調(diào)用pgi編譯器數(shù)學庫Gotoblasgnu/public/software/mathlib/libgoto-gnu.aGotoblas1.26目前已知的性能最好的blas庫，使用gcc和g77編譯lapackgnu/public/software/mathlib/liblapack_gnu.a使用gnu編譯器編譯的l

7、apack庫fftw2-float/public/software/mathlib/fftw215-float-gnu/fftw2.1.5單精度fftw3-float-gnu/public1/software/mathlib/fftw312-float-gnu/fftw3.1.2單精度MKL/public/software/intel/Compiler/11.1/059/mkl使用mpichacml/public/software/pgi使用openmpi應用軟件部署生物信息軟件部署：mpiblast150 /public/software/mpiblast150clustWmpi/publi

8、c1/software/mathlib/fftw312-float-gnu/hmmermpi/public/software/intel/Compiler/11.1/059/mkl化學計算軟件部署gauss03/public/software/gaussdock6/public/software/dock6openmpi*注：具體軟件作業(yè)提交方式請參考“l(fā)sf training”演示文稿中的實例。上機操作我們會給各位老師開通試用的賬號和密碼。請需要試用的老師發(fā)送您的信息：姓名、課題組、研究方向、主要使用的軟件、其他軟件需求等信息發(fā)送到 HYPERLINK mailto:zhuanghuifu

9、zhuanghuifu ，我將回復給您試用的賬號密碼。待最終的用戶管理辦法出臺后，如果您想繼續(xù)使用超算中心的計算環(huán)境，在簽署相關文件后，該試用賬號可轉(zhuǎn)為正式的用戶賬號。登陸用戶在windows或Linux下，使用客戶端，通過ssh協(xié)議來鏈接。使用的客戶端大家登陸, 到“/Incoming/Document incoming/超算相關軟件及教程”目錄里面，（注：如果登陸ftp需要用戶名和密碼，請?zhí)顚慿ibftpuser 密碼：kibftpuser2003，以后我們的一些軟件教程信息都會放在里面。）文本界面登陸軟件：SSH Secure Shell Client、putty。以ssh client

10、 為例輸入服務器 IP地址：69用戶名：* 密碼：*。即可登陸服務器終端進行命令操作。外單位用戶登錄：（1）登錄17，然后ssh到 node69 之后與內(nèi)網(wǎng)用戶一樣操作。（2）院網(wǎng)格用戶使用科院計算環(huán)境專用putty可登陸下載（ HYPERLINK /new/download/putty.zip /new/download/putty.zip）。如您的用戶名為test則Host Name輸入 testscgrid，選擇SSH連接，連接后輸入密碼，即登錄到默認的計算節(jié)點，即為昆明的節(jié)點：Last login: Mon Jan 18 12:22:40 2010 from 15/ Notice /W

11、elcome to SCE! / support: HYPERLINK mailto:haili haili /kibsce $登錄后的界面，如不是上述界面，請聯(lián)系我們。注：也可以使用其他的ssh工具，不過要輸入我們網(wǎng)格的服務器地址17。（3）portal模式，僅限于已經(jīng)集成的軟件，如Gauss等。詳見“SCE PORTAL 用戶手冊”文件傳輸以SSH Secure File Transfer Client為例。外網(wǎng)用戶登錄17。內(nèi)網(wǎng)登錄：69。圖形軟件運行界面軟件：xmanager xstart 以Xstart為例，啟動、 輸入 ssh IP地址 輸入 用戶名，密碼即可登陸 在xshell下

12、可以啟動圖形界面軟件：例如 Firefox即可看到圖形界面編輯器。作業(yè)提交和軟件使用：用戶登陸后，是在登陸節(jié)點node69上，用戶可以在登錄節(jié)點查看目錄、編輯文件、查看作業(yè)、查看資源使用情況等。但是用戶不允許在登錄節(jié)點運行計算程序或前后處理程序，只能以作業(yè)形式向作業(yè)調(diào)度系統(tǒng)提交，由作業(yè)調(diào)度軟件安排程序的具體執(zhí)行節(jié)點。（該節(jié)點功能為管理用戶登錄等事務，如果在node69上直接運行程序，會造成該節(jié)點很忙，影響大家的使用）這里列出常用的幾個作業(yè)管理命令：bsub -W 360 -n 32 -q QN_Norm -a openmpi mpirun.lsf ./blast.shJob is submit

13、ted to queue .參數(shù)說明: -a openmpi 指定用openmpi運算 -W 360 運行360分鐘 - n 32 需要32個CPU -mpirun.lsf, 使用openmpi時的關鍵字 -q QN_Norm 指定QN_Norm隊列隱藏參數(shù):output.%J, 標準輸出文件(包括相關錯誤提示)bjobs 查看自己的所有運行任務情況；說明：輸入bjobs后，會列出當前用戶正在運行的所有作業(yè)，最左邊一列數(shù)字是每個作業(yè)的JOBID，一些其他命令使用的時候需要調(diào)用這個JOBID。bjobs -l 查看所有運行任務的詳細情況bjobs l JOBID 查看JOBID這個任務的詳細情況

14、bpeek JOBID 查看某任務屏幕輸出bpeek -f JOBID 跟蹤查看某任務屏幕輸出bkill JOBID 終止某任務運行bkill JOBID1 JOBID2 JOBID3 終止多個任務運行busers 查看用戶賬號計算資源權限bqueues 查看所有任務隊列的狀態(tài)bstop JOBID 臨時掛起某個計算作業(yè)，為其它計算騰出資源bresume JOBID 恢復由bstop掛起的作業(yè)執(zhí)行busers命令的屏幕輸出如下：MAX: 用戶可用core數(shù)上限NJOBS: 已提交作業(yè)所需要的全部core數(shù)PEND: 因種種原因正在隊列中等待執(zhí)行的作業(yè)所需全部core數(shù)RUN: 正在運行的作業(yè)所使用的全部core數(shù)SSUSP: 系統(tǒng)掛起的用戶作業(yè)所使用core數(shù)USUSP: 用戶自行掛起的作業(yè)所使用core數(shù)RSV: 系統(tǒng)為你預約保留的core數(shù)一個作業(yè)提交到隊列后，將有可能為以下的幾種狀態(tài)之一。PEND 任務在隊列中排隊等待RUN 任務正在執(zhí)行PSUSP 任務在隊列中排隊等待時被用戶掛起SSUSP 任務被系統(tǒng)掛起USUSP 任務被用戶自行使用bstop命令掛起DONE 作業(yè)正常結(jié)束，exit代碼為0EXIT 作業(yè)退出，exit代碼不為0其他詳細說明見“l(fā)sf t