PBS作業(yè)調(diào)度應(yīng)用與說明

1、PBS(PortableBatchSystem|l 初由 NASA 的 Ames 研究中心開發(fā)， 主要為了提供一個能滿足異構(gòu)計算網(wǎng)絡(luò)需要的軟件包，用于靈活的批處理，特別是滿足高性能計算的需要，如集群系統(tǒng)、超級計算機和大規(guī)模并行系統(tǒng)。PBS 的主要特點有：代碼開放， 免費獲??； 支持批處理、 交互式作業(yè)和串行、 多種并行作業(yè)， 如 MPI、 PVM、HPF、 MPL;PBS 是功能最為齊全，歷史最悠久， 支持最廣泛的本地集群調(diào)度器之一.PBS的目前包括 openPBS,PBSPrcffiTorque 三個主要分支.其中 OpenPBS 是最早的 PBS系統(tǒng)， 目前已經(jīng)沒有太多后續(xù)開發(fā)，PBSpr

2、o 是 PBS 的商業(yè)版本， 功能最為豐富.Torque是 Clustering 公司接過了 OpenPBS,并給與后續(xù)支持的一個開源版本.PBS 的應(yīng)用不同于一般的直接運行：mpirunnpnumber./executable_file直接運行上句，則只能在單個節(jié)點上進行并行計算。如果要在多個節(jié)點上并行執(zhí)行則要寫 machinefile 或 p4pgfile,兩種文件的具體寫法參考張林波等并行計算導(dǎo)論。運行命令分別為：mpirunMachinefilefilenamempirun3Pgfilename應(yīng)用 PBS 提交任務(wù)則會形成任務(wù)隊列，依次執(zhí)行，有效分配資源，避免資源競爭。否則 CPU

3、時間片會輪流分配給各個人的任務(wù)，從而影響所有人的正常作業(yè)torquePBS 提供對批處理作業(yè)和分散的計算節(jié)點( (Computenodes)勺控制。校裝 Torque 組件：在一個節(jié)點上( (headnode 安裝 pbs_server 所有計算節(jié)點上安裝 pbs_mom,所有計算節(jié)點和提交節(jié)點上安裝 PBS 客戶端。至少做最基本的配置，使 Torque 系統(tǒng)跑起來，也就是使 pbs_server 能知道該和哪些機器通話。pbs_server 上創(chuàng)建一個作業(yè)提交隊列。施集群的所有節(jié)點上指定一個 clustername 作為 property0這可以用qmgr 命令做到。比如:qmgr-cset

4、nodenodeproperties=cluster-name麻保作業(yè)可以提交到節(jié)點上去。這可以通過使用 qsub 命令做到。比如：echosleep30|qsub-lnodes=31.1 作業(yè)提交系統(tǒng) Torque 個人安裝總結(jié)（PBS）1.2 Torque 安裝（在 master 管理結(jié)點上）.解壓安裝包tar-zxvftorque-2.3.0.tar.gz.進入到解壓后的文件夾./configure-with-default-server=mastermakemakeinstall.打包，必須是個普通用戶rootmastertorque-2.3.0#./torque.setuprootm

5、astertorque-2.3.0#makepackages把產(chǎn)生的tpackages,torque-package-clients-linux-x86-64.sh,torque-package-mom-linux-x86-64.sh 拷貝至 I 所有節(jié)點。3）客戶端安裝rootmastertorque-2.3.0#./torque-package-clients-linux-x86_64.sh-installrootmastertorque-2.3.0#./torque-package-mom-linux-x86_64.sh-install4）編輯/var/spool/torque/serv

6、er_priv/nodes（需要自己建立）力口入如下內(nèi)容masternp=4node01np=4node09np=45） 啟動 pbs_server,pbs_sched,pbs_mom,把其寫至 U/etc/rc.local 里使其能開機自啟動。6）創(chuàng)建隊列rootmaster#qmgrcreatequeuestudentssetqueuestudentsqueue_type=ExecutionsetqueuestudentsPriority=40setqueuestudentsresources_max.cput=96:00:00setqueuestudentsresources_min.c

7、put=00:00:01setqueuestudentsresources_default.cput=96:00:00setqueuestudentsenabled=Truesetqueuestudentsstarted=True4、在 node0 x（x=1-9，計算結(jié)點上）rootnode0 xtorque-2.3.0#./torque-package-clients-linux-x86_64.sh-installrootnode0 xtorque-2.3.0#./torque-package-mom-linux-x86_64.sh-install然后啟動 pbs_mom 把 pbs_mo

8、m 寫入/etc/rc.local1.2TorquePBS 使用1、創(chuàng)建用戶在 master 的 root 下useraddtestpasswdtest輸入 test 密碼到/var/yp 下 make 下2、配置普通用戶的 sshsutestssh-keygen-tdsacd.sshcatid_pub.dsaauthorized_keyschmod600authorized_keys3、編寫作業(yè)腳本，見下文4、啟動 mpdmpdboot-n10-fmfamfa 內(nèi)容：master:4node01:4node09:45、提交，查詢，刪除作業(yè)提交作業(yè)：qsubpbsjobtest1masterp

9、bstest舟 subpbsjob48.master 作業(yè)提交后會有一個作業(yè)號查詢作業(yè)：qstattest1masterpbstest$stat刪除作業(yè)：qdel 作業(yè)號test1masterpbstest舟 del482.0PBS 服務(wù)開啟操作流程我在 Dawing 上操作成功了！1）在主節(jié)點上打開 PBS 服務(wù)/etc/init.d/pbs_serverstart2）在主節(jié)點和其他節(jié)點打開 PBS 客戶端。主節(jié)點雖是服務(wù)端，但也可參加計算，因而要打開客服。依次執(zhí)行如下：/etc/init.d/pbs_momstart3）在所有節(jié)點上打開調(diào)度器/etc/init.d/maui.dstart對

10、于這些 PBS 的功能開啟有幾個相同的參量:status 查看狀態(tài)restart 重啟stop 終止start 開啟4）接下來是檢查是否可以提交作業(yè)pbsnodes-a返回 free 即表示可以提交作業(yè)。5）寫腳本 vimpbs_fdtd_TE_xyPML_MPI_OpenMP#!/bin/bash規(guī)定使用的節(jié)點數(shù) nodes 以及每個節(jié)點能跑任取一作業(yè)任務(wù)名 taskname到工作目錄下（此為 PBS 提供的環(huán)境變量）mpirun-np20./fdtd_TE_xyPML_MPI_OpenMP執(zhí)行 mpirun 一句可以用-machinefile 或-p4Pg 命令參量制定6）提交#PBS-l

11、nodes=5:ppn=4多少核 ppn#PBSNtasknamecd$PBS_O_WORKDIRqsubpbs_fdtd_TE_xyPML_MPI_OpenMP7）可用 qstat 查看作業(yè)任務(wù)，具體參量參看下文。流程終結(jié)!99294-Numbered_ae64b842-e072-4094-9180-af4cca8a975b-Bulleted_8dddb51f-8058-497c-9edb-0ab5edffe15b(PBS 常用命令和選項99294-Numbered_ae64b842-e072-4094-9180-af4cca8a975b-Bulleted_8dddb51f-8058-497

12、c-9edb-0ab5edffe15b(基本腳本寫法和選項PBS 是 ProtableBatchSystem 勺縮寫，是一個任務(wù)管理系統(tǒng)。當多個用戶使用同一個計算資源時，每個用戶用 PBS 腳本提交自己的任務(wù)，由 PBS 對這些任務(wù)進行管理和資源的分配。下面是一個簡單的 PBS 腳本：#!/bin/bash#PBS-lnodes=20#PBS-Nsnaphu#PBS-joe#PBS-lwalltime=24:00:00#PBS-lcput=1:00:00#PBS-qdquecd$PBS_O_WORKDIRcat$PBS_NODEFILE$PBS_NODEFILENODEFILEmpirun-n

13、p./mpitest將這個腳本保存成 submit 然后 qsubsubmi 僦將這個 mpitest 的任務(wù)提交給了系統(tǒng)。腳本中#PBS 為腳本選項，用于設(shè)置一些參數(shù)。#PBS-l 表示資源列表，用于設(shè)定特定任務(wù)所需的一些參數(shù)。這里的 nodes 表示并行環(huán)境下可以使用的節(jié)點數(shù)，而 walltime 表示任務(wù)最大時限，而 cput 表示 cpu 時間的最大時限，運行時間和 cpu 使用時間超過對應(yīng)的時限，任務(wù)就會以超時退出。這三個參數(shù)不是 PBS 腳本參數(shù)，而是并行環(huán)境所需的參數(shù)。#PBS-N 表示任務(wù)名稱#PBS-j 表示系統(tǒng)輸出，如果是 oe,則標準錯誤輸出（stderr）和標準輸出（s

14、tdout）合并為 stdout,如果是 eo,則合并為 stderr,如果沒有設(shè)定或設(shè)定為 n,則 stderr 和 stdout 分開。#PBS-q 表示當前任務(wù)選用的隊列。在并行環(huán)境下，一個系統(tǒng)中往往有多個隊列，任務(wù)提交后，將在所選的隊列中排除等候。系統(tǒng)中有哪些隊列可以用 qstat-q 查看。PBS 腳本文件由腳本選項和運行腳本兩部分組成。PBS 作業(yè)腳本選項（若無-C 選項，則每項前面加#PBS2）運行腳本同 LINUX 下一般的運行腳本文件格式如下：mpirunnp 進程數(shù) JW 執(zhí)行程序名3.2PBS 命令與選項PBS 提供的 4 條命令用于作業(yè)管理qsub 命令：用于提交作業(yè)腳

15、本命令格式：qsub-adate_time-epath-I-lresource_list-Muser_list-Nname-Spath_list-uuser_list-Wadditional_attributes例：#qsubaaa.pbs 提交某作業(yè)，系統(tǒng)將產(chǎn)生一個作業(yè)號qstat 命令：用于查詢作業(yè)狀態(tài)信息命令格式：qstat-f-a-i-n-s-R-Q-q-B-u參數(shù)說明：fjobid 列出指定作業(yè)的信息a 列出系統(tǒng)所有作業(yè)i 列出不在運行的作業(yè)n 列出分配給此作業(yè)的結(jié)點s 列出隊列管理員與 scheduler 所提供的建議R 列出磁盤預(yù)留信息Q 操作符是 destinationid,指明請求的是隊列狀態(tài)q 列出隊列狀態(tài)，并以 alternative 形式顯示auuserid 列出指定用戶的所有作業(yè)B 列出 PBSServer 信息r 列出所有正在運行的作業(yè)Qfqueue 列出指定隊列的信息u 若操作符為作業(yè)號，則列出其狀態(tài)。若操作符為 destinationid,則列出運行在其上的屬于 user_list 中用戶的作業(yè)狀 0例：#qstat-f211 查詢作業(yè)號為 211 的作業(yè)的具體信息。qdel 命令：用于刪除已提交的作業(yè)命令格式：qdel-W 間隔時間作業(yè)號例：#qdel-W1521115 秒后刪除作業(yè)號為 21