高性能計(jì)算作業(yè)管理系統(tǒng)

1、高性能計(jì)算作業(yè)管理及其應(yīng)用高性能計(jì)算作業(yè)管理及其應(yīng)用 趙廣鵬趙廣鵬 河南理工大學(xué)現(xiàn)教中心計(jì)算中心河南理工大學(xué)現(xiàn)教中心計(jì)算中心 目錄 Batch Systems PBS 實(shí)例 高性能計(jì)算與云計(jì)算 Batch Systems 批處理系統(tǒng)是集計(jì)算機(jī)和其他資源 （網(wǎng)絡(luò)、存儲(chǔ)系統(tǒng)、存儲(chǔ)器服務(wù)等等） 為整體的系統(tǒng)，即整體效能是大于部 分之和的系統(tǒng)。 目前主要分為兩類：一類是單機(jī)批處 理系統(tǒng)，用戶自己管理整個(gè)系統(tǒng)；另 一類則是有成千上萬(wàn)的機(jī)器在執(zhí)行用 戶作業(yè)的同時(shí)來(lái)跟蹤軟件許可證、獲 得硬件設(shè)備和存儲(chǔ)系統(tǒng)。 Batch Systems 批處理系統(tǒng)將資源進(jìn)行整合，極大的降低了 資源管理的難度，并且給用戶提供了

2、一個(gè)統(tǒng) 一的視圖。 合適的配置將抽象出更多細(xì)節(jié)，這些細(xì)節(jié)包 括運(yùn)行和管理工作，將允許更高級(jí)別的資源 利用。 例如用戶只需要定義需求，而不需要知道自 己所提交的作業(yè)具體在哪些機(jī)器上運(yùn)行。 這種統(tǒng)一透明的抽象視圖，系統(tǒng)可以同時(shí)執(zhí) 行成千上萬(wàn)的作業(yè)。 Batch Systems Batch Systems Resource Manager Batch Systems scheduler 資源管理器提供了作業(yè)資源管理器提供了作業(yè) 底層的開始、持有、取底層的開始、持有、取 消和監(jiān)控操作。如果沒消和監(jiān)控操作。如果沒 有這些底層開銷，僅僅有這些底層開銷，僅僅 靠單一的調(diào)度器無(wú)法完靠單一的調(diào)度器無(wú)法完 成對(duì)作

3、業(yè)的控制。成對(duì)作業(yè)的控制。 調(diào)度器應(yīng)該確保作業(yè)在什調(diào)度器應(yīng)該確保作業(yè)在什 么時(shí)間什么地點(diǎn)什么方式么時(shí)間什么地點(diǎn)什么方式 運(yùn)行能夠保證整個(gè)系統(tǒng)運(yùn)運(yùn)行能夠保證整個(gè)系統(tǒng)運(yùn) 行最佳。行最佳。 Resource Manager Flow 1.加載整體資源信息 2.加載指定節(jié)點(diǎn)信息 3.加載作業(yè)信息 4.加載隊(duì)列/策略信息 5.依照集群的調(diào)度 策略來(lái)對(duì)作業(yè)做相 應(yīng)的取消/修改/搶 占操作 6.在可用資源和 策略的限制下開 始執(zhí)行作業(yè) 7.響應(yīng)用戶提交 的命令 scheduler 衡量一個(gè)調(diào)度器好壞的三個(gè)方面 Optimizations Mission Policies Traffic Control Tr

4、affic Control 調(diào)度器應(yīng)該確保提交的作業(yè)都是 相互獨(dú)立的。如果允許作業(yè)互相 搶占資源，那么必然會(huì)導(dǎo)致性能 的降低、作業(yè)執(zhí)行時(shí)間的增長(zhǎng)， 還可能導(dǎo)致一個(gè)或者多個(gè)作業(yè)執(zhí) 行的失敗。所以調(diào)度器應(yīng)該確保 已申請(qǐng)資源的作業(yè)的獨(dú)立性。 Mission Policies 為了某種特定的用途，我們才會(huì) 去建立一個(gè)集群。這些用途或者 主要目標(biāo)，往往需要定義許多不 同的規(guī)則。例如這個(gè)系統(tǒng)應(yīng)該如 何被使用或者誰(shuí)可以使用它。那 么一個(gè)高效的調(diào)度器應(yīng)該提供一 系列策略來(lái)滿足這些要求。 Optimizations 一個(gè)集群的計(jì)算能力是一項(xiàng)有限 的資源，隨著時(shí)間的推移必然會(huì) 超出供給。智能調(diào)度決策可以更 好的提

5、高集群的工作效率，可以 執(zhí)行更多的作業(yè)以及快速的作業(yè) 切換。綜合流量控制和任務(wù)策略 ，優(yōu)化以保證無(wú)論何時(shí)計(jì)算的計(jì) 算性能能夠得到最大化。 PBS （Portable Batch System） PBS最初由NASA的Ames研究中心開發(fā)， 為了提供一個(gè)能滿足異構(gòu)計(jì)算網(wǎng)絡(luò)需要 的軟件包，特別是滿足高性能計(jì)算的需 要。它力求提供對(duì)批處理的初始化和調(diào) 度執(zhí)行的控制，允許作業(yè)在不同主機(jī)間 的路由。 PBS的技術(shù)特色 力求控制對(duì)批處理的初始化和調(diào)度執(zhí)行，允許 作業(yè)在不同主機(jī)間的路由。 獨(dú)立的調(diào)度模塊存有各個(gè)可用的排隊(duì)作業(yè)、運(yùn) 行作業(yè)和系統(tǒng)資源使用信息，并且允許系統(tǒng)管 理員定義資源和每個(gè)作業(yè)可使用的數(shù)量。

6、 在作業(yè)調(diào)度策略上，PBS提供了默認(rèn)的公平共 享和獨(dú)占FIFO調(diào)度策略，還提供了TCL、BACL、 C三種過(guò)程語(yǔ)言和調(diào)度類，并定義了一些調(diào)度 需要的函數(shù)和完整的API，方便實(shí)現(xiàn)新的調(diào)度策 略。 提供文件傳送，F(xiàn)ile Stage-in 和Stage-out。 滿足POSIX1003.2d 標(biāo)準(zhǔn)，支持作業(yè)依賴，和完 整的安全認(rèn)證。 提供用戶映射功能，使PBS 能用于用戶不一致 的系統(tǒng)中。 PBS的組成 pbs command:用于提交、監(jiān)視、修 改和刪除作業(yè)。 pbs server: 提供基本的批處理服務(wù) ，例如接收/創(chuàng)建一個(gè)批處理作業(yè) ，管理維護(hù)作業(yè)隊(duì)列，管理輸出結(jié) 果等。 pbs mom:是

7、一個(gè)守護(hù)進(jìn)程，從pbs server處接收作業(yè)后放入其執(zhí)行隊(duì) 列中等待執(zhí)行。 scheduler(maui): 對(duì)用戶提交的作業(yè) 進(jìn)行調(diào)度。 Maui Maui 是一個(gè)高級(jí)的作業(yè)調(diào)度器。它采用積極 的調(diào)度策略優(yōu)化資源的利用和減少作業(yè)的響 應(yīng)時(shí)間。Maui的資源和負(fù)載管理允許高級(jí)的 參數(shù)配置：作業(yè)優(yōu)先級(jí)(Job Priority)、調(diào)度和 分配(Scheduling and Allocation)、公平性和公 平共享(Fairness and Fairshare)和預(yù)留策略 (Reservation Policy)。Maui的QoS機(jī)制允許資 源和服務(wù)的直接傳遞、策略解除(Policy Exem

8、ption)和指定特征的受限訪問(wèn)。Maui采用 高級(jí)的資源預(yù)留架構(gòu)可以保證精確控制資源 何時(shí)、何地、被誰(shuí)、怎樣使用。Maui的預(yù)留 架構(gòu)完全支持非入侵式的元調(diào)度。 PBS單機(jī)環(huán)境作業(yè)流程 scheduler server mom kernel policy events PBS集群環(huán)境作業(yè)流程 mom kernel running jobs 計(jì)算 節(jié)點(diǎn) C client 客戶端D mom kernel running jobs scheduler server policyevents 主節(jié)點(diǎn)A mom kernel running jobs new running jobs 計(jì)算節(jié)點(diǎn)B 作業(yè)

9、的生命周期 創(chuàng)建創(chuàng)建 提交提交 執(zhí)行執(zhí)行 結(jié)束 編寫編寫pbs腳本腳本 指定作業(yè)的詳細(xì)參數(shù)，比如最大運(yùn)行時(shí)間等等指定作業(yè)的詳細(xì)參數(shù)，比如最大運(yùn)行時(shí)間等等 qsub命令來(lái)提交作業(yè)命令來(lái)提交作業(yè) 提交后進(jìn)入調(diào)度等待執(zhí)行提交后進(jìn)入調(diào)度等待執(zhí)行 依照各種參數(shù)以及調(diào)度策略執(zhí)行依照各種參數(shù)以及調(diào)度策略執(zhí)行 可用可用qstat查看作業(yè)詳細(xì)狀態(tài)查看作業(yè)詳細(xì)狀態(tài) 查看運(yùn)行結(jié)果查看運(yùn)行結(jié)果 默認(rèn)會(huì)在提交作業(yè)的目錄下生成報(bào)告文件默認(rèn)會(huì)在提交作業(yè)的目錄下生成報(bào)告文件 實(shí)例-MPICH int namelen; char processor_nameMPI_MAX_PROCESSOR_NAME; MPI_Init( /

10、mpi初始化 MPI_Comm_rank(MPI_COMM_WORLD, /得到當(dāng)前進(jìn)程標(biāo)號(hào) MPI_Comm_size(MPI_COMM_WORLD, /得到總的進(jìn)程數(shù) MPI_Get_processor_name(processor_name, / 得到當(dāng)前進(jìn)程運(yùn)行的機(jī)器名字和長(zhǎng)度 fprintf(stderr,Hello Wrold!Processor %d of %d on %sn,myid,numprocs,processor_name); MPI_Finalize(); /mpi退出 return 0; 實(shí)例-MPICH N也可以是hh:mm:ss的形式。 mem=NK|M|GB|

11、W：請(qǐng)求Nkilo|mega|gigabytes|words 大小的 內(nèi)存。 nodes=N:ppn=M ：請(qǐng)求N個(gè)結(jié)點(diǎn)，每個(gè)結(jié)點(diǎn)M個(gè)處理器。 實(shí)例-MPICH&PBS 3.提交PBS腳本 node1:/public/home/ye/test/matlab # qsub mpi_pbs.pbs 4.查看運(yùn)行狀態(tài) node1:/public/home/ye/test/matlab # qstat Job id Name User Time Use S Queue - - - - - - 4742.node1 mpi_pbs.pbs root 0 R low 實(shí)例-MPICH&PBS 查看程序執(zhí)行

12、結(jié)果： Hello Wrold!Processor 0 of 160 on node7 Hello Wrold!Processor 5 of 160 on node8 Hello Wrold!Processor 2 of 160 on node8 Hello Wrold!Processor 11 of 160 on node7 Hello Wrold!Processor 12 of 160 on node8 Hello Wrold!Processor 24 of 160 on node8 Hello Wrold!Processor 3 of 160 on node8 Hello Wrold!P

13、rocessor 1 of 160 on node7 Hello Wrold!Processor 9 of 160 on node7 Hello Wrold!Processor 10 of 160 on node8 . 高性能計(jì)算系統(tǒng)管理的挑戰(zhàn) 資源保證資源保證/短作業(yè)等待時(shí)間短作業(yè)等待時(shí)間 利用率利用率/吞吐量吞吐量 追求短作業(yè)等待時(shí)間導(dǎo)致低利用率追求短作業(yè)等待時(shí)間導(dǎo)致低利用率 追求高利用率則會(huì)導(dǎo)致用戶作業(yè)等待時(shí)間長(zhǎng)追求高利用率則會(huì)導(dǎo)致用戶作業(yè)等待時(shí)間長(zhǎng) 多用戶使用的高性能計(jì)算系統(tǒng) 權(quán)衡系統(tǒng)利用率和用戶服務(wù)質(zhì)量， 很難同時(shí)保證高利用率和短作業(yè)等待時(shí)間 獨(dú)立應(yīng)用集群 資源和負(fù)載管理 云計(jì)算 云計(jì)算帶來(lái)的好處 資源上限遠(yuǎn)遠(yuǎn)超過(guò)需求 資源隨時(shí)可用 計(jì)費(fèi)更容易 私有云(Private Clouds) 提供對(duì)數(shù)據(jù)、安全性和服務(wù)質(zhì)量的最有效控制 在現(xiàn)有基礎(chǔ)設(shè)施基礎(chǔ)上完成對(duì)應(yīng)用程序的部署 HPC Clouds HPC Clouds并不是一個(gè)全新的 概念。它是借用云計(jì)算的一些 技術(shù)和方案應(yīng)用到高性能計(jì)算 中去，從而可以為更多的用戶 和應(yīng)用程序提供服務(wù)，并且減 少計(jì)算的復(fù)雜度。 計(jì)算效率提高的趨勢(shì)