聯(lián)想作業(yè)管理系統(tǒng)

聯(lián)想作業(yè)管理系統(tǒng)2003年3月需求分析系統(tǒng)概述系統(tǒng)使用A&Q高性能計(jì)算機(jī)的應(yīng)用領(lǐng)域正迅速擴(kuò)展科學(xué)計(jì)算產(chǎn)品設(shè)計(jì)生物科學(xué)探索...如何既能方便用戶管理作業(yè)，又能有效利用機(jī)群系統(tǒng)的各種軟硬件資源，從而提高系統(tǒng)的資源利用率和吞吐率呢？需求分析系統(tǒng)概述系統(tǒng)使用A&Q系統(tǒng)定義機(jī)群作業(yè)管理系統(tǒng)是建立在操作系統(tǒng)與用戶程序之間的一種系統(tǒng)中間件。主要目的方便用戶管理作業(yè)，合理選擇作業(yè)調(diào)度策略，統(tǒng)一管理機(jī)群系統(tǒng)的各種軟硬件資源，提高系統(tǒng)的整體資源利用率和吞吐率。主要由用戶服務(wù)器server、作業(yè)調(diào)度器sched、結(jié)點(diǎn)執(zhí)行器mom和客戶端等四部分組成。其中server、sched和mom為守護(hù)進(jìn)程，三者之間協(xié)同工作，共同實(shí)現(xiàn)作業(yè)管理、作業(yè)調(diào)度和負(fù)載平衡等功能。原理如下圖1－1所示。MOMschedServer單機(jī)環(huán)境下的機(jī)群作業(yè)管理系統(tǒng)內(nèi)核調(diào)度策略事件正在處理的事件作業(yè)主要包括作業(yè)管理、作業(yè)調(diào)度、資源管理、系統(tǒng)監(jiān)控、故障恢復(fù)、記帳等功能。作業(yè)管理作業(yè)管理包括提交、查看、修改、刪除、掛起/恢復(fù)、移動(dòng)和傳送作業(yè)等。作業(yè)調(diào)度由調(diào)度算法決定，我們目前提供的調(diào)度策略有FIFO、RESERVATION和BACKFILL等，用戶可以根據(jù)需要靈活配置。資源管理管理的對(duì)象包括服務(wù)器、隊(duì)列、結(jié)點(diǎn)等，管理方法是動(dòng)態(tài)地增加、刪除對(duì)象，設(shè)置、修改對(duì)象的屬性。系統(tǒng)監(jiān)控用戶通過查看機(jī)群系統(tǒng)中各個(gè)結(jié)點(diǎn)的狀態(tài)（如空閑、繁忙、作業(yè)獨(dú)占、脫機(jī)或故障），決定使用哪些結(jié)點(diǎn)來提交作業(yè)，實(shí)現(xiàn)負(fù)載平衡。系統(tǒng)統(tǒng)功功能能（（三三））故障障恢恢復(fù)復(fù)服務(wù)務(wù)器器進(jìn)進(jìn)程程的的““故故障障恢恢復(fù)復(fù)””選選項(xiàng)項(xiàng)，，可可以以恢恢復(fù)復(fù)處處于于““排排隊(duì)隊(duì)””和和““運(yùn)運(yùn)行行””狀狀態(tài)態(tài)的的作作業(yè)業(yè)，，使使其其繼繼續(xù)續(xù)運(yùn)運(yùn)行行或或重重新新調(diào)調(diào)度度，，保保證證用用戶戶服服務(wù)務(wù)器器的的高高可可用用。。記帳帳記錄錄每每個(gè)個(gè)作作業(yè)業(yè)占占用用所所分分配配結(jié)結(jié)點(diǎn)點(diǎn)的的時(shí)時(shí)間間情情況況。。需求求分分析析系統(tǒng)統(tǒng)概概述述系統(tǒng)統(tǒng)使使用用A&Q基本本命命令令擴(kuò)展展命命令令基本本命命令令基本本命命令令是是原原系系統(tǒng)統(tǒng)本本身身提提供供的的命命令令qsub,qstat,qselect,qhold,qrls,qrerun,qalter,qdel,qmsg,qmove,qsig擴(kuò)展展命命令令擴(kuò)展展命命令令是是對(duì)對(duì)原原系系統(tǒng)統(tǒng)的的命命令令集集的的擴(kuò)擴(kuò)充充，，方方便便在在大大型型機(jī)機(jī)群群系系統(tǒng)統(tǒng)中中的的安安裝裝、、配配置置、、啟啟動(dòng)動(dòng)和和停停止止等等系系列列操操作作，，而而專專門門編編寫寫的的命命令令mpijob_tcp,pvmjob,pvmjob_tcp,bsub,bjobs,bkill,forall,qview,lsload,nodes,check_calnodes,loaddqsub提交交作作業(yè)業(yè)qsub-l指指定定作作業(yè)業(yè)所所需需要要的的資資源源-o指定輸輸出文件名-e指定錯(cuò)錯(cuò)誤輸出文件件名qstat查查看狀態(tài)qstat-q顯示已已經(jīng)配置的所所有隊(duì)列狀態(tài)態(tài)信息-a顯示已已經(jīng)提交的作作業(yè)狀態(tài)信息息-f[作作業(yè)名]顯顯示指定作業(yè)業(yè)的所有狀態(tài)態(tài)信息-B顯示服服務(wù)器的狀態(tài)態(tài)資源數(shù)隊(duì)列名腳本名查看隊(duì)列狀態(tài)態(tài)qselect查詢作業(yè)業(yè)qselect-q[隊(duì)列列名]查詢指指定隊(duì)列中的的作業(yè)[主機(jī)名]查查詢指定主機(jī)機(jī)上的作業(yè)qhold掛掛起作業(yè)qhold[-hhold_list]作作業(yè)IDqrls釋放放作業(yè)qrls[-hhold_list]作作業(yè)IDqhold[-hhold_list]作作業(yè)IDqrerun重新運(yùn)行作作業(yè)qrerun作業(yè)IDqalter更改批處理理作業(yè)屬性-a更改批批處理作業(yè)的的時(shí)間屬性-c更改檢檢查作業(yè)一致致性的時(shí)間間間隔屬性qdel刪除除批處理作業(yè)業(yè)qdel[-Wdelay]作作業(yè)IDqmsg給批批處理作業(yè)發(fā)發(fā)送消息qmsg[-E][-O]message_string作作業(yè)IDqmove目目標(biāo)隊(duì)列作作業(yè)IDqmove在在隊(duì)列之間移移動(dòng)作業(yè)qsig[-ssignal]作業(yè)IDqsig給批批處理作業(yè)發(fā)發(fā)送”殺死””信號(hào)基本命令擴(kuò)展命令nodes無無參數(shù)分別用不同的的顏色顯示全全部結(jié)點(diǎn)的狀狀態(tài)信息（包包括free,down,unkown,buzy,offline,job-exclusive等等），并統(tǒng)計(jì)計(jì)處于各種狀狀態(tài)的結(jié)點(diǎn)數(shù)數(shù)目。nodes查查看所有計(jì)計(jì)算結(jié)點(diǎn)的狀狀態(tài)lsload[-h][結(jié)結(jié)點(diǎn)機(jī)名…]lsload查看計(jì)算結(jié)結(jié)點(diǎn)的負(fù)載和和狀態(tài)loadd<時(shí)間間隔隔>定期將所在結(jié)結(jié)點(diǎn)的平均負(fù)負(fù)載信息寫入入以結(jié)點(diǎn)名命命名的文件中中，該文件存存放在/usr/local/OpenPBS/loadinfo目目錄下，如/usr/local/OpenPBS/loadinfo/c****loadd獲獲得結(jié)點(diǎn)的負(fù)負(fù)載信息mpijob

提交mpi作業(yè)使使用gm協(xié)議議mpijob_tcp提提交mpi作業(yè)tcp/ip協(xié)協(xié)議pvmjob

提交pvm作業(yè)使使用gm協(xié)議議pvmjob_tcp提提交pvm作業(yè)使用用tcp/ip協(xié)議bsub““progname<inputfile>out