網(wǎng)格協(xié)同設(shè)計(jì)環(huán)境中的任務(wù)調(diào)度機(jī)制

1、網(wǎng)格協(xié)同設(shè)計(jì)環(huán)境中的任務(wù)調(diào)度機(jī)制楊格蘭，左偉明 時(shí)間:2008年05月06日 字 體: 大 中 小關(guān)鍵詞:摘要：關(guān)鍵詞： 網(wǎng)格 協(xié)同設(shè)計(jì) 任務(wù)調(diào)度 資源預(yù)留協(xié)同設(shè)計(jì)(Collaborative Design)是指在計(jì)算機(jī)的支持下，各成員圍繞一個(gè)設(shè)計(jì)對象，各自承擔(dān)相應(yīng)部分的設(shè)計(jì)任務(wù)，并行交互地進(jìn)行設(shè)計(jì)工作，最終得到符合要求的設(shè)計(jì)結(jié)果的設(shè)計(jì)1。網(wǎng)格的出現(xiàn)為協(xié)同設(shè)計(jì)帶來了嶄新的解決思路。借助于網(wǎng)格研究的基礎(chǔ)設(shè)施以及Globus聯(lián)盟推出的網(wǎng)格既定標(biāo)準(zhǔn)GT3(Globus Toolkit 3)，可以為制造業(yè)網(wǎng)絡(luò)設(shè)計(jì)提供極為方便的底層支撐，為快速建立一個(gè)健壯的設(shè)計(jì)平臺(tái)提供保證，GMCD4就是這樣一個(gè)設(shè)計(jì)平

2、臺(tái)。本文將首先分析網(wǎng)格環(huán)境中任務(wù)調(diào)度的模型，然后基于協(xié)同設(shè)計(jì)環(huán)境的特殊性，以GMCD為框架，建立一種實(shí)用的任務(wù)調(diào)度模型。1 網(wǎng)格任務(wù)調(diào)度模型1.1 網(wǎng)格任務(wù)調(diào)度的相關(guān)組件及功能3：(1)資源請求代理它是整個(gè)網(wǎng)格的資源管理者，負(fù)責(zé)接收用戶任務(wù)，根據(jù)其特點(diǎn)發(fā)送給域資源管理器，動(dòng)態(tài)監(jiān)視任務(wù)的運(yùn)行情況，根據(jù)需要將結(jié)果提交給用戶或進(jìn)行再調(diào)度。主要功能有：對服務(wù)提供方提供注冊功能，并對其加入和退出等動(dòng)作進(jìn)行控制。建立網(wǎng)格資源信息庫并周期性地刷新，對全局資源進(jìn)行統(tǒng)一管理和分配。接收用戶提交的作業(yè)，并根據(jù)作業(yè)類型和要求(如資源的類型和數(shù)量等)形成作業(yè)調(diào)度參數(shù)。根據(jù)作業(yè)調(diào)度參數(shù)調(diào)度作業(yè)，分派資源，并隨時(shí)監(jiān)視作業(yè)

3、的執(zhí)行情況。若作業(yè)執(zhí)行有誤，則對其進(jìn)行再調(diào)度，保證用戶作業(yè)的安全運(yùn)行。(2)域資源管理器它是域內(nèi)資源管理和動(dòng)態(tài)調(diào)度的中心，負(fù)責(zé)本域工作的創(chuàng)建、屬性的收集、接收從資源請求代理提交的任務(wù)并根據(jù)其特點(diǎn)進(jìn)行處理機(jī)的分配。主要功能有：監(jiān)聽從本域結(jié)點(diǎn)發(fā)送來的信息，建立域成員信息資料庫并周期性刷新。周期性地接收由資源請求代理提交的作業(yè)，并判斷其可行性，建立本域的任務(wù)隊(duì)列。從任務(wù)隊(duì)列中選取作業(yè)，根據(jù)提交的參數(shù)和資源情況合理地分配作業(yè)。將作業(yè)執(zhí)行情況定時(shí)返回給資源請求代理，維持與上級(jí)數(shù)據(jù)庫的一致性。監(jiān)視各組員執(zhí)行狀況，根據(jù)情況進(jìn)行作業(yè)調(diào)整(域內(nèi)調(diào)整或再調(diào)度)。確保用戶作業(yè)的安全運(yùn)行，將結(jié)果通知資源請求代理并直接

4、返還給用戶。(3)網(wǎng)格工作結(jié)點(diǎn)它是任務(wù)執(zhí)行的基本單位，一旦申請加入資源提供方，便由域資源管理器直接調(diào)度和由資源請求代理間接調(diào)度。主要功能有：向上級(jí)管理器提出申請，請求加入資源提供方。收集本結(jié)點(diǎn)的狀態(tài)和負(fù)載信息，并周期性地提交給域資源管理器。產(chǎn)生服務(wù)進(jìn)程，隨時(shí)接收上級(jí)管理器提交的任務(wù)并執(zhí)行。(4)負(fù)責(zé)聯(lián)系的組件鑒于各實(shí)體間的聯(lián)系比較多，可將其分為作業(yè)提交和資源匯報(bào)兩部分。作業(yè)提交部分用戶向資源請求代理提交作業(yè)任務(wù)；資源請求代理根據(jù)用戶參數(shù)將作業(yè)轉(zhuǎn)交給域資源管理器；域資源管理器根據(jù)各結(jié)點(diǎn)負(fù)載情況分派作業(yè)給合適的資源工作結(jié)點(diǎn)，任務(wù)執(zhí)行完畢后保存作業(yè)結(jié)果；域資源管理器直接將結(jié)果返回給用戶。資源匯報(bào)部分

5、它完成如下任務(wù)：網(wǎng)格工作結(jié)點(diǎn)向域資源管理器提供各結(jié)點(diǎn)的狀態(tài)和負(fù)載情況；域資源管理器將該域的負(fù)載信息匯總并送給資源請求代理供查詢和管理結(jié)點(diǎn)；域資源管理器周期性地刷新資源請求代理中的作業(yè)狀態(tài)；工作結(jié)點(diǎn)執(zhí)行完畢。1.2 網(wǎng)格任務(wù)調(diào)度的過程用戶利用提交程序?qū)⒆鳂I(yè)任務(wù)和要求的環(huán)境屬性(如資源類型和數(shù)量等)提交給資源請求代理，資源請求代理分析環(huán)境屬性形成參數(shù)文件，根據(jù)任務(wù)性質(zhì)、通信狀況和各資源負(fù)載情況進(jìn)行粗粒度調(diào)度，尋求最佳分配方案將作業(yè)及參數(shù)文件提交給選中的域資源管理器。當(dāng)域資源管理器接收到新任務(wù)或調(diào)度周期到來時(shí)，新任務(wù)被賦予任務(wù)優(yōu)先級(jí)插入作業(yè)隊(duì)列。守護(hù)進(jìn)程從結(jié)點(diǎn)機(jī)列表中獲取該域內(nèi)所有資源負(fù)載情況，同時(shí)

6、更新資源請求代理上全局?jǐn)?shù)據(jù)庫中相關(guān)的信息表。確定已經(jīng)到達(dá)該域的任務(wù)的優(yōu)先級(jí)，每次選取一個(gè)任務(wù)分配合適的資源。相應(yīng)地，守護(hù)進(jìn)程派生出相應(yīng)的作業(yè)線程，周期性地監(jiān)視該作業(yè)的執(zhí)行狀態(tài)，并向上一級(jí)(資源請求代理)匯報(bào)， 以便進(jìn)行全局管理與調(diào)度(或用戶查詢)。當(dāng)任務(wù)途中異常中斷或執(zhí)行性能比預(yù)期要差時(shí)，資源請求代理可進(jìn)行再次調(diào)度，重新安排其他資源；而當(dāng)任務(wù)完成時(shí)，資源請求代理會(huì)要求域資源管理器直接將作業(yè)結(jié)果返還給用戶。2 GMCD中的任務(wù)調(diào)度機(jī)制4、網(wǎng)格中間件、設(shè)計(jì)中間件和應(yīng)用層，如圖1所示。DKU及互聯(lián)網(wǎng)絡(luò)組成了GMCD的底層支持結(jié)構(gòu)。DKU是Internet上的具有設(shè)計(jì)能力的組織或機(jī)構(gòu)，它們在某一類產(chǎn)品

7、或零部件研發(fā)上具有先進(jìn)的設(shè)計(jì)技術(shù)和生產(chǎn)能力。在DKU內(nèi)部存在設(shè)計(jì)知識(shí)數(shù)據(jù)庫、局域網(wǎng)和設(shè)計(jì)工具(集)。它們之間通過Internet或?qū)Ｓ酶咚倬W(wǎng)連通。在設(shè)計(jì)過程中，各個(gè)DKU之間具有平等關(guān)系，各自負(fù)責(zé)所獲得任務(wù)的運(yùn)行，相對來說是獨(dú)立的。用戶在應(yīng)用層通過Portal將任務(wù)提交給設(shè)計(jì)中間件。設(shè)計(jì)中間件將由Portal提交的設(shè)計(jì)任務(wù)分解為可以被DKU執(zhí)行的子任務(wù)。分解過程如下。GMCD任務(wù)分解分為兩層。任務(wù)以XML(eXtensible Markup Language)文件形式被提交后，首先會(huì)由資源請求代理轉(zhuǎn)交給自稱能完成該任務(wù)的域，然后在域控制管理器內(nèi)被首次分解，分解的原則是可執(zhí)行原則。對于已經(jīng)進(jìn)入域

8、控制管理器的任務(wù)，應(yīng)用分解智能體根據(jù)知識(shí)庫內(nèi)的知識(shí)，將其分解為可以被DKU執(zhí)行的任務(wù)。知識(shí)庫內(nèi)保留了該域內(nèi)所有DKU的功能申明。域內(nèi)任務(wù)分解(高層分解)的目標(biāo)是把任務(wù)分解為可以被DKU執(zhí)行的子任務(wù)，低層任務(wù)分解在DKU內(nèi)進(jìn)行，其目標(biāo)是把子任務(wù)分解為可以被DKU中服務(wù)器執(zhí)行的底層操作。由于設(shè)計(jì)工作的特殊性，DKU分布通常不均勻，能完成有關(guān)聯(lián)或相似性設(shè)計(jì)任務(wù)的DKU通常在一個(gè)或幾個(gè)域內(nèi)。如果被提交的設(shè)計(jì)任務(wù)沒有合適的域可以執(zhí)行，則還要在高層分解之前加入一層手工分解或由資源請求代理分解。也就是說，可以把任務(wù)返還給用戶，由用戶根據(jù)一定的設(shè)計(jì)知識(shí)對設(shè)計(jì)任務(wù)實(shí)行手工分解，也可以由資源請求代理根據(jù)域的功能自

9、述分解為可以被域執(zhí)行的子任務(wù)。域資源管理器和DKU的關(guān)系如圖2所示。子任務(wù)在DKU內(nèi)被重新解析為可以被服務(wù)器執(zhí)行的底層任務(wù)，然后由DKU調(diào)度到各個(gè)服務(wù)器上去執(zhí)行。高層分解和低層分解在失敗時(shí)都回溯。分解后的任務(wù)由域調(diào)度器調(diào)度到合適的DKU上去執(zhí)行。GMCD的任務(wù)映射分為三個(gè)層次。資源請求代理保留了每個(gè)域的功能自述副本。任務(wù)通過Portal提交后，根據(jù)域的功能自述，被轉(zhuǎn)交給能完成該任務(wù)的域；然后在域內(nèi)分解再由域調(diào)度器進(jìn)行二次映射，二次調(diào)度的目的是把分解后的子任務(wù)映射到合適的DKU上去；在DKU內(nèi)的調(diào)度是第三次映射，這次調(diào)度的目的是把解析子任務(wù)后得到的底層任務(wù)映射到合適的服務(wù)器上去。本文所關(guān)注的是第

10、二次調(diào)度，也就是分解以后的任務(wù)如何由域調(diào)度器調(diào)度到DKU上。在第二次調(diào)度中，由于設(shè)計(jì)任務(wù)的特殊性，一組相似或相關(guān)任務(wù)通常會(huì)在一個(gè)時(shí)間段內(nèi)陸續(xù)到達(dá)。3 資源預(yù)留的引入資源預(yù)留是網(wǎng)格系統(tǒng)中一個(gè)十分必要的機(jī)制，因?yàn)橘Y源預(yù)留可以保證任務(wù)在開始執(zhí)行時(shí)獲得必要的資源，從而提高網(wǎng)格系統(tǒng)的QoS。因此，資源預(yù)留的提出，從一開始就得到了廣泛的認(rèn)可，在目前網(wǎng)格系統(tǒng)的調(diào)度模塊中已經(jīng)被廣泛采用。在協(xié)同設(shè)計(jì)過程中，每個(gè)設(shè)計(jì)任務(wù)，特別是其中某些大任務(wù)的執(zhí)行直接影響設(shè)計(jì)任務(wù)完成的時(shí)間，在本文中引入了資源預(yù)留機(jī)制，以便為其中的大任務(wù)提供動(dòng)態(tài)預(yù)留資源5，進(jìn)而提高協(xié)同設(shè)計(jì)的效率。下面討論引入資源預(yù)留的網(wǎng)格協(xié)同設(shè)計(jì)任務(wù)調(diào)度模型。網(wǎng)

11、格協(xié)同設(shè)計(jì)任務(wù)執(zhí)行的框架分為三個(gè)層次：由底而上依次為資源層、資源管理控制層和應(yīng)用(用戶)層。資源層是可以進(jìn)行設(shè)計(jì)的實(shí)體DKU或者其他必要的資源，接受資源管理控制層的管理。應(yīng)用層負(fù)責(zé)用戶任務(wù)的提交和結(jié)果的反饋。資源管理控制層可以抽象為一個(gè)資源管理器，在控制管理器內(nèi)設(shè)置了負(fù)責(zé)任務(wù)映射和資源預(yù)留請求的模塊。網(wǎng)格協(xié)同設(shè)計(jì)任務(wù)調(diào)度系統(tǒng)模型示意圖如圖3所示。在圖3中，在設(shè)計(jì)應(yīng)用層和資源管理器之間省略了一個(gè)資源請求代理層。這是因?yàn)榧俣ㄈ蝿?wù)已經(jīng)由資源請求代理指定為由該域完成。在這個(gè)域中，有多種系統(tǒng)資源，主要考慮計(jì)算資源和存儲(chǔ)資源，在預(yù)留資源時(shí)既可能要預(yù)留計(jì)算資源也可能要預(yù)留存儲(chǔ)資源及其他資源。當(dāng)調(diào)度系統(tǒng)有預(yù)留的需求時(shí)，就通過創(chuàng)建預(yù)留操作向資源預(yù)留請求處理模塊提出預(yù)留請求。資源信息由資源發(fā)現(xiàn)和資源監(jiān)控提供。在該任務(wù)調(diào)度系統(tǒng)模型中，任務(wù)執(zhí)行的大致流程如下：用戶通過網(wǎng)格門戶Portal將任務(wù)提交給資源請求代理；資源請求代理將任務(wù)分配給可以執(zhí)行該任務(wù)的