網(wǎng)格計算講座

網(wǎng)格計算講座第一頁，共二十八頁，2022年，8月28日2主要內(nèi)容一、計算的烏托邦二、網(wǎng)格計算的核心技術(shù)高性能調(diào)度技術(shù)資源管理技術(shù)網(wǎng)格安全技術(shù)三、網(wǎng)格的體系結(jié)構(gòu)四、網(wǎng)格計算技術(shù)的商業(yè)應(yīng)用五、網(wǎng)格計算技術(shù)在科學(xué)計算領(lǐng)域的應(yīng)用六、網(wǎng)格國內(nèi)外研究情況第二頁，共二十八頁，2022年，8月28日引言：網(wǎng)格作為一種能帶來巨大處理、存儲能力和其他IT資源的新型網(wǎng)絡(luò)，可以應(yīng)付臨時之用。網(wǎng)格計算通過共享網(wǎng)絡(luò)將不同地點的大量計算機(jī)相聯(lián)，從而形成虛擬的超級計算機(jī),將各處計算機(jī)的多余處理器能力合在一起，可為研究和其他數(shù)據(jù)集中應(yīng)用提供巨大的處理能力。有了網(wǎng)格計算，那些沒有能力購買價值數(shù)百萬美元的超級計算機(jī)的機(jī)構(gòu)，也能利用其巨大的計算能力。3第三頁，共二十八頁，2022年，8月28日4一、計算的“烏托邦”？

Gartner公司的RobBatchelder認(rèn)為，網(wǎng)格的構(gòu)想一直是計算領(lǐng)域的“烏托邦”，在科技應(yīng)用上雖有巨大前景，但最大的缺陷是缺乏明顯的商業(yè)應(yīng)用。自20世紀(jì)90年代在歐美出現(xiàn)以來，網(wǎng)格主要被用于幫助分散的大學(xué)研究人員分析粒子加速器和巨型望遠(yuǎn)鏡的數(shù)據(jù)。但在過去的兩年中，網(wǎng)格的概念和GlobusToolkit已在研究和教育領(lǐng)域得到廣泛應(yīng)用，數(shù)十項全球性的大項目采用這些技術(shù)，以挑戰(zhàn)科學(xué)計算中的海量計算問題。基因研究是網(wǎng)格技術(shù)的自然應(yīng)用，這一領(lǐng)域所需的投資很難由一家企業(yè)來承擔(dān)，生物科技企業(yè)可用網(wǎng)格技術(shù)來分析基因數(shù)據(jù);醫(yī)生可以用網(wǎng)格技術(shù)制作出病人器官的三維模型，作為診斷疾病的輔助手段。其他行業(yè)，如航空、保險、運輸和國防，也會從中受益。如此看來，網(wǎng)格計算并非是可望不可及的烏托邦，其商業(yè)應(yīng)用的廣闊前景就在眼前。第四頁，共二十八頁，2022年，8月28日5二、網(wǎng)格計算的核心技術(shù)為解決不同領(lǐng)域復(fù)雜科學(xué)計算與海量數(shù)據(jù)服務(wù)問題，人們以網(wǎng)絡(luò)互連為基礎(chǔ)構(gòu)造了不同的網(wǎng)格，有代表性的如計算網(wǎng)格、拾遺網(wǎng)格、數(shù)據(jù)網(wǎng)格等，它們在體系結(jié)構(gòu)和需要解決的問題類型等方面不盡相同，但都需要共同的關(guān)鍵技術(shù)，主要有如下幾種:第五頁，共二十八頁，2022年，8月28日6高性能調(diào)度技術(shù)

在網(wǎng)格系統(tǒng)中，大量的應(yīng)用共享網(wǎng)格的各種資源，如何使得這些應(yīng)用獲得最大的性能，這就是調(diào)度所要解決的問題。網(wǎng)格調(diào)度技術(shù)比傳統(tǒng)高性能計算中的調(diào)度技術(shù)更復(fù)雜，這主要是因為網(wǎng)格具有一些獨有的特征，例如，網(wǎng)格資源的動態(tài)變化性、資源的類型異構(gòu)性和多樣性、調(diào)度器的局部管理性等。所以網(wǎng)格的調(diào)度需要建立隨時間變化的性能預(yù)測模型，充分利用網(wǎng)格的動態(tài)信息來表示網(wǎng)格性能的波動。在網(wǎng)格調(diào)度中，還需要考慮移植性、擴(kuò)展性、效率、可重復(fù)性以及網(wǎng)格調(diào)度和本地調(diào)度的結(jié)合等一系列問題。第六頁，共二十八頁，2022年，8月28日資源管理技術(shù)

資源管理的關(guān)鍵問題是為用戶有效地分配資源。高效分配涉及到資源分配和調(diào)度兩個問題，一般通過一個包含系統(tǒng)模型的調(diào)度模型來體現(xiàn)，而系統(tǒng)模型則是潛在資源的一個抽象，系統(tǒng)模型為分配器及時地提供所有節(jié)點上可見的資源信息，分配器獲得信息后將資源合理地分配給任務(wù)，從而優(yōu)化系統(tǒng)性能。7第七頁，共二十八頁，2022年，8月28日網(wǎng)格安全技術(shù)

網(wǎng)格計算環(huán)境對安全的要求比Internet的安全要求更為復(fù)雜。網(wǎng)格計算環(huán)境中的用戶數(shù)量、資源數(shù)量都很大且動態(tài)可變，一個計算過程中的多個進(jìn)程間存在不同的通信機(jī)制，資源支持不同的認(rèn)證和授權(quán)機(jī)制且可以屬于多個組織。正是由于這些網(wǎng)格獨有的特征，使得它的安全要求性更高，具體包括支持在網(wǎng)格計算環(huán)境中主體之間的安全通信，防止主體假冒和數(shù)據(jù)泄密；支持跨虛擬組織的安全；支持網(wǎng)格計算環(huán)境中用戶的單點登錄，包括跨多個資源和地點的信任委托和信任轉(zhuǎn)移等。8第八頁，共二十八頁，2022年，8月28日9如何統(tǒng)一視圖;如何統(tǒng)一訪問;如何統(tǒng)一存儲;如何統(tǒng)一管理;如何分布處理;如何按需服務(wù)。第九頁，共二十八頁，2022年，8月28日10三、網(wǎng)格體系結(jié)構(gòu)分層模型沙漏結(jié)構(gòu)OGSA第十頁，共二十八頁，2022年，8月28日11111、沙漏（詳細(xì)構(gòu)成）

工具與應(yīng)用目錄代理診斷與監(jiān)控等資源與服務(wù)的安全訪問

應(yīng)用層匯聚層資源與連接層

各種資源，比如計算機(jī)，存儲介質(zhì)，網(wǎng)絡(luò)，傳感器等

構(gòu)造層

第十一頁，共二十八頁，2022年，8月28日1212特定構(gòu)造層資源及其功能特性構(gòu)造層資源舉例

功能特性

計算資源啟動程序，監(jiān)控和控制進(jìn)程的執(zhí)行，控制進(jìn)程資源分配的管理機(jī)制，提前預(yù)留機(jī)制，查詢功能.存儲資源存放與獲取文件的機(jī)制，第三方高性能傳輸方式，讀寫文件子集機(jī)制，遠(yuǎn)程數(shù)據(jù)選取與歸約機(jī)制，對分配用于數(shù)據(jù)傳輸資源的控制管理機(jī)制，提前預(yù)約機(jī)制，查詢功能.網(wǎng)絡(luò)資源對網(wǎng)絡(luò)傳輸資源的管理機(jī)制，查詢功能（用來得到網(wǎng)絡(luò)特性和負(fù)載）.代碼庫源代碼和目標(biāo)代碼管理機(jī)制，比如CVS控制系統(tǒng).目錄目錄查詢與更新操作機(jī)制，比如關(guān)系數(shù)據(jù)庫第十二頁，共二十八頁，2022年，8月28日1313連接層安全認(rèn)證特性特點描述單一登陸用戶只需登陸一次，就可以以該身份訪問不同的構(gòu)造層網(wǎng)格資源，不需要對不同的資源多次重復(fù)登陸，也不需要用戶進(jìn)一步介入.代理用戶必須有讓程序以自己身份運行的能力，因此程序就能夠訪問用戶認(rèn)證的不同資源.該程序還能夠有條件將它的部分權(quán)限授予另一個程序（受限制的代理）.與局部安全方法的集成不同的資源可以使用其局部的安全方案，但是網(wǎng)格安全方案必須與那些局部的方案進(jìn)行互操作.不要求網(wǎng)格安全方案完全代替局部安全方案，但是它必須能夠?qū)崿F(xiàn)向局部安全的映射.基于用戶的信任機(jī)制用戶可以使用多個提供者提供的資源，但并不是要求資源提供者在安全環(huán)境中協(xié)同操作或互操作.即如果一個用戶有權(quán)使用站點A和B的資源，用戶能夠?qū)和B的資源結(jié)合起來使用，并不要求A和B的安全管理相互作用.第十三頁，共二十八頁，2022年，8月28日1414資源層的協(xié)議類型與描述協(xié)議類型描述信息協(xié)議得到資源的結(jié)構(gòu)和狀態(tài)信息，比如配置，當(dāng)前負(fù)載，使用策略等.管理協(xié)議通過判斷訪問共享資源，指出資源需求以及執(zhí)行的操作.初始化共享關(guān)系，保證要求的協(xié)議操作與底層共享資源提供的共享策略一致.還要考慮記賬和付費的問題，協(xié)議還可能需要具有監(jiān)控操作的狀態(tài)并控制某些操作的功能.第十四頁，共二十八頁，2022年，8月28日1515匯聚層服務(wù)和協(xié)議服務(wù)與功能名稱描述目錄服務(wù)允許虛擬組織參加者發(fā)現(xiàn)存在的資源或者是存在的資源的特性，允許用戶根據(jù)名字或者屬性來查詢資源.協(xié)同分配，調(diào)度以及代理服務(wù)允許虛擬組織參加者申請一個或者更多的資源，并且在相應(yīng)的資源上進(jìn)行任務(wù)調(diào)度.監(jiān)控和診斷服務(wù)用于監(jiān)視虛擬組織資源的失敗，惡意的攻擊，入侵檢查，過載等等.數(shù)據(jù)復(fù)制服務(wù)支持虛擬組織存儲，網(wǎng)絡(luò)與計算的管理，按照響應(yīng)時間，可靠性，費用等標(biāo)準(zhǔn)優(yōu)化數(shù)據(jù)訪問性能.網(wǎng)格支持下的編程系統(tǒng)可以才網(wǎng)格中提供熟悉的編程模型，使用不同的網(wǎng)格服務(wù)解決資源發(fā)現(xiàn)，安全，資源分配以及其它問題.負(fù)載管理系統(tǒng)與協(xié)同分配工作框架提供描述，使用以及管理多步，異步以及多組件工作流.軟件發(fā)現(xiàn)服務(wù)基于求解問題的參數(shù)發(fā)現(xiàn)和選擇最好的軟件實現(xiàn)和執(zhí)行平臺協(xié)作服務(wù)用于潛在較大的用戶社團(tuán)內(nèi)的協(xié)同交換信息，包括同步和異步兩種方式.第十五頁，共二十八頁，2022年，8月28日1616五層結(jié)構(gòu)應(yīng)用應(yīng)用層多科學(xué)模擬VOD系統(tǒng)匯聚層（面向問題）聯(lián)合求解器，分布式數(shù)據(jù)文檔檢查點，作業(yè)管理，故障避免，負(fù)載均衡匯聚層（通用）資源發(fā)現(xiàn)，資源代理，系統(tǒng)監(jiān)控，社團(tuán)授權(quán)，收回證書資源層訪問計算，訪問數(shù)據(jù)，訪問系統(tǒng)結(jié)構(gòu)，狀態(tài)與性能信息連接層通信（IP），服務(wù)發(fā)現(xiàn)（DNS），認(rèn)證，授權(quán)，代理構(gòu)造層存儲系統(tǒng)，計算機(jī)，網(wǎng)絡(luò)，代碼庫，目錄第十六頁，共二十八頁，2022年，8月28日17172、開放網(wǎng)格服務(wù)體系結(jié)構(gòu)OGSA（OpenGridServicesAtchitecture）五層沙漏結(jié)構(gòu)以協(xié)議為核心;強(qiáng)調(diào)資源共享---具體資源服務(wù);開放網(wǎng)格服務(wù)體系結(jié)構(gòu)OGSA以服務(wù)核心;服務(wù)包括計算資源、存儲資源、網(wǎng)絡(luò)、軟件等；一般意義上的服務(wù)，即服務(wù)共享；第十七頁，共二十八頁，2022年，8月28日18183、OGSA支持技術(shù)GlobusToolkit;是一種用于構(gòu)建計算網(wǎng)格的開放體系結(jié)構(gòu)、開放標(biāo)準(zhǔn)的項目。GlobusToolkit工具包來源于Globus項目，是一個開放源碼的網(wǎng)格的基礎(chǔ)平臺，基于開放結(jié)構(gòu)、開放服務(wù)資源和軟件庫，并支持網(wǎng)格和網(wǎng)格應(yīng)用，目的是為構(gòu)建網(wǎng)格應(yīng)用提供中間件服務(wù)和程序庫。WebServicesXML（可擴(kuò)展置標(biāo)語言）SOAP（簡單對象訪問協(xié)議）WSDL（網(wǎng)頁服務(wù)描述語言）UDDI（一種目錄服務(wù)）第十八頁，共二十八頁，2022年，8月28日1919服務(wù)登記處服務(wù)請求者(如用戶應(yīng)用程序)工廠服務(wù)要求服務(wù)網(wǎng)格服務(wù)處理資源配置服務(wù)實例注冊服務(wù)發(fā)現(xiàn)服務(wù)交互標(biāo)準(zhǔn)化使用WSDL服務(wù)數(shù)據(jù)保持有效通知服務(wù)調(diào)用身份驗證和授權(quán)是適用于所有的請求OGSA服務(wù)第十九頁，共二十八頁，2022年，8月28日20四、網(wǎng)格的商業(yè)應(yīng)用生物醫(yī)學(xué)：網(wǎng)格可提供藥品開發(fā)人員所需的計算能力，用以研究藥物和蛋白質(zhì)分子的形態(tài)與運動。工程：波音、福特、bmw公司都在嘗試用網(wǎng)格計算進(jìn)行復(fù)雜的仿真與設(shè)計。數(shù)據(jù)搜集/分析：制造、石油加工、貨物運輸、甚至零售企業(yè)都要維護(hù)昂貴的設(shè)備，時常會出現(xiàn)問題，造成不好的結(jié)果。同無線傳感器一樣，網(wǎng)格能夠存儲和處理所有交易。娛樂產(chǎn)業(yè)：特殊效果設(shè)計。第二十頁，共二十八頁，2022年，8月28日21五、網(wǎng)格計算技術(shù)在科學(xué)計算領(lǐng)域的應(yīng)用分布式超級計算

網(wǎng)格計算可以把分布式的超級計算機(jī)集中起來，協(xié)同解決復(fù)雜的大規(guī)模的問題。使大量閑置的計算機(jī)資源得到有效的組織，提高了資源的利用效率，節(jié)省了大量的重復(fù)投資，使用戶的需求能夠得到及時滿足。第二十一頁，共二十八頁，2022年，8月28日高吞吐率計算

網(wǎng)格技術(shù)能夠十分有效地提高計算的吞吐率，它利用CPU的周期竊取技術(shù)，將大量空閑的計算機(jī)的計算資源集中起來，提供給對時間不太敏感的問題，作為計算資源的重要來源。數(shù)據(jù)密集型計算

數(shù)據(jù)密集型的問題的求解往往同時產(chǎn)生很大的通訊和計算需求，需要網(wǎng)格能力才可以解決。網(wǎng)格可以藥物分子設(shè)計、計算力學(xué)、計算材料、電子學(xué)、生物學(xué)、核物理反應(yīng)、航空航天等眾多的領(lǐng)域得到廣泛的需求。22第二十二頁，共二十八頁，2022年，8月28日基于廣泛信息共享的人與人交互

網(wǎng)格的出現(xiàn)更加突破了人與人之間地理界線的限制，使得科技工作者之間的交流更加的方便，從某種程度上可以說實現(xiàn)人與人之間的智慧共享。更廣泛的資源貿(mào)易

隨著大型機(jī)的性能的提高和微機(jī)的更加普及，及其資源的閑置的問題也越來越突出，網(wǎng)格技術(shù)能夠有效地組織這些閑置的資源，使得有大量的計算需求的用戶能夠獲得這些資源，資源的提供者的應(yīng)用也不會受到太大的干擾。需要計算能力的人可以不必購買大的計算機(jī)，只要根據(jù)自己的任務(wù)的需求，向網(wǎng)格購買計算能力就可以滿足計算需求。23第二十三頁，共二十八頁，2022年，8月28日24六、國內(nèi)外研究情況（國外）“I-way（InformationWideAreaYear）”:experimentat1995Supercomputingconference(SC’95),using17sitesacrosstheUSrunning，“I-way”開發(fā)了資源調(diào)度，F(xiàn)AFNER(FactoringviaNetwork-EnabledRecursion):建立對RSA130分解，要求機(jī)器>=4MB工作站即可。at1995Supercomputingconference(SC’95)第二十四頁，共二十八頁，2022年，8月28日25Globus：建一個計算網(wǎng)格，提供一個Globus工具。Legion:始于1993，目的是構(gòu)造一個元計算環(huán)境，基于對象的“元系統(tǒng)，由Viginia大學(xué)開發(fā)，提供了一種軟件基礎(chǔ)設(shè)施，通過它可以實現(xiàn)異構(gòu)、地理分布的高性能計算系統(tǒng)的無縫交互。該項目孵化了一個新公司稱為AppliedMeta，目前為Avaki，提供商業(yè)化的網(wǎng)格解決方案第二十五頁，共二十八頁，2022年，8月28日26eScienc