6網(wǎng)格體系結(jié)構(gòu)-五層沙漏模型

LHCExperimentsWorldWideCollaboration

distributedcomputing&storagecapacityLHC: >5000 physicists

>270 institutes

>60 countries網(wǎng)格的基本概念虛擬組織概念上述實例的不同點不同數(shù)量和類型的參與者;不同的行為類型;互操作的持續(xù)時間和規(guī)模不同;訪問的資源不同相同點擁有不同優(yōu)先級的彼此不信任的參與者為了共同完成任務(wù)都需要共享資源被共享的資源不僅是簡單的文件資源,還包括軟件資源,計算資源,數(shù)據(jù)資源,傳感器資源,網(wǎng)絡(luò)資源,通信資源等.共享規(guī)則資源提供者和資源消費者需明確仔細(xì)的定義共享什么,誰可以共享,以及共享時所要滿足的條件.由這些共享規(guī)則定義的一組個體和/或機構(gòu)形成”虛擬組織”(virtualorganizations,VO)網(wǎng)格的基本概念Grid的定義Coordinatedresourcesharingandproblemsolvingindynamic,multi-institutionalvirtualorganizations.動態(tài)多機構(gòu)虛擬組織中的協(xié)同資源共享與問題解決IanFosterSeniorScientist,Mathematics&ComputerScienceDivision,

ArgonneNationalLaboratory

Professor,DepartmentofComputerScience,

TheUniversityofChicago

/~foster網(wǎng)格的基本概念共享關(guān)系帶來的技術(shù)挑戰(zhàn)計算模式C/S模式P2P模式資源的異構(gòu)性和多樣性程序,文件,數(shù)據(jù),計算機,傳感器,網(wǎng)絡(luò)等對資源的高級\精確的控制功能包括細(xì)粒度的多所有者的訪問控制、授權(quán)、本地和全局策略的應(yīng)用資源虛擬化為服務(wù)資源能以標(biāo)準(zhǔn)的方式透明訪問，而不需要考慮其物理位置和實現(xiàn)方法應(yīng)用模式的挑戰(zhàn)單用戶vs多用戶性能敏感vs成本敏感服務(wù)質(zhì)量記帳網(wǎng)格的基本概念虛擬組織中的共享關(guān)系實例物理組織AirCar，Boeing，CyclesRU虛擬組織VO-Space：作用：使用不同位置(AirCar，Boeing)的程序和數(shù)據(jù)設(shè)計先進(jìn)的航天工具．性質(zhì)：國際性虛擬組織VO-Cycles:作用:把未使用的計算周期聚集到一個本地服務(wù)提供者(CyclesRU，Boeing)以便完成計算密集型任務(wù)虛擬組織中的共享關(guān)系BoeingAirCarCyclesRUVO-Cycles中的參與者可以使用空閑CPU周期VO-space中的參與者可以運行程序B和DVO-space中的參與者可以運行程序AWhatistheGrid?

—AThreePointChecklistJuly20,2019IanFosterGrid的三要素AGridisasystemthat:

(1)coordinatesresourcesthatarenotsubjecttocentralizedcontrol…

對非集中控制的資源進(jìn)行協(xié)調(diào)

(2)…usingstandard,open,general-purposeprotocolsandinterfaces

使用標(biāo)準(zhǔn)的、開放的、通用的協(xié)議和接口

(3)…

todelivernontrivialqualitiesofservice(QoS)

提供非平凡的服務(wù)質(zhì)量

網(wǎng)絡(luò)計算體系結(jié)構(gòu)的發(fā)展五層沙漏結(jié)構(gòu)開放網(wǎng)格服務(wù)體系結(jié)構(gòu)OGSAOpenGridServiceArchitectureWebService資源框架WSRFWebServiceResourceFrameWork網(wǎng)絡(luò)計算體系結(jié)構(gòu)的發(fā)展（續(xù)）網(wǎng)格計算體系結(jié)構(gòu)層次體系結(jié)構(gòu)開放網(wǎng)格服務(wù)體系結(jié)構(gòu)OGSAOGSI→WSRF（WS－ResourceFramework）八十年代中后期2019自治多域服務(wù)聯(lián)合計算九十年代中期20192019多層網(wǎng)格體系結(jié)構(gòu)開放網(wǎng)格服務(wù)體系結(jié)構(gòu)OGSA技術(shù)體系OGSIOGSA技術(shù)體系WSRF元計算計算網(wǎng)格20世紀(jì)60年代，提出了網(wǎng)格計算的基本思想

。因特網(wǎng)的先驅(qū)：J.C.R.Licklider提出銀河間計算機網(wǎng)絡(luò)的概念，相信世界上每個人能隨處使用計算機和獲取數(shù)據(jù)。20世紀(jì)80年代末，提出了“元計算”（meta-computing）概念。通過聯(lián)網(wǎng)環(huán)境透明地獲得和使用的強大的計算資源。90年代末，提出了網(wǎng)格（Grid）概念。

一個無縫集成的計算和協(xié)同環(huán)境。網(wǎng)格的起源網(wǎng)格的發(fā)展萌芽階段：在90年代早期，主要是千兆網(wǎng)的測試床，以及一些元計算的實驗；如FAFNER(FactoringviaNetwork-EnabledRecursion),如I-WAY;早期實驗階段：在90年代中期到后期，包括一些學(xué)術(shù)性的軟件項目，比如，Globus，Legion，還有一些應(yīng)用實驗；迅速發(fā)展階段：2019年以來，出現(xiàn)了大量的應(yīng)用社團(tuán)和項目，主要基礎(chǔ)設(shè)施的開發(fā)的使用，工業(yè)對網(wǎng)格計算的興趣在增長等，比如IBM，Platform，Microsoft，Sun，等重要的公司；網(wǎng)格特點

作為一種新出現(xiàn)的重要基礎(chǔ)設(shè)施，了解這個設(shè)施的特點，可以幫助了解認(rèn)識和把握網(wǎng)格。網(wǎng)格的特點如下：

（1）分布性

網(wǎng)格特點（2）（2）自相似性

分形模型最重要特征就是自相似性，即整體和局部之間存在一定的相似性。整體和局部互相體現(xiàn)特征。網(wǎng)格特點（3）（3）動態(tài)性和多樣性動態(tài)性包括動態(tài)增加和動態(tài)減少兩個方面（4）自治性與管理的多重性網(wǎng)絡(luò)中的資源首先是歸自身所有者擁有的，網(wǎng)格資源也必須接受網(wǎng)格的統(tǒng)一管理。網(wǎng)格的自治性是指網(wǎng)格允許資源擁有者對他的資源有自主的管理能力。網(wǎng)格管理多重性是指一方面它允許網(wǎng)格資源的擁有者對資源具有自主性管理，另一方面又要求網(wǎng)格資源必須接受網(wǎng)格的統(tǒng)一管理。網(wǎng)格體系結(jié)構(gòu)體系結(jié)構(gòu)本身就是一個系統(tǒng)的整體框架結(jié)構(gòu)，通過它從整體上了解一個系統(tǒng)的構(gòu)架布局等。網(wǎng)格體系結(jié)構(gòu)也是如此，我們給出一個通用意義上的定義：網(wǎng)格體系結(jié)構(gòu)就是關(guān)于如何建造網(wǎng)格的技術(shù)。它給出了網(wǎng)格的基本組成與功能，描述了網(wǎng)格各組成部分的關(guān)系以及它們集成的方式或方法，刻畫了支持網(wǎng)格有效運轉(zhuǎn)的機制。網(wǎng)格體系結(jié)構(gòu)的精髓網(wǎng)格體系結(jié)構(gòu)體現(xiàn)了一個分合思想，貫穿兩條主線，一個是“分”，另一個就是“合”網(wǎng)格體系結(jié)構(gòu)的作用是在一定程度上對網(wǎng)格的解剖。GA必須要能夠標(biāo)識出網(wǎng)格的基本組成成分，要能夠清楚地說明網(wǎng)格整體是由那些關(guān)鍵部分結(jié)合在一起形成的。GA還必須能夠?qū)Ω鱾€部分地功能、目的、特點等進(jìn)行清晰地描述，使人們能夠了解各個組成部分的作用。這是“分”的作用?！胺帧钡幕A(chǔ)之上，GA還需要進(jìn)一步描述“合”的功能，即充分了解網(wǎng)格的各個部分的作用機理、作用方式等的基礎(chǔ)上，將分的部分按照一定的方式進(jìn)行組織和集成，形成一個特定功能的整體對外提供服務(wù)。網(wǎng)格體系結(jié)構(gòu)--網(wǎng)格的同軸模型高性能網(wǎng)絡(luò)通信資源管理網(wǎng)格服務(wù)網(wǎng)格應(yīng)用網(wǎng)格體系結(jié)構(gòu)--網(wǎng)格系統(tǒng)的組件模型網(wǎng)格體系結(jié)構(gòu)--網(wǎng)格系統(tǒng)的組件模型網(wǎng)格資源：包括網(wǎng)絡(luò)上所有分布的，可訪問的計算資源。不僅僅實現(xiàn)了計算資源在物理上的連通。網(wǎng)格中間件：一系列工具和協(xié)議軟件。屏蔽網(wǎng)格資源的分布、異構(gòu)特性，提供透明、一致的接口。網(wǎng)格開發(fā)環(huán)境和工具：讓開發(fā)人員開發(fā)不同的應(yīng)用以及用戶代理在全局資源中調(diào)度計算。網(wǎng)格應(yīng)用層：是用戶需求的具體體現(xiàn)。提供網(wǎng)格入口(gridportals)技術(shù)。從網(wǎng)格開發(fā)角度體現(xiàn)出來的網(wǎng)格層次結(jié)構(gòu)網(wǎng)格體系結(jié)構(gòu)的演變五層沙漏結(jié)構(gòu)由Foster等最早提出的，是一個最先出現(xiàn)的應(yīng)用和影響廣泛的結(jié)構(gòu)。OGSA體系結(jié)構(gòu)開放網(wǎng)格服務(wù)結(jié)構(gòu)OGSA(OpenGridServicesArchitecture)是GlobalGridForum4的重要標(biāo)準(zhǔn)建議，是繼五層沙漏結(jié)構(gòu)之后最重要的一種網(wǎng)格體系結(jié)構(gòu)。是由Foster等結(jié)合WebService等技術(shù)，在IBM合作下提出的新的網(wǎng)格結(jié)構(gòu)。五層沙漏結(jié)構(gòu)五層沙漏結(jié)構(gòu)是一種以協(xié)議為中心的結(jié)構(gòu)，也十分強調(diào)服務(wù)與API（ApplicationProgrammingInterfaces）和SDK（SoftwareDevelopmentKits）的重要性。五層沙漏的基本思想：共享互操作協(xié)議API/SDK五層劃分沙漏結(jié)構(gòu)設(shè)計原則保持參與的開銷最小核心協(xié)議較少的，要普遍支持提供一些核心服務(wù)為基礎(chǔ)類似OS內(nèi)核，移植方便管轄多種資源，允許局部控制用來構(gòu)建高層的、特定領(lǐng)域的應(yīng)用服務(wù)支持適應(yīng)性“IPhourglass”modelDiverseglobalservices核心服務(wù)LocalOSApplications高層功能向瓶頸部分的映射瓶頸部分功能向底層的映射瓶頸部分Hourglass

GridArchitecture

比較InternetArchitectureApplication構(gòu)造層Fabric“Controllingthingslocally”:Accessto,&controlof,resources連通層“Talkingtothings”:通訊(Internetprotocols)&安全資源層Resource“共享單個資源”:協(xié)商訪問,控制使用聚合層Collective“管理多個資源”:無處不在的底層基礎(chǔ)服務(wù)services應(yīng)用層“Specializedservices”:面向用戶或面向應(yīng)用的分布式服務(wù)servicesInternetTransportApplicationLinkInternetProtocolArchitecture每一層存在的協(xié)議、服務(wù)和接口Languages/FrameworksFabricLayerApplicationsLocalAccessAPIsandProtocolsCollectiveServiceAPIsandSDKsCollectiveServicesCollectiveServiceProtocolsResourceAPIsandSDKsResourceServicesResourceServiceProtocolsUserServiceProtocolsUserServiceAPIsandSDKsUserServicesConnectivityAPIsConnectivityProtocols五層沙漏結(jié)構(gòu)構(gòu)造層(Fabric)構(gòu)造層——本地控制的接口提供資源如計算資源，存儲資源，目錄，網(wǎng)絡(luò)資源，傳感器等資源可以是邏輯實體，如一個分布式文件系統(tǒng)、計算集群或分布式計算機池。實現(xiàn)了本地的，具體于資源的操作具有內(nèi)省機制，該機制支持發(fā)現(xiàn)資源的結(jié)構(gòu)、狀態(tài)和能力實現(xiàn)資源本地管理機制。如集群資源具有內(nèi)部協(xié)議如集群管理協(xié)議和軟件，網(wǎng)格可以利用該協(xié)議提供對服務(wù)質(zhì)量的某種控制構(gòu)造層(Fabric)構(gòu)造層計算資源需要啟動程序并監(jiān)視和控制結(jié)果進(jìn)程執(zhí)行的機制；需要內(nèi)省功能來確定硬件和軟件的特征，以及相關(guān)的狀態(tài)信息存儲資源需要發(fā)送和獲取文件的機制；需要對文件的部分子集進(jìn)行讀和寫，以及執(zhí)行遠(yuǎn)程數(shù)據(jù)選擇和數(shù)據(jù)裁剪的機制；對分配給數(shù)據(jù)傳輸?shù)馁Y源（磁盤空間、磁盤帶寬、網(wǎng)絡(luò)帶寬、CPU等）進(jìn)行控制和管理的機制；需要內(nèi)省功能來確定可用的空間和帶寬利用率等信息網(wǎng)絡(luò)資源需要對分配給網(wǎng)絡(luò)傳輸?shù)馁Y源（例如，優(yōu)先級隊列、預(yù)留的資源）進(jìn)行管理的機制；需要內(nèi)省功能來確定網(wǎng)絡(luò)的特征和負(fù)載。Grid體系結(jié)構(gòu)各層說明構(gòu)造層(Fabric)：提供一套對局部資源控制的工具和接口；計算、存儲、網(wǎng)絡(luò)、數(shù)據(jù)和目錄等對所控制的共享資源進(jìn)行局部管轄和調(diào)度實現(xiàn)各種資源本身的一些控制管理機制不同類型資源不同的控制管理機制YH資源和作業(yè)管理系統(tǒng)SGI資源和作業(yè)管理系統(tǒng)IBM資源和作業(yè)管理系統(tǒng)特定構(gòu)造層資源及其功能特性構(gòu)造層資源舉例功能特性計算資源啟動程序，監(jiān)控和控制進(jìn)程的執(zhí)行，控制進(jìn)程資源分配的管理機制，提前預(yù)留機制，查詢功能.存儲資源存放與獲取文件的機制，第三方高性能傳輸方式，讀寫文件子集機制，遠(yuǎn)程數(shù)據(jù)選取與歸約機制，對分配用于數(shù)據(jù)傳輸資源的控制管理機制，提前預(yù)約機制，查詢功能.網(wǎng)絡(luò)資源對網(wǎng)絡(luò)傳輸資源的管理機制，查詢功能（用來得到網(wǎng)絡(luò)特性和負(fù)載）.代碼庫源代碼和目標(biāo)代碼管理機制，比如CVS控制系統(tǒng).目錄目錄查詢與更新操作機制，比如關(guān)系數(shù)據(jù)庫連接層連接層——安全便利的通信定義了通信和認(rèn)證核心協(xié)議通信協(xié)議通信協(xié)議實現(xiàn)傳輸（IP/TCP/UDP,IPX/SPX）、路由（OSPF/RIP/EIGRP）和命名(DNS/Netbios)不局限于TCP/IP協(xié)議棧，還包括ATM，高性能光纖網(wǎng)，無線網(wǎng)絡(luò)等通信協(xié)議連接層連接層——安全便利的通信保證通信安全的認(rèn)證核心協(xié)議單一登錄網(wǎng)格用戶需要啟動訪問多個遠(yuǎn)程資源的計算任務(wù)，但是用戶應(yīng)該只認(rèn)證一次，而不必為訪問每個資源或管理域都“登錄”委托和限制性委托一個用戶必須能夠賦予一個程序代表他運行的能力，以便該程序能夠訪問授權(quán)該用戶訪問的資源被委托的程序能夠有選擇的把它的權(quán)限的一部分委托給另外一個程序，即限制性委托與本地安全方案的集成在異構(gòu)網(wǎng)絡(luò)中，每個資源提供者通常都有本地安全方案，不能要求對本地安全方案進(jìn)行大規(guī)模替換。網(wǎng)格安全方案必須能和不同的本地方案互操作，實現(xiàn)對本地環(huán)境的映射?；谟脩舻男湃侮P(guān)系如果用戶擁有地點A和地點B的權(quán)力，那么該用戶應(yīng)該能夠一起使用地點A和地點B，而不需要地點A和地點B的安全管理者之間進(jìn)行交互Grid體系結(jié)構(gòu)各層說明連通層(connectivity):定義了Grid網(wǎng)絡(luò)事務(wù)處理的通信和驗證協(xié)議，基于Internet協(xié)議；基于Internet協(xié)議，完成通信；認(rèn)證和安全通信連接層安全認(rèn)證特性特點描述單一登陸用戶只需登陸一次，就可以以該身份訪問不同的構(gòu)造層網(wǎng)格資源，不需要對不同的資源多次重復(fù)登陸，也不需要用戶進(jìn)一步介入.代理用戶必須有讓程序以自己身份運行的能力，因此程序就能夠訪問用戶認(rèn)證的不同資源.該程序還能夠有條件將它的部分權(quán)限授予另一個程序（受限制的代理）.與局部安全方法的集成不同的資源可以使用其局部的安全方案，但是網(wǎng)格安全方案必須與那些局部的方案進(jìn)行互操作.不要求網(wǎng)格安全方案完全代替局部安全方案，但是它必須能夠?qū)崿F(xiàn)向局部安全的映射.基于用戶的信任機制用戶可以使用多個提供者提供的資源，但并不是要求資源提供者在安全環(huán)境中協(xié)同操作或互操作.即如果一個用戶有權(quán)使用站點A和B的資源，用戶能夠?qū)和B的資源結(jié)合起來使用，并不要求A和B的安全管理相互作用.資源層資源層實現(xiàn)經(jīng)過身份認(rèn)證的網(wǎng)格用戶與遠(yuǎn)端資源和服務(wù)進(jìn)行交互的功能定義單一資源上的共享操作協(xié)議如安全協(xié)商、初始化、監(jiān)控、控制、記帳、付費等資源層協(xié)議調(diào)用Fabric層的功能來訪問和控制本地資源兩種主要協(xié)議類型信息協(xié)議：用來獲得資源的結(jié)構(gòu)和狀態(tài)信息，如配置＼負(fù)載＼代價等管理協(xié)議：用來協(xié)商對共享資源的訪問，指定資源請求策略（如資源預(yù)留，或資源Qos），以及資源操作（如進(jìn)程創(chuàng)建＼數(shù)據(jù)訪問等）的實例化Grid體系結(jié)構(gòu)各層說明（續(xù)）資源層（Resource)：定義了一些對單個的資源共享操作協(xié)議定義了某類資源的管理和操作等的標(biāo)準(zhǔn)協(xié)議和接口可以遠(yuǎn)程統(tǒng)一的訪問和共享操作資源如交換、啟動、監(jiān)視、控制、記帳和支付等，以及應(yīng)用程序接口和軟件包；例如：標(biāo)準(zhǔn)的作業(yè)管理系統(tǒng)接口和標(biāo)準(zhǔn)資源層的協(xié)議類型與描述協(xié)議類型描述信息協(xié)議得到資源的結(jié)構(gòu)和狀態(tài)信息，比如配置，當(dāng)前負(fù)載，使用策略等.管理協(xié)議通過判斷訪問共享資源，指出資源需求以及執(zhí)行的操作.初始化共享關(guān)系，保證要求的協(xié)議操作與底層共享資源提供的共享策略一致.還要考慮記賬和付費的問題，協(xié)議還可能需要具有監(jiān)控操作的狀態(tài)并控制某些操作的功能.匯聚層匯聚層所定義的協(xié)議和服務(wù)不是同某一特定資源相關(guān)的,而是用來定義資源集之間的交互匯聚層能夠?qū)崿F(xiàn)多種不同的共享行為而不需要對共享資源施加新的限制,如網(wǎng)格目錄服務(wù):MDS-2協(xié)同分配\調(diào)度\代理服務(wù):AppLeS,Condor-G,Nimrod-G等監(jiān)控和診斷服務(wù)數(shù)據(jù)復(fù)制服務(wù)匯聚層提供編程工具和編程模型編程模型(chap24)工作流系統(tǒng)軟件發(fā)現(xiàn)服務(wù)（NetSolve,Ninf）虛擬社區(qū)內(nèi)協(xié)同信息交換（如AccessGrid,Butterfly,群件系統(tǒng)等）匯聚層同樣涉及安全\策略和記帳問題Grid體系結(jié)構(gòu)各層說明（續(xù)）聚合(Collective)：提供多個資源協(xié)同工作聯(lián)合資源調(diào)度和預(yù)約，信息服務(wù)，數(shù)據(jù)復(fù)制服務(wù)、資源發(fā)現(xiàn)服務(wù)、團(tuán)體授權(quán)服務(wù)、協(xié)作服務(wù)和分布記帳服務(wù)等；例如：標(biāo)準(zhǔn)的作業(yè)管理系統(tǒng)接口和標(biāo)準(zhǔn)聯(lián)合分配匯聚層服務(wù)和協(xié)議服務(wù)與功能名稱描述目錄服務(wù)允許虛擬組織參加者發(fā)現(xiàn)存在的資源或者是存在的資源的特性，允許用戶根據(jù)名字或者屬性來查詢資源.協(xié)同分配，調(diào)度以及代理服務(wù)允許虛擬組織參加者申請一個或者更多的資源，并且在相應(yīng)的資源上進(jìn)行任務(wù)調(diào)度.監(jiān)控和診斷服務(wù)用于監(jiān)視虛擬組織資源的失敗，惡意的攻擊，入侵檢查，過載等等.數(shù)據(jù)復(fù)制服務(wù)支持虛擬組織存儲，網(wǎng)絡(luò)與計算的管理