6網(wǎng)格體系結(jié)構(gòu)-五層沙漏模型

LHCExperimentsWorldWideCollaboration

distributedcomputing&storagecapacityLHC: >5000 physicists

>270 institutes

>60 countries網(wǎng)格的基本概念虛擬組織概念上述實(shí)例的不同點(diǎn)不同數(shù)量和類型的參與者;不同的行為類型;互操作的持續(xù)時(shí)間和規(guī)模不同;訪問的資源不同相同點(diǎn)擁有不同優(yōu)先級的彼此不信任的參與者為了共同完成任務(wù)都需要共享資源被共享的資源不僅是簡單的文件資源,還包括軟件資源,計(jì)算資源,數(shù)據(jù)資源,傳感器資源,網(wǎng)絡(luò)資源,通信資源等.共享規(guī)則資源提供者和資源消費(fèi)者需明確仔細(xì)的定義共享什么,誰可以共享,以及共享時(shí)所要滿足的條件.由這些共享規(guī)則定義的一組個(gè)體和/或機(jī)構(gòu)形成”虛擬組織”(virtualorganizations,VO)網(wǎng)格的基本概念Grid的定義Coordinatedresourcesharingandproblemsolvingindynamic,multi-institutionalvirtualorganizations.動(dòng)態(tài)多機(jī)構(gòu)虛擬組織中的協(xié)同資源共享與問題解決IanFosterSeniorScientist,Mathematics&ComputerScienceDivision,

ArgonneNationalLaboratory

Professor,DepartmentofComputerScience,

TheUniversityofChicago

/~foster網(wǎng)格的基本概念共享關(guān)系帶來的技術(shù)挑戰(zhàn)計(jì)算模式C/S模式P2P模式資源的異構(gòu)性和多樣性程序,文件,數(shù)據(jù),計(jì)算機(jī),傳感器,網(wǎng)絡(luò)等對資源的高級\精確的控制功能包括細(xì)粒度的多所有者的訪問控制、授權(quán)、本地和全局策略的應(yīng)用資源虛擬化為服務(wù)資源能以標(biāo)準(zhǔn)的方式透明訪問，而不需要考慮其物理位置和實(shí)現(xiàn)方法應(yīng)用模式的挑戰(zhàn)單用戶vs多用戶性能敏感vs成本敏感服務(wù)質(zhì)量記帳網(wǎng)格的基本概念虛擬組織中的共享關(guān)系實(shí)例物理組織AirCar，Boeing，CyclesRU虛擬組織VO-Space：作用：使用不同位置(AirCar，Boeing)的程序和數(shù)據(jù)設(shè)計(jì)先進(jìn)的航天工具．性質(zhì)：國際性虛擬組織VO-Cycles:作用:把未使用的計(jì)算周期聚集到一個(gè)本地服務(wù)提供者(CyclesRU，Boeing)以便完成計(jì)算密集型任務(wù)虛擬組織中的共享關(guān)系BoeingAirCarCyclesRUVO-Cycles中的參與者可以使用空閑CPU周期VO-space中的參與者可以運(yùn)行程序B和DVO-space中的參與者可以運(yùn)行程序AWhatistheGrid?

—AThreePointChecklistJuly20,2019IanFosterGrid的三要素AGridisasystemthat:

(1)coordinatesresourcesthatarenotsubjecttocentralizedcontrol…

對非集中控制的資源進(jìn)行協(xié)調(diào)

(2)…usingstandard,open,general-purposeprotocolsandinterfaces

使用標(biāo)準(zhǔn)的、開放的、通用的協(xié)議和接口

(3)…

todelivernontrivialqualitiesofservice(QoS)

提供非平凡的服務(wù)質(zhì)量

網(wǎng)絡(luò)計(jì)算體系結(jié)構(gòu)的發(fā)展五層沙漏結(jié)構(gòu)開放網(wǎng)格服務(wù)體系結(jié)構(gòu)OGSAOpenGridServiceArchitectureWebService資源框架WSRFWebServiceResourceFrameWork網(wǎng)絡(luò)計(jì)算體系結(jié)構(gòu)的發(fā)展（續(xù)）網(wǎng)格計(jì)算體系結(jié)構(gòu)層次體系結(jié)構(gòu)開放網(wǎng)格服務(wù)體系結(jié)構(gòu)OGSAOGSI→WSRF（WS－ResourceFramework）八十年代中后期2019自治多域服務(wù)聯(lián)合計(jì)算九十年代中期20192019多層網(wǎng)格體系結(jié)構(gòu)開放網(wǎng)格服務(wù)體系結(jié)構(gòu)OGSA技術(shù)體系OGSIOGSA技術(shù)體系WSRF元計(jì)算計(jì)算網(wǎng)格20世紀(jì)60年代，提出了網(wǎng)格計(jì)算的基本思想

。因特網(wǎng)的先驅(qū)：J.C.R.Licklider提出銀河間計(jì)算機(jī)網(wǎng)絡(luò)的概念，相信世界上每個(gè)人能隨處使用計(jì)算機(jī)和獲取數(shù)據(jù)。20世紀(jì)80年代末，提出了“元計(jì)算”（meta-computing）概念。通過聯(lián)網(wǎng)環(huán)境透明地獲得和使用的強(qiáng)大的計(jì)算資源。90年代末，提出了網(wǎng)格（Grid）概念。

一個(gè)無縫集成的計(jì)算和協(xié)同環(huán)境。網(wǎng)格的起源網(wǎng)格的發(fā)展萌芽階段：在90年代早期，主要是千兆網(wǎng)的測試床，以及一些元計(jì)算的實(shí)驗(yàn)；如FAFNER(FactoringviaNetwork-EnabledRecursion),如I-WAY;早期實(shí)驗(yàn)階段：在90年代中期到后期，包括一些學(xué)術(shù)性的軟件項(xiàng)目，比如，Globus，Legion，還有一些應(yīng)用實(shí)驗(yàn)；迅速發(fā)展階段：2019年以來，出現(xiàn)了大量的應(yīng)用社團(tuán)和項(xiàng)目，主要基礎(chǔ)設(shè)施的開發(fā)的使用，工業(yè)對網(wǎng)格計(jì)算的興趣在增長等，比如IBM，Platform，Microsoft，Sun，等重要的公司；網(wǎng)格特點(diǎn)

作為一種新出現(xiàn)的重要基礎(chǔ)設(shè)施，了解這個(gè)設(shè)施的特點(diǎn)，可以幫助了解認(rèn)識和把握網(wǎng)格。網(wǎng)格的特點(diǎn)如下：

（1）分布性

網(wǎng)格特點(diǎn)（2）（2）自相似性

分形模型最重要特征就是自相似性，即整體和局部之間存在一定的相似性。整體和局部互相體現(xiàn)特征。網(wǎng)格特點(diǎn)（3）（3）動(dòng)態(tài)性和多樣性動(dòng)態(tài)性包括動(dòng)態(tài)增加和動(dòng)態(tài)減少兩個(gè)方面（4）自治性與管理的多重性網(wǎng)絡(luò)中的資源首先是歸自身所有者擁有的，網(wǎng)格資源也必須接受網(wǎng)格的統(tǒng)一管理。網(wǎng)格的自治性是指網(wǎng)格允許資源擁有者對他的資源有自主的管理能力。網(wǎng)格管理多重性是指一方面它允許網(wǎng)格資源的擁有者對資源具有自主性管理，另一方面又要求網(wǎng)格資源必須接受網(wǎng)格的統(tǒng)一管理。網(wǎng)格體系結(jié)構(gòu)體系結(jié)構(gòu)本身就是一個(gè)系統(tǒng)的整體框架結(jié)構(gòu)，通過它從整體上了解一個(gè)系統(tǒng)的構(gòu)架布局等。網(wǎng)格體系結(jié)構(gòu)也是如此，我們給出一個(gè)通用意義上的定義：網(wǎng)格體系結(jié)構(gòu)就是關(guān)于如何建造網(wǎng)格的技術(shù)。它給出了網(wǎng)格的基本組成與功能，描述了網(wǎng)格各組成部分的關(guān)系以及它們集成的方式或方法，刻畫了支持網(wǎng)格有效運(yùn)轉(zhuǎn)的機(jī)制。網(wǎng)格體系結(jié)構(gòu)的精髓網(wǎng)格體系結(jié)構(gòu)體現(xiàn)了一個(gè)分合思想，貫穿兩條主線，一個(gè)是“分”，另一個(gè)就是“合”網(wǎng)格體系結(jié)構(gòu)的作用是在一定程度上對網(wǎng)格的解剖。GA必須要能夠標(biāo)識出網(wǎng)格的基本組成成分，要能夠清楚地說明網(wǎng)格整體是由那些關(guān)鍵部分結(jié)合在一起形成的。GA還必須能夠?qū)Ω鱾€(gè)部分地功能、目的、特點(diǎn)等進(jìn)行清晰地描述，使人們能夠了解各個(gè)組成部分的作用。這是“分”的作用?！胺帧钡幕A(chǔ)之上，GA還需要進(jìn)一步描述“合”的功能，即充分了解網(wǎng)格的各個(gè)部分的作用機(jī)理、作用方式等的基礎(chǔ)上，將分的部分按照一定的方式進(jìn)行組織和集成，形成一個(gè)特定功能的整體對外提供服務(wù)。網(wǎng)格體系結(jié)構(gòu)--網(wǎng)格的同軸模型高性能網(wǎng)絡(luò)通信資源管理網(wǎng)格服務(wù)網(wǎng)格應(yīng)用網(wǎng)格體系結(jié)構(gòu)--網(wǎng)格系統(tǒng)的組件模型網(wǎng)格體系結(jié)構(gòu)--網(wǎng)格系統(tǒng)的組件模型網(wǎng)格資源：包括網(wǎng)絡(luò)上所有分布的，可訪問的計(jì)算資源。不僅僅實(shí)現(xiàn)了計(jì)算資源在物理上的連通。網(wǎng)格中間件：一系列工具和協(xié)議軟件。屏蔽網(wǎng)格資源的分布、異構(gòu)特性，提供透明、一致的接口。網(wǎng)格開發(fā)環(huán)境和工具：讓開發(fā)人員開發(fā)不同的應(yīng)用以及用戶代理在全局資源中調(diào)度計(jì)算。網(wǎng)格應(yīng)用層：是用戶需求的具體體現(xiàn)。提供網(wǎng)格入口(gridportals)技術(shù)。從網(wǎng)格開發(fā)角度體現(xiàn)出來的網(wǎng)格層次結(jié)構(gòu)網(wǎng)格體系結(jié)構(gòu)的演變五層沙漏結(jié)構(gòu)由Foster等最早提出的，是一個(gè)最先出現(xiàn)的應(yīng)用和影響廣泛的結(jié)構(gòu)。OGSA體系結(jié)構(gòu)開放網(wǎng)格服務(wù)結(jié)構(gòu)OGSA(OpenGridServicesArchitecture)是GlobalGridForum4的重要標(biāo)準(zhǔn)建議，是繼五層沙漏結(jié)構(gòu)之后最重要的一種網(wǎng)格體系結(jié)構(gòu)。是由Foster等結(jié)合WebService等技術(shù)，在IBM合作下提出的新的網(wǎng)格結(jié)構(gòu)。五層沙漏結(jié)構(gòu)五層沙漏結(jié)構(gòu)是一種以協(xié)議為中心的結(jié)構(gòu)，也十分強(qiáng)調(diào)服務(wù)與API（ApplicationProgrammingInterfaces）和SDK（SoftwareDevelopmentKits）的重要性。五層沙漏的基本思想：共享互操作協(xié)議API/SDK五層劃分沙漏結(jié)構(gòu)設(shè)計(jì)原則保持參與的開銷最小核心協(xié)議較少的，要普遍支持提供一些核心服務(wù)為基礎(chǔ)類似OS內(nèi)核，移植方便管轄多種資源，允許局部控制用來構(gòu)建高層的、特定領(lǐng)域的應(yīng)用服務(wù)支持適應(yīng)性“IPhourglass”modelDiverseglobalservices核心服務(wù)LocalOSApplications高層功能向瓶頸部分的映射瓶頸部分功能向底層的映射瓶頸部分Hourglass

GridArchitecture

比較InternetArchitectureApplication構(gòu)造層Fabric“Controllingthingslocally”:Accessto,&controlof,resources連通層“Talkingtothings”:通訊(Internetprotocols)&安全資源層Resource“共享單個(gè)資源”:協(xié)商訪問,控制使用聚合層Collective“管理多個(gè)資源”:無處不在的底層基礎(chǔ)服務(wù)services應(yīng)用層“Specializedservices”:面向用戶或面向應(yīng)用的分布式服務(wù)servicesInternetTransportApplicationLinkInternetProtocolArchitecture每一層存在的協(xié)議、服務(wù)和接口Languages/FrameworksFabricLayerApplicationsLocalAccessAPIsandProtocolsCollectiveServiceAPIsandSDKsCollectiveServicesCollectiveServiceProtocolsResourceAPIsandSDKsResourceServicesResourceServiceProtocolsUserServiceProtocolsUserServiceAPIsandSDKsUserServicesConnectivityAPIsConnectivityProtocols五層沙漏結(jié)構(gòu)構(gòu)造層(Fabric)構(gòu)造層——本地控制的接口提供資源如計(jì)算資源，存儲資源，目錄，網(wǎng)絡(luò)資源，傳感器等資源可以是邏輯實(shí)體，如一個(gè)分布式文件系統(tǒng)、計(jì)算集群或分布式計(jì)算機(jī)池。實(shí)現(xiàn)了本地的，具體于資源的操作具有內(nèi)省機(jī)制，該機(jī)制支持發(fā)現(xiàn)資源的結(jié)構(gòu)、狀態(tài)和能力實(shí)現(xiàn)資源本地管理機(jī)制。如集群資源具有內(nèi)部協(xié)議如集群管理協(xié)議和軟件，網(wǎng)格可以利用該協(xié)議提供對服務(wù)質(zhì)量的某種控制構(gòu)造層(Fabric)構(gòu)造層計(jì)算資源需要啟動(dòng)程序并監(jiān)視和控制結(jié)果進(jìn)程執(zhí)行的機(jī)制；需要內(nèi)省功能來確定硬件和軟件的特征，以及相關(guān)的狀態(tài)信息存儲資源需要發(fā)送和獲取文件的機(jī)制；需要對文件的部分子集進(jìn)行讀和寫，以及執(zhí)行遠(yuǎn)程數(shù)據(jù)選擇和數(shù)據(jù)裁剪的機(jī)制；對分配給數(shù)據(jù)傳輸?shù)馁Y源（磁盤空間、磁盤帶寬、網(wǎng)絡(luò)帶寬、CPU等）進(jìn)行控制和管理的機(jī)制；需要內(nèi)省功能來確定可用的空間和帶寬利用率等信息網(wǎng)絡(luò)資源需要對分配給網(wǎng)絡(luò)傳輸?shù)馁Y源（例如，優(yōu)先級隊(duì)列、預(yù)留的資源）進(jìn)行管理的機(jī)制；需要內(nèi)省功能來確定網(wǎng)絡(luò)的特征和負(fù)載。Grid體系結(jié)構(gòu)各層說明構(gòu)造層(Fabric)：提供一套對局部資源控制的工具和接口；計(jì)算、存儲、網(wǎng)絡(luò)、數(shù)據(jù)和目錄等對所控制的共享資源進(jìn)行局部管轄和調(diào)度實(shí)現(xiàn)各種資源本身的一些控制管理機(jī)制不同類型資源不同的控制管理機(jī)制YH資源和作業(yè)管理系統(tǒng)SGI資源和作業(yè)管理系統(tǒng)IBM資源和作業(yè)管理系統(tǒng)特定構(gòu)造層資源及其功能特性構(gòu)造層資源舉例功能特性計(jì)算資源啟動(dòng)程序，監(jiān)控和控制進(jìn)程的執(zhí)行，控制進(jìn)程資源分配的管理機(jī)制，提前預(yù)留機(jī)制，查詢功能.存儲資源存放與獲取文件的機(jī)制，第三方高性能傳輸方式，讀寫文件子集機(jī)制，遠(yuǎn)程數(shù)據(jù)選取與歸約機(jī)制，對分配用于數(shù)據(jù)傳輸資源的控制管理機(jī)制，提前預(yù)約機(jī)制，查詢功能.網(wǎng)絡(luò)資源對網(wǎng)絡(luò)傳輸資源的管理機(jī)制，查詢功能（用來得到網(wǎng)絡(luò)特性和負(fù)載）.代碼庫源代碼和目標(biāo)代碼管理機(jī)制，比如CVS控制系統(tǒng).目錄目錄查詢與更新操作機(jī)制，比如關(guān)系數(shù)據(jù)庫連接層連接層——安全便利的通信定義了通信和認(rèn)證核心協(xié)議通信協(xié)議通信協(xié)議實(shí)現(xiàn)傳輸（IP/TCP/UDP,IPX/SPX）、路由（OSPF/RIP/EIGRP）和命名(DNS/Netbios)不局限于TCP/IP協(xié)議棧，還包括ATM，高性能光纖網(wǎng)，無線網(wǎng)絡(luò)等通信協(xié)議連接層連接層——安全便利的通信保證通信安全的認(rèn)證核心協(xié)議單一登錄網(wǎng)格用戶需要啟動(dòng)訪問多個(gè)遠(yuǎn)程資源的計(jì)算任務(wù)，但是用戶應(yīng)該只認(rèn)證一次，而不必為訪問每個(gè)資源或管理域都“登錄”委托和限制性委托一個(gè)用戶必須能夠賦予一個(gè)程序代表他運(yùn)行的能力，以便該程序能夠訪問授權(quán)該用戶訪問的資源被委托的程序能夠有選擇的把它的權(quán)限的一部分委托給另外一個(gè)程序，即限制性委托與本地安全方案的集成在異構(gòu)網(wǎng)絡(luò)中，每個(gè)資源提供者通常都有本地安全方案，不能要求對本地安全方案進(jìn)行大規(guī)模替換。網(wǎng)格安全方案必須能和不同的本地方案互操作，實(shí)現(xiàn)對本地環(huán)境的映射?；谟脩舻男湃侮P(guān)系如果用戶擁有地點(diǎn)A和地點(diǎn)B的權(quán)力，那么該用戶應(yīng)該能夠一起使用地點(diǎn)A和地點(diǎn)B，而不需要地點(diǎn)A和地點(diǎn)B的安全管理者之間進(jìn)行交互Grid體系結(jié)構(gòu)各層說明連通層(connectivity):定義了Grid網(wǎng)絡(luò)事務(wù)處理的通信和驗(yàn)證協(xié)議，基于Internet協(xié)議；基于Internet協(xié)議，完成通信；認(rèn)證和安全通信連接層安全認(rèn)證特性特點(diǎn)描述單一登陸用戶只需登陸一次，就可以以該身份訪問不同的構(gòu)造層網(wǎng)格資源，不需要對不同的資源多次重復(fù)登陸，也不需要用戶進(jìn)一步介入.代理用戶必須有讓程序以自己身份運(yùn)行的能力，因此程序就能夠訪問用戶認(rèn)證的不同資源.該程序還能夠有條件將它的部分權(quán)限授予另一個(gè)程序（受限制的代理）.與局部安全方法的集成不同的資源可以使用其局部的安全方案，但是網(wǎng)格安全方案必須與那些局部的方案進(jìn)行互操作.不要求網(wǎng)格安全方案完全代替局部安全方案，但是它必須能夠?qū)崿F(xiàn)向局部安全的映射.基于用戶的信任機(jī)制用戶可以使用多個(gè)提供者提供的資源，但并不是要求資源提供者在安全環(huán)境中協(xié)同操作或互操作.即如果一個(gè)用戶有權(quán)使用站點(diǎn)A和B的資源，用戶能夠?qū)和B的資源結(jié)合起來使用，并不要求A和B的安全管理相互作用.資源層資源層實(shí)現(xiàn)經(jīng)過身份認(rèn)證的網(wǎng)格用戶與遠(yuǎn)端資源和服務(wù)進(jìn)行交互的功能定義單一資源上的共享操作協(xié)議如安全協(xié)商、初始化、監(jiān)控、控制、記帳、付費(fèi)等資源層協(xié)議調(diào)用Fabric層的功能來訪問和控制本地資源兩種主要協(xié)議類型信息協(xié)議：用來獲得資源的結(jié)構(gòu)和狀態(tài)信息，如配置＼負(fù)載＼代價(jià)等管理協(xié)議：用來協(xié)商對共享資源的訪問，指定資源請求策略（如資源預(yù)留，或資源Qos），以及資源操作（如進(jìn)程創(chuàng)建＼數(shù)據(jù)訪問等）的實(shí)例化Grid體系結(jié)構(gòu)各層說明（續(xù)）資源層（Resource)：定義了一些對單個(gè)的資源共享操作協(xié)議定義了某類資源的管理和操作等的標(biāo)準(zhǔn)協(xié)議和接口可以遠(yuǎn)程統(tǒng)一的訪問和共享操作資源如交換、啟動(dòng)、監(jiān)視、控制、記帳和支付等，以及應(yīng)用程序接口和軟件包；例如：標(biāo)準(zhǔn)的作業(yè)管理系統(tǒng)接口和標(biāo)準(zhǔn)資源層的協(xié)議類型與描述協(xié)議類型描述信息協(xié)議得到資源的結(jié)構(gòu)和狀態(tài)信息，比如配置，當(dāng)前負(fù)載，使用策略等.管理協(xié)議通過判斷訪問共享資源，指出資源需求以及執(zhí)行的操作.初始化共享關(guān)系，保證要求的協(xié)議操作與底層共享資源提供的共享策略一致.還要考慮記賬和付費(fèi)的問題，協(xié)議還可能需要具有監(jiān)控操作的狀態(tài)并控制某些操作的功能.匯聚層匯聚層所定義的協(xié)議和服務(wù)不是同某一特定資源相關(guān)的,而是用來定義資源集之間的交互匯聚層能夠?qū)崿F(xiàn)多種不同的共享行為而不需要對共享資源施加新的限制,如網(wǎng)格目錄服務(wù):MDS-2協(xié)同分配\調(diào)度\代理服務(wù):AppLeS,Condor-G,Nimrod-G等監(jiān)控和診斷服務(wù)數(shù)據(jù)復(fù)制服務(wù)匯聚層提供編程工具和編程模型編程模型(chap24)工作流系統(tǒng)軟件發(fā)現(xiàn)服務(wù)（NetSolve,Ninf）虛擬社區(qū)內(nèi)協(xié)同信息交換（如AccessGrid,Butterfly,群件系統(tǒng)等）匯聚層同樣涉及安全\策略和記帳問題Grid體系結(jié)構(gòu)各層說明（續(xù)）聚合(Collective)：提供多個(gè)資源協(xié)同工作聯(lián)合資源調(diào)度和預(yù)約，信息服務(wù)，數(shù)據(jù)復(fù)制服務(wù)、資源發(fā)現(xiàn)服務(wù)、團(tuán)體授權(quán)服務(wù)、協(xié)作服務(wù)和分布記帳服務(wù)等；例如：標(biāo)準(zhǔn)的作業(yè)管理系統(tǒng)接口和標(biāo)準(zhǔn)聯(lián)合分配匯聚層服務(wù)和協(xié)議服務(wù)與功能名稱描述目錄服務(wù)允許虛擬組織參加者發(fā)現(xiàn)存在的資源或者是存在的資源的特性，允許用戶根據(jù)名字或者屬性來查詢資源.協(xié)同分配，調(diào)度以及代理服務(wù)允許虛擬組織參加者申請一個(gè)或者更多的資源，并且在相應(yīng)的資源上進(jìn)行任務(wù)調(diào)度.監(jiān)控和診斷服務(wù)用于監(jiān)視虛擬組織資源的失敗，惡意的攻擊，入侵檢查，過載等等.數(shù)據(jù)復(fù)制服務(wù)支持虛擬組織存儲，網(wǎng)絡(luò)與計(jì)算的管理