新一代網(wǎng)格的特征

新一代網(wǎng)格的特征

1面向服務、支持主體網(wǎng)絡的語義網(wǎng)格管理和使用網(wǎng)格應用程序和網(wǎng)格操作生成的大量數(shù)據(jù)，并智能使用網(wǎng)格資源和網(wǎng)格服務是下一代網(wǎng)格的兩個主要特征。為了實現(xiàn)這些目標,新一代網(wǎng)格應當具有網(wǎng)格智能的知識發(fā)現(xiàn)和知識管理的功能。網(wǎng)格智能專門研究如何將網(wǎng)格不同層面的數(shù)據(jù)和信息有效地獲取、表示、交換、集成并最終轉變?yōu)橛杏玫闹R。計算機領域正在興起的一些關鍵技術和方法為網(wǎng)格智能的解決方案提供了契機,比如P2P(peer-to-peer)和遍在計算,基于本體的推理以及知識管理等。特別地,本體和元數(shù)據(jù)是網(wǎng)格智能服務得以實現(xiàn)的基本要素。依靠本體,網(wǎng)格才能對用戶任務/需求、可用服務和數(shù)據(jù)源提供語義建模,以便支持高層服務與動態(tài)服務的發(fā)現(xiàn)和組成。此外,數(shù)據(jù)采掘和知識管理技術使基于語義的高層服務成為可能。這些高層服務可用于操作層(網(wǎng)格管理在操作層從數(shù)據(jù)中獲取隱藏的知識)和應用層(用戶在應用層采掘分布的數(shù)據(jù)倉儲)。概括地講,資源本體和元數(shù)據(jù)支持智能搜索和瀏覽;知識發(fā)現(xiàn)和知識管理技術支持高層服務;P2P和遍在計算使得諸如存在管理、資源發(fā)現(xiàn)及共享、協(xié)作和自配置等基本服務得以實現(xiàn)。目前,網(wǎng)格發(fā)展的目標是盡量使網(wǎng)格應用的建立過程簡單化和結構化,實現(xiàn)的辦法包括:組成和重用軟件組件;開發(fā)基于知識的服務和工具。順應這一趨勢,首先誕生了開放網(wǎng)格服務體系結構(OpenGridServicesArchitecture,簡稱為OGSA),OGSA第一次在網(wǎng)格中引入了面向服務的模型;其次,誕生了語義網(wǎng)格,它的目標就是采用元數(shù)據(jù)和本體來描述網(wǎng)格上的資源、服務和數(shù)據(jù)源,從而自動地增強諸如服務發(fā)現(xiàn)和協(xié)商、應用組成、信息抽取和知識發(fā)現(xiàn)等處理過程;最后,出現(xiàn)了知識網(wǎng)格,知識網(wǎng)格提供了從網(wǎng)格數(shù)據(jù)庫中進行分布采掘和知識抽取的高層工具和技術,并且以網(wǎng)格服務(Web服務的OGSI擴展)的形式提供知識發(fā)現(xiàn)服務。知識網(wǎng)格的運行依賴于語義網(wǎng)格對組件和數(shù)據(jù)的語義描述。2技術和系統(tǒng)管理面對日益增長的網(wǎng)格復雜性和管理海量數(shù)據(jù)的需要,未來網(wǎng)格的主要需求如下:╋?知識發(fā)現(xiàn)和知識管理功能:它對用戶需求(如對數(shù)據(jù)的智能采掘)和系統(tǒng)管理都是必需的。╋?語義建模:對用戶的任務/需求、網(wǎng)格服務、數(shù)據(jù)源、計算設備(從傳感器到高性能計算機)進行語義建模,以便支持高層服務和動態(tài)的服務發(fā)現(xiàn)與組成。╋?基于環(huán)境/上下文感知的和自適應的普適計算與遍在計算。╋?基于動態(tài)虛擬組織的高級協(xié)作形式。╋?自配置、自主管理、動態(tài)資源發(fā)現(xiàn)和容錯。為了實現(xiàn)上述需求,新一代網(wǎng)格應當首先提供下列主要類型的服務和相關的體系結構框架。2.1網(wǎng)格服務的深度它們被用來以同構的方式建立、操縱和互操作網(wǎng)格知識庫。所謂網(wǎng)格知識庫是指,由網(wǎng)格保存、維護和更新的所有數(shù)據(jù),這些數(shù)據(jù)既可用于用戶,也可用于應用和操作。例如,知識庫包括Globus的監(jiān)聽與發(fā)現(xiàn)服務的數(shù)據(jù)和元數(shù)據(jù),網(wǎng)格服務用法說明的數(shù)據(jù),還有應用的數(shù)據(jù)源和結果等。目前,許多這樣的數(shù)據(jù)是由網(wǎng)格中間件或網(wǎng)格應用維護的,所以新一代網(wǎng)格所面臨的最主要挑戰(zhàn)是對這些數(shù)據(jù)的無縫集成和使用。從體系結構的觀點看,構建和操縱網(wǎng)格知識庫并在其上進行推理的有用技術是本體和邏輯編程,網(wǎng)格(如語義網(wǎng)格)中的每個對象將被一個或多個本體分類到知識庫中。兩個與網(wǎng)格知識庫相關的重要服務是:基于本體的網(wǎng)格編程和基于本體的請求資源匹配。在第4節(jié)中,我們將介紹一個以領域本體為基礎的基于組件編程的簡單例子。2.2基于網(wǎng)格的學習服務它們被用于從網(wǎng)格知識庫的數(shù)據(jù)中抽取知識。這些服務將被用于兩個方面:建立高層的知識發(fā)現(xiàn)應用(如在知識網(wǎng)格中的情形);增強已有的基本的網(wǎng)格服務。舉兩個利用知識發(fā)現(xiàn)服務的高層應用的例子:一個是基于網(wǎng)格的文檔管理應用(對網(wǎng)格中的文檔分類和檢索);另一個是GridFTP協(xié)議的一個增強型版本(用數(shù)據(jù)采掘技術預測最好的傳送參數(shù))。這兩個高層應用需要分布數(shù)據(jù)采掘功能和訪問知識庫分布式區(qū)分的能力,這正是知識發(fā)現(xiàn)服務所具備的功能。2.3語義壓縮的業(yè)務探索對網(wǎng)格信息(元數(shù)據(jù))進行語義壓縮(有損或無損地)和綜合,可以提供基于用戶/服務目標和資源信息范圍的網(wǎng)格知識庫的不同視圖。與通常的壓縮技術不同,語義壓縮可使內(nèi)容被重組,產(chǎn)生一個綜合的(被壓縮的)有意義的形式。綜合技術就是基于數(shù)據(jù)采掘的元數(shù)據(jù)探索,它通過展現(xiàn)細節(jié)的不同層面,提供網(wǎng)格資源的不同視圖,使得對網(wǎng)格信息的訪問和使用適應于不同的用戶/服務目標。此外,來源于AdaptiveHypermedia研究團體的適應技術,可使服務自適應于基于上下文的用戶計算環(huán)境。2.4動態(tài)發(fā)現(xiàn)算法當網(wǎng)格超越了預先建立的靜態(tài)配置,使新的設備和資源可以動態(tài)地進入或退出網(wǎng)格,它就成為普適網(wǎng)格。此時,新開發(fā)的服務就必須具有自動適應動態(tài)環(huán)境的能力。P2P技術能夠實現(xiàn)動態(tài)發(fā)現(xiàn)算法。上述服務可利用已有的和正在出現(xiàn)的網(wǎng)格成果累積地建立起來。圖1表示利用網(wǎng)格領域的研究成果(如OGSA,語義網(wǎng)格、知識網(wǎng)格)構建一個一體化的服務體系結構。盡管這些成果的內(nèi)容有一些重疊,但它們之間是互補的關系。一些可行的技術,如本體和推理,知識管理和知識發(fā)現(xiàn)在增強網(wǎng)格管理和操作方面的重要影響正日益凸顯。此外,P2P和遍在計算技術正在被大力推廣使用,可以預計,P2P將會成為網(wǎng)格應用中的全局性技術,它是諸如存在管理、資源發(fā)現(xiàn)和共享、協(xié)作和自配置等主要任務的基礎。3知識網(wǎng)格k-grid新一代網(wǎng)格必須能夠產(chǎn)生、使用和部署知識,因為知識是高級應用的基本要素。作為實現(xiàn)分布式高性能知識發(fā)現(xiàn)應用環(huán)境的知識網(wǎng)格便應用而生。知識網(wǎng)格是一個高層系統(tǒng),用于提供基于網(wǎng)格的知識發(fā)現(xiàn)服務。使用這些服務,專業(yè)人員和科學家可以建立并管理以工作流形式出現(xiàn)的復雜的知識發(fā)現(xiàn)應用,工作流就是對網(wǎng)格上表現(xiàn)為分布式服務的數(shù)據(jù)集、采掘工具以及計算和存儲資源的集成。知識網(wǎng)格方便用戶組成、存儲、共享和執(zhí)行知識發(fā)現(xiàn)的工作流,并把它們作為新的組件和服務在網(wǎng)格上發(fā)布。知識網(wǎng)格被用來執(zhí)行對網(wǎng)格上的大型數(shù)據(jù)集的數(shù)據(jù)采掘,這將有利于科學發(fā)現(xiàn),有利于改進工業(yè)過程和組織模型,有利于揭示有價值的商業(yè)信息。知識網(wǎng)格提供了一個高層抽象和一個基于使用網(wǎng)格資源的服務集(如數(shù)據(jù)訪問服務,工具和算法訪問服務,執(zhí)行計劃管理服務,結果表示服務),該服務集對知識發(fā)現(xiàn)過程中的各個階段提供了支持。所以,知識網(wǎng)格可使終端用戶專注于知識發(fā)現(xiàn)的過程而不必擔心網(wǎng)格基礎設施的細節(jié)。知識網(wǎng)格的體系結構由下列兩個層次的服務集組成。╋?核心K-Grid層包括關于數(shù)據(jù)源和軟件組件(如數(shù)據(jù)采掘工具)的元數(shù)據(jù)和本體,它是基本網(wǎng)格中間件和服務的接口。╋?高端K-Grid層提供一個用于設計和執(zhí)行知識發(fā)現(xiàn)應用的服務集作為用戶的接口。在知識網(wǎng)格環(huán)境中,發(fā)現(xiàn)過程被表示成由具體的或抽象的網(wǎng)格資源組成的工作流。用戶通過一個可視化的界面(如VEGA)來定義知識發(fā)現(xiàn)工作流,該界面不僅向用戶展示資源(如數(shù)據(jù)、工具和宿主)還提供了將資源集成為工作流的機制。如下一節(jié)所示,高端K-Grid層使用基于本體的服務并能實現(xiàn)知識發(fā)現(xiàn)服務。4到領域知識和連接組件在基于組件的網(wǎng)格編程中,用戶通過組裝軟件組件來設計一個應用。然而,選擇組件(要用到領域知識)和連接組件(要用到編程知識)的任務通常也要用戶來完成。在本研究案例中,我們將展示本體如何幫助用戶在知識網(wǎng)格上設計和編程知識發(fā)現(xiàn)應用。先對一個已有的領域本體作簡單介紹,然后展示了如何用本體在知識庫中選擇軟件組件并構建知識發(fā)現(xiàn)應用。(1)數(shù)據(jù)仿真的功能過程相當于網(wǎng)格知識庫的一個視圖。DAMON(DAtaMiningONtology)是一個管理知識的本體,它管理的是關于數(shù)據(jù)采掘領域的知識和相關軟件工具的知識。DAMON對數(shù)據(jù)采掘軟件進行分類,能使用戶選擇最合適的軟件來解決一個KDD問題。為了表示數(shù)據(jù)采掘軟件的特征,DAMON本體對數(shù)據(jù)采掘軟件的主要組件進行分類并表明這些軟件之間的關系與約束。數(shù)據(jù)采掘軟件按下列參數(shù)被歸類:╋?任務表示從數(shù)據(jù)中抽取模式的數(shù)據(jù)采掘技術(如分類,聚類等),即一個任務指定一個數(shù)據(jù)采掘過程的目標。╋?方法用來發(fā)現(xiàn)知識的數(shù)據(jù)采掘方法(如決策樹法,規(guī)則集法等),不同的方法服務于不同的目的。它可被看作是為抽取知識而對輸入數(shù)據(jù)實施的結構化操作。╋?算法實現(xiàn)數(shù)據(jù)采掘任務的途徑。╋?組件用某種編程語言對一個數(shù)據(jù)采掘算法的具體實現(xiàn)。╋?套件實現(xiàn)一組數(shù)據(jù)采掘算法。每個算法可以執(zhí)行不同的任務,也可使用不同的方法以便達到目標。╋?數(shù)據(jù)源數(shù)據(jù)輸入。數(shù)據(jù)采掘算法可以從中抽取知識。╋?人類交互指出在發(fā)現(xiàn)過程中,需要或支持什么程度的人工交互。用于支持知識發(fā)現(xiàn)編程的數(shù)據(jù)采掘知識庫有兩個概念層:在頂層,DAMON本體給出關于數(shù)據(jù)采掘領域的一般信息;而關于軟件組件和數(shù)據(jù)源的特定信息則在資源駐留的地方維護。從體系結構的觀點看,該本體是一個集中式資源,而特定的元數(shù)據(jù)則是分布式資源。例如,DAMON存儲著C5.0軟件實現(xiàn)C5算法(使用決策樹方法的分類算法)的信息。描述C5.0軟件所有安裝實例詳細信息的元數(shù)據(jù)文件的URL,就包含在該本體中C5.0軟件節(jié)點上。(2)基于da東南角的數(shù)據(jù)挖掘應用通過本體訪問網(wǎng)格知識庫。DAMON有兩個用途,首先,它被用作對數(shù)據(jù)采掘軟件進行語義搜索的工具;其次,它是一個基于本體的助手,能夠建議設計者在滿足用戶需求的基礎上,該做什么和該用什么。換句話說,DAMON本體被用來增強應用的構成和設計,因為它能幫助用戶選擇和配置最適合于某個特定KDD過程的數(shù)據(jù)采掘方案。關于數(shù)據(jù)采掘任務和方法的信息,以及實現(xiàn)數(shù)據(jù)采掘算法的特定軟件可以通過瀏覽或搜索本體獲得。我們已經(jīng)實現(xiàn)了數(shù)據(jù)采掘軟件(基于概念的)和其他的數(shù)據(jù)采掘資源的語義搜索。搜索和選擇用于知識發(fā)現(xiàn)應用的資源(數(shù)據(jù)源和軟件組件,數(shù)據(jù)采掘任務、方法和算法的類型)按以下步驟實現(xiàn):╋?基于本體的資源選擇通過瀏覽和搜索DAMON本體,用戶可以定位用于KDD過程特定階段的更合適的任務、方法、算法和數(shù)據(jù)采掘軟件。用戶能夠經(jīng)由不同的訪問點來導航DAMON本體,以獲得更深層面的細節(jié)。此外,用戶通過使用幾種可以擴大查詢范圍的推理方法(如等價推理、反向推理、綜合推理、分析推理)來查詢數(shù)據(jù)采掘資源非常細節(jié)的信息。例如,假定查詢結果集是空集,則通過將某些類用其超類或子類來代替的辦法,用戶至少可以找到部分地滿足查詢的對象。DAMON的一些可能的查詢是:i)查找與某個特定論題有關的數(shù)據(jù)源。ii)查找實現(xiàn)某個算法的軟件。iii)查找執(zhí)行某個特定數(shù)據(jù)采掘任務的軟件。iv)查找使用特定方法或算法的軟件。╋元數(shù)據(jù)訪問DAMON本體給出了知識網(wǎng)格上所有被選資源實例的元數(shù)據(jù)文件的URL。這些元數(shù)據(jù)只與安裝在某個給定物理節(jié)點上的數(shù)據(jù)采掘軟件和數(shù)據(jù)源緊密相關,并包含著客戶訪問和使用數(shù)據(jù)采掘軟件和數(shù)據(jù)源的信息(如技術參數(shù),可獲得性,位置和配置)。例如,假定注冊到知識網(wǎng)格KU節(jié)點上的某個用戶,想要在DBX數(shù)據(jù)集上(存儲在另一個節(jié)點KD上)執(zhí)行由聚類和分類兩個數(shù)據(jù)采掘任務組成的數(shù)據(jù)采掘應用。用戶計劃在DBX數(shù)據(jù)集的一個副本上并行地使用三種不同的算法將該數(shù)據(jù)集聚類,然后在三個不同節(jié)點上并行執(zhí)行某個分類算法(如C5算法)來分析聚類結果,從而在同一個數(shù)據(jù)集上生成三個分類模型。步驟如下:i)使用DAMON本體進行瀏覽或查詢。首先,在用戶需求的基礎上(如算法的計算復雜度,解決給定問題的態(tài)度,執(zhí)行采掘任務的方法等),通過瀏覽或查詢DAMON本體來搜索聚類算法;其次,搜索能在數(shù)據(jù)集DBX上實現(xiàn)該算法的聚類軟件;最后,定位由節(jié)點KG1,KG2,KG3表示的元數(shù)據(jù)URL,三個節(jié)點分別提供了聚類軟件K-Means,IntelligentMiner和Autoclass。此外,用戶還能找到提供C5.0分類器的KG4節(jié)點。此時,通過訪問每個被認定節(jié)點(如KG1,KG2,KG3,KG4)上的特定元數(shù)據(jù),用戶能夠訪問關于這些軟件的特定信息。ii)通過一個圖形化界面(VEGA),前面從元數(shù)據(jù)中所獲得的信息被用來可視化地組成那些軟件組件和數(shù)據(jù)源。然后,