新一代網(wǎng)格的特征

新一代網(wǎng)格的特征

1面向服務(wù)、支持主體網(wǎng)絡(luò)的語義網(wǎng)格管理和使用網(wǎng)格應(yīng)用程序和網(wǎng)格操作生成的大量數(shù)據(jù)，并智能使用網(wǎng)格資源和網(wǎng)格服務(wù)是下一代網(wǎng)格的兩個主要特征。為了實現(xiàn)這些目標(biāo),新一代網(wǎng)格應(yīng)當(dāng)具有網(wǎng)格智能的知識發(fā)現(xiàn)和知識管理的功能。網(wǎng)格智能專門研究如何將網(wǎng)格不同層面的數(shù)據(jù)和信息有效地獲取、表示、交換、集成并最終轉(zhuǎn)變?yōu)橛杏玫闹R。計算機領(lǐng)域正在興起的一些關(guān)鍵技術(shù)和方法為網(wǎng)格智能的解決方案提供了契機,比如P2P(peer-to-peer)和遍在計算,基于本體的推理以及知識管理等。特別地,本體和元數(shù)據(jù)是網(wǎng)格智能服務(wù)得以實現(xiàn)的基本要素。依靠本體,網(wǎng)格才能對用戶任務(wù)/需求、可用服務(wù)和數(shù)據(jù)源提供語義建模,以便支持高層服務(wù)與動態(tài)服務(wù)的發(fā)現(xiàn)和組成。此外,數(shù)據(jù)采掘和知識管理技術(shù)使基于語義的高層服務(wù)成為可能。這些高層服務(wù)可用于操作層(網(wǎng)格管理在操作層從數(shù)據(jù)中獲取隱藏的知識)和應(yīng)用層(用戶在應(yīng)用層采掘分布的數(shù)據(jù)倉儲)。概括地講,資源本體和元數(shù)據(jù)支持智能搜索和瀏覽;知識發(fā)現(xiàn)和知識管理技術(shù)支持高層服務(wù);P2P和遍在計算使得諸如存在管理、資源發(fā)現(xiàn)及共享、協(xié)作和自配置等基本服務(wù)得以實現(xiàn)。目前,網(wǎng)格發(fā)展的目標(biāo)是盡量使網(wǎng)格應(yīng)用的建立過程簡單化和結(jié)構(gòu)化,實現(xiàn)的辦法包括:組成和重用軟件組件;開發(fā)基于知識的服務(wù)和工具。順應(yīng)這一趨勢,首先誕生了開放網(wǎng)格服務(wù)體系結(jié)構(gòu)(OpenGridServicesArchitecture,簡稱為OGSA),OGSA第一次在網(wǎng)格中引入了面向服務(wù)的模型;其次,誕生了語義網(wǎng)格,它的目標(biāo)就是采用元數(shù)據(jù)和本體來描述網(wǎng)格上的資源、服務(wù)和數(shù)據(jù)源,從而自動地增強諸如服務(wù)發(fā)現(xiàn)和協(xié)商、應(yīng)用組成、信息抽取和知識發(fā)現(xiàn)等處理過程;最后,出現(xiàn)了知識網(wǎng)格,知識網(wǎng)格提供了從網(wǎng)格數(shù)據(jù)庫中進行分布采掘和知識抽取的高層工具和技術(shù),并且以網(wǎng)格服務(wù)(Web服務(wù)的OGSI擴展)的形式提供知識發(fā)現(xiàn)服務(wù)。知識網(wǎng)格的運行依賴于語義網(wǎng)格對組件和數(shù)據(jù)的語義描述。2技術(shù)和系統(tǒng)管理面對日益增長的網(wǎng)格復(fù)雜性和管理海量數(shù)據(jù)的需要,未來網(wǎng)格的主要需求如下:╋?知識發(fā)現(xiàn)和知識管理功能:它對用戶需求(如對數(shù)據(jù)的智能采掘)和系統(tǒng)管理都是必需的。╋?語義建模:對用戶的任務(wù)/需求、網(wǎng)格服務(wù)、數(shù)據(jù)源、計算設(shè)備(從傳感器到高性能計算機)進行語義建模,以便支持高層服務(wù)和動態(tài)的服務(wù)發(fā)現(xiàn)與組成。╋?基于環(huán)境/上下文感知的和自適應(yīng)的普適計算與遍在計算。╋?基于動態(tài)虛擬組織的高級協(xié)作形式。╋?自配置、自主管理、動態(tài)資源發(fā)現(xiàn)和容錯。為了實現(xiàn)上述需求,新一代網(wǎng)格應(yīng)當(dāng)首先提供下列主要類型的服務(wù)和相關(guān)的體系結(jié)構(gòu)框架。2.1網(wǎng)格服務(wù)的深度它們被用來以同構(gòu)的方式建立、操縱和互操作網(wǎng)格知識庫。所謂網(wǎng)格知識庫是指,由網(wǎng)格保存、維護和更新的所有數(shù)據(jù),這些數(shù)據(jù)既可用于用戶,也可用于應(yīng)用和操作。例如,知識庫包括Globus的監(jiān)聽與發(fā)現(xiàn)服務(wù)的數(shù)據(jù)和元數(shù)據(jù),網(wǎng)格服務(wù)用法說明的數(shù)據(jù),還有應(yīng)用的數(shù)據(jù)源和結(jié)果等。目前,許多這樣的數(shù)據(jù)是由網(wǎng)格中間件或網(wǎng)格應(yīng)用維護的,所以新一代網(wǎng)格所面臨的最主要挑戰(zhàn)是對這些數(shù)據(jù)的無縫集成和使用。從體系結(jié)構(gòu)的觀點看,構(gòu)建和操縱網(wǎng)格知識庫并在其上進行推理的有用技術(shù)是本體和邏輯編程,網(wǎng)格(如語義網(wǎng)格)中的每個對象將被一個或多個本體分類到知識庫中。兩個與網(wǎng)格知識庫相關(guān)的重要服務(wù)是:基于本體的網(wǎng)格編程和基于本體的請求資源匹配。在第4節(jié)中,我們將介紹一個以領(lǐng)域本體為基礎(chǔ)的基于組件編程的簡單例子。2.2基于網(wǎng)格的學(xué)習(xí)服務(wù)它們被用于從網(wǎng)格知識庫的數(shù)據(jù)中抽取知識。這些服務(wù)將被用于兩個方面:建立高層的知識發(fā)現(xiàn)應(yīng)用(如在知識網(wǎng)格中的情形);增強已有的基本的網(wǎng)格服務(wù)。舉兩個利用知識發(fā)現(xiàn)服務(wù)的高層應(yīng)用的例子:一個是基于網(wǎng)格的文檔管理應(yīng)用(對網(wǎng)格中的文檔分類和檢索);另一個是GridFTP協(xié)議的一個增強型版本(用數(shù)據(jù)采掘技術(shù)預(yù)測最好的傳送參數(shù))。這兩個高層應(yīng)用需要分布數(shù)據(jù)采掘功能和訪問知識庫分布式區(qū)分的能力,這正是知識發(fā)現(xiàn)服務(wù)所具備的功能。2.3語義壓縮的業(yè)務(wù)探索對網(wǎng)格信息(元數(shù)據(jù))進行語義壓縮(有損或無損地)和綜合,可以提供基于用戶/服務(wù)目標(biāo)和資源信息范圍的網(wǎng)格知識庫的不同視圖。與通常的壓縮技術(shù)不同,語義壓縮可使內(nèi)容被重組,產(chǎn)生一個綜合的(被壓縮的)有意義的形式。綜合技術(shù)就是基于數(shù)據(jù)采掘的元數(shù)據(jù)探索,它通過展現(xiàn)細(xì)節(jié)的不同層面,提供網(wǎng)格資源的不同視圖,使得對網(wǎng)格信息的訪問和使用適應(yīng)于不同的用戶/服務(wù)目標(biāo)。此外,來源于AdaptiveHypermedia研究團體的適應(yīng)技術(shù),可使服務(wù)自適應(yīng)于基于上下文的用戶計算環(huán)境。2.4動態(tài)發(fā)現(xiàn)算法當(dāng)網(wǎng)格超越了預(yù)先建立的靜態(tài)配置,使新的設(shè)備和資源可以動態(tài)地進入或退出網(wǎng)格,它就成為普適網(wǎng)格。此時,新開發(fā)的服務(wù)就必須具有自動適應(yīng)動態(tài)環(huán)境的能力。P2P技術(shù)能夠?qū)崿F(xiàn)動態(tài)發(fā)現(xiàn)算法。上述服務(wù)可利用已有的和正在出現(xiàn)的網(wǎng)格成果累積地建立起來。圖1表示利用網(wǎng)格領(lǐng)域的研究成果(如OGSA,語義網(wǎng)格、知識網(wǎng)格)構(gòu)建一個一體化的服務(wù)體系結(jié)構(gòu)。盡管這些成果的內(nèi)容有一些重疊,但它們之間是互補的關(guān)系。一些可行的技術(shù),如本體和推理,知識管理和知識發(fā)現(xiàn)在增強網(wǎng)格管理和操作方面的重要影響正日益凸顯。此外,P2P和遍在計算技術(shù)正在被大力推廣使用,可以預(yù)計,P2P將會成為網(wǎng)格應(yīng)用中的全局性技術(shù),它是諸如存在管理、資源發(fā)現(xiàn)和共享、協(xié)作和自配置等主要任務(wù)的基礎(chǔ)。3知識網(wǎng)格k-grid新一代網(wǎng)格必須能夠產(chǎn)生、使用和部署知識,因為知識是高級應(yīng)用的基本要素。作為實現(xiàn)分布式高性能知識發(fā)現(xiàn)應(yīng)用環(huán)境的知識網(wǎng)格便應(yīng)用而生。知識網(wǎng)格是一個高層系統(tǒng),用于提供基于網(wǎng)格的知識發(fā)現(xiàn)服務(wù)。使用這些服務(wù),專業(yè)人員和科學(xué)家可以建立并管理以工作流形式出現(xiàn)的復(fù)雜的知識發(fā)現(xiàn)應(yīng)用,工作流就是對網(wǎng)格上表現(xiàn)為分布式服務(wù)的數(shù)據(jù)集、采掘工具以及計算和存儲資源的集成。知識網(wǎng)格方便用戶組成、存儲、共享和執(zhí)行知識發(fā)現(xiàn)的工作流,并把它們作為新的組件和服務(wù)在網(wǎng)格上發(fā)布。知識網(wǎng)格被用來執(zhí)行對網(wǎng)格上的大型數(shù)據(jù)集的數(shù)據(jù)采掘,這將有利于科學(xué)發(fā)現(xiàn),有利于改進工業(yè)過程和組織模型,有利于揭示有價值的商業(yè)信息。知識網(wǎng)格提供了一個高層抽象和一個基于使用網(wǎng)格資源的服務(wù)集(如數(shù)據(jù)訪問服務(wù),工具和算法訪問服務(wù),執(zhí)行計劃管理服務(wù),結(jié)果表示服務(wù)),該服務(wù)集對知識發(fā)現(xiàn)過程中的各個階段提供了支持。所以,知識網(wǎng)格可使終端用戶專注于知識發(fā)現(xiàn)的過程而不必?fù)?dān)心網(wǎng)格基礎(chǔ)設(shè)施的細(xì)節(jié)。知識網(wǎng)格的體系結(jié)構(gòu)由下列兩個層次的服務(wù)集組成。╋?核心K-Grid層包括關(guān)于數(shù)據(jù)源和軟件組件(如數(shù)據(jù)采掘工具)的元數(shù)據(jù)和本體,它是基本網(wǎng)格中間件和服務(wù)的接口。╋?高端K-Grid層提供一個用于設(shè)計和執(zhí)行知識發(fā)現(xiàn)應(yīng)用的服務(wù)集作為用戶的接口。在知識網(wǎng)格環(huán)境中,發(fā)現(xiàn)過程被表示成由具體的或抽象的網(wǎng)格資源組成的工作流。用戶通過一個可視化的界面(如VEGA)來定義知識發(fā)現(xiàn)工作流,該界面不僅向用戶展示資源(如數(shù)據(jù)、工具和宿主)還提供了將資源集成為工作流的機制。如下一節(jié)所示,高端K-Grid層使用基于本體的服務(wù)并能實現(xiàn)知識發(fā)現(xiàn)服務(wù)。4到領(lǐng)域知識和連接組件在基于組件的網(wǎng)格編程中,用戶通過組裝軟件組件來設(shè)計一個應(yīng)用。然而,選擇組件(要用到領(lǐng)域知識)和連接組件(要用到編程知識)的任務(wù)通常也要用戶來完成。在本研究案例中,我們將展示本體如何幫助用戶在知識網(wǎng)格上設(shè)計和編程知識發(fā)現(xiàn)應(yīng)用。先對一個已有的領(lǐng)域本體作簡單介紹,然后展示了如何用本體在知識庫中選擇軟件組件并構(gòu)建知識發(fā)現(xiàn)應(yīng)用。(1)數(shù)據(jù)仿真的功能過程相當(dāng)于網(wǎng)格知識庫的一個視圖。DAMON(DAtaMiningONtology)是一個管理知識的本體,它管理的是關(guān)于數(shù)據(jù)采掘領(lǐng)域的知識和相關(guān)軟件工具的知識。DAMON對數(shù)據(jù)采掘軟件進行分類,能使用戶選擇最合適的軟件來解決一個KDD問題。為了表示數(shù)據(jù)采掘軟件的特征,DAMON本體對數(shù)據(jù)采掘軟件的主要組件進行分類并表明這些軟件之間的關(guān)系與約束。數(shù)據(jù)采掘軟件按下列參數(shù)被歸類:╋?任務(wù)表示從數(shù)據(jù)中抽取模式的數(shù)據(jù)采掘技術(shù)(如分類,聚類等),即一個任務(wù)指定一個數(shù)據(jù)采掘過程的目標(biāo)。╋?方法用來發(fā)現(xiàn)知識的數(shù)據(jù)采掘方法(如決策樹法,規(guī)則集法等),不同的方法服務(wù)于不同的目的。它可被看作是為抽取知識而對輸入數(shù)據(jù)實施的結(jié)構(gòu)化操作。╋?算法實現(xiàn)數(shù)據(jù)采掘任務(wù)的途徑。╋?組件用某種編程語言對一個數(shù)據(jù)采掘算法的具體實現(xiàn)。╋?套件實現(xiàn)一組數(shù)據(jù)采掘算法。每個算法可以執(zhí)行不同的任務(wù),也可使用不同的方法以便達到目標(biāo)。╋?數(shù)據(jù)源數(shù)據(jù)輸入。數(shù)據(jù)采掘算法可以從中抽取知識。╋?人類交互指出在發(fā)現(xiàn)過程中,需要或支持什么程度的人工交互。用于支持知識發(fā)現(xiàn)編程的數(shù)據(jù)采掘知識庫有兩個概念層:在頂層,DAMON本體給出關(guān)于數(shù)據(jù)采掘領(lǐng)域的一般信息;而關(guān)于軟件組件和數(shù)據(jù)源的特定信息則在資源駐留的地方維護。從體系結(jié)構(gòu)的觀點看,該本體是一個集中式資源,而特定的元數(shù)據(jù)則是分布式資源。例如,DAMON存儲著C5.0軟件實現(xiàn)C5算法(使用決策樹方法的分類算法)的信息。描述C5.0軟件所有安裝實例詳細(xì)信息的元數(shù)據(jù)文件的URL,就包含在該本體中C5.0軟件節(jié)點上。(2)基于da東南角的數(shù)據(jù)挖掘應(yīng)用通過本體訪問網(wǎng)格知識庫。DAMON有兩個用途,首先,它被用作對數(shù)據(jù)采掘軟件進行語義搜索的工具;其次,它是一個基于本體的助手,能夠建議設(shè)計者在滿足用戶需求的基礎(chǔ)上,該做什么和該用什么。換句話說,DAMON本體被用來增強應(yīng)用的構(gòu)成和設(shè)計,因為它能幫助用戶選擇和配置最適合于某個特定KDD過程的數(shù)據(jù)采掘方案。關(guān)于數(shù)據(jù)采掘任務(wù)和方法的信息,以及實現(xiàn)數(shù)據(jù)采掘算法的特定軟件可以通過瀏覽或搜索本體獲得。我們已經(jīng)實現(xiàn)了數(shù)據(jù)采掘軟件(基于概念的)和其他的數(shù)據(jù)采掘資源的語義搜索。搜索和選擇用于知識發(fā)現(xiàn)應(yīng)用的資源(數(shù)據(jù)源和軟件組件,數(shù)據(jù)采掘任務(wù)、方法和算法的類型)按以下步驟實現(xiàn):╋?基于本體的資源選擇通過瀏覽和搜索DAMON本體,用戶可以定位用于KDD過程特定階段的更合適的任務(wù)、方法、算法和數(shù)據(jù)采掘軟件。用戶能夠經(jīng)由不同的訪問點來導(dǎo)航DAMON本體,以獲得更深層面的細(xì)節(jié)。此外,用戶通過使用幾種可以擴大查詢范圍的推理方法(如等價推理、反向推理、綜合推理、分析推理)來查詢數(shù)據(jù)采掘資源非常細(xì)節(jié)的信息。例如,假定查詢結(jié)果集是空集,則通過將某些類用其超類或子類來代替的辦法,用戶至少可以找到部分地滿足查詢的對象。DAMON的一些可能的查詢是:i)查找與某個特定論題有關(guān)的數(shù)據(jù)源。ii)查找實現(xiàn)某個算法的軟件。iii)查找執(zhí)行某個特定數(shù)據(jù)采掘任務(wù)的軟件。iv)查找使用特定方法或算法的軟件。╋元數(shù)據(jù)訪問DAMON本體給出了知識網(wǎng)格上所有被選資源實例的元數(shù)據(jù)文件的URL。這些元數(shù)據(jù)只與安裝在某個給定物理節(jié)點上的數(shù)據(jù)采掘軟件和數(shù)據(jù)源緊密相關(guān),并包含著客戶訪問和使用數(shù)據(jù)采掘軟件和數(shù)據(jù)源的信息(如技術(shù)參數(shù),可獲得性,位置和配置)。例如,假定注冊到知識網(wǎng)格KU節(jié)點上的某個用戶,想要在DBX數(shù)據(jù)集上(存儲在另一個節(jié)點KD上)執(zhí)行由聚類和分類兩個數(shù)據(jù)采掘任務(wù)組成的數(shù)據(jù)采掘應(yīng)用。用戶計劃在DBX數(shù)據(jù)集的一個副本上并行地使用三種不同的算法將該數(shù)據(jù)集聚類,然后在三個不同節(jié)點上并行執(zhí)行某個分類算法(如C5算法)來分析聚類結(jié)果,從而在同一個數(shù)據(jù)集上生成三個分類模型。步驟如下:i)使用DAMON本體進行瀏覽或查詢。首先,在用戶需求的基礎(chǔ)上(如算法的計算復(fù)雜度,解決給定問題的態(tài)度,執(zhí)行采掘任務(wù)的方法等),通過瀏覽或查詢DAMON本體來搜索聚類算法;其次,搜索能在數(shù)據(jù)集DBX上實現(xiàn)該算法的聚類軟件;最后,定位由節(jié)點KG1,KG2,KG3表示的元數(shù)據(jù)URL,三個節(jié)點分別提供了聚類軟件K-Means,IntelligentMiner和Autoclass。此外,用戶還能找到提供C5.0分類器的KG4節(jié)點。此時,通過訪問每個被認(rèn)定節(jié)點(如KG1,KG2,KG3,KG4)上的特定元數(shù)據(jù),用戶能夠訪問關(guān)于這些軟件的特定信息。ii)通過一個圖形化界面(VEGA),前面從元數(shù)據(jù)中所獲得的信息被用來可視化地組成那些軟件組件和數(shù)據(jù)源。然后,