基于LinkedData的RDF關(guān)聯(lián)框架綜析

基于LinkedData的RDF關(guān)聯(lián)框架綜析

收修改稿日期：2011-11-231引言關(guān)聯(lián)數(shù)據(jù)(LinkedData)的本質(zhì)是將本體和相關(guān)數(shù)據(jù)資源按照RDF格式的標準鏈接起來，同時要求支持HTTPURI訪問和查詢語言SPARQL檢索[1,2]。根據(jù)W3CSWEO研究組的統(tǒng)計，截至2011年9月，關(guān)聯(lián)數(shù)據(jù)云(LODCloud)含有310億個RDF三元組，5億個RDF鏈接[3]，如圖1所示。圖1關(guān)聯(lián)數(shù)據(jù)云2007-2011年增長態(tài)勢由此推算，涉及關(guān)聯(lián)關(guān)系的三元組與三元組總量之比不到3.5%，96%的RDF三元組有建立RDF鏈接的潛力卻無RDF鏈接。隨著更多關(guān)聯(lián)數(shù)據(jù)集的發(fā)布和對關(guān)聯(lián)數(shù)據(jù)集應(yīng)用的展開，這一矛盾將進一步加劇。關(guān)聯(lián)數(shù)據(jù)界圍繞RDF關(guān)聯(lián)提出多種方法框架開展研究。從方法上來看，去重(DuplicateRecordDetection)和本體匹配研究的若干相似度方法[4,5]廣泛應(yīng)用于RDF關(guān)聯(lián)，基于圖相似的關(guān)聯(lián)數(shù)據(jù)集方法也在RDF關(guān)聯(lián)中得到應(yīng)用。近年來，機器學(xué)習(xí)方法[6]也應(yīng)用于處理關(guān)聯(lián)數(shù)據(jù)集，將RDF關(guān)聯(lián)發(fā)現(xiàn)問題轉(zhuǎn)化為分類問題，這些方法成為RDF關(guān)聯(lián)研究的新動向。通過關(guān)聯(lián)發(fā)現(xiàn)方法的集成，結(jié)合不同的應(yīng)用環(huán)境，Silk、GNAT、LIMES、R2R等關(guān)聯(lián)工具逐步開發(fā)出來。這些工具從框架上揭示了RDF關(guān)聯(lián)的方法及其應(yīng)用環(huán)境。與此同時，數(shù)據(jù)挖掘、自然語言處理等領(lǐng)域的研究也向關(guān)聯(lián)框架的發(fā)展與演化滲透，它們成為RDF關(guān)聯(lián)的新趨勢。從RDF關(guān)聯(lián)應(yīng)用來看，隨著更多關(guān)聯(lián)數(shù)據(jù)集的發(fā)布，傳統(tǒng)著眼于單一關(guān)聯(lián)數(shù)據(jù)集或依賴于頗具影響的Hub應(yīng)用的現(xiàn)狀正向多數(shù)據(jù)集和跨領(lǐng)域融合發(fā)展。2RDF關(guān)聯(lián)方法RDF關(guān)聯(lián)是指將兩個不同數(shù)據(jù)集中的相同實體或相關(guān)對象構(gòu)建RDF類型關(guān)聯(lián)，通過關(guān)聯(lián)實現(xiàn)對相關(guān)信息對象的發(fā)現(xiàn)和集成應(yīng)用。構(gòu)建關(guān)聯(lián)有手動和自動兩種方法[7]，一般情況下可以通過SPARQL或HTML表單手工檢索待鏈接的URI實現(xiàn)手動生成。但對于大規(guī)模的數(shù)據(jù)集，不適宜采用手工設(shè)置，而需要采用多種關(guān)聯(lián)算法在不同數(shù)據(jù)集之間生成關(guān)聯(lián)，自動方法也需要人工輸寫相應(yīng)的關(guān)聯(lián)代碼或配置相關(guān)的參數(shù)變量完成。通過對各種算法的集成應(yīng)用，關(guān)聯(lián)數(shù)據(jù)界已經(jīng)開發(fā)了若干關(guān)聯(lián)工具，如Silk[8]、LIMES[9]等。由于關(guān)聯(lián)數(shù)據(jù)集的描述不僅采取公共的詞表，同時運用多種私有詞表對數(shù)據(jù)集進行揭示。因此，關(guān)聯(lián)算法不僅要考慮在相同結(jié)構(gòu)下的RDF類型關(guān)聯(lián)問題，同時也要考慮在異構(gòu)環(huán)境下的RDF類型關(guān)聯(lián)問題?，F(xiàn)行應(yīng)用最普遍的兩類關(guān)聯(lián)算法有：(1)唯一標識符法。該方法是對基于特定的命名模式進行標識。例如出版界的ISBN號，DBpedia通過遍歷圖書的ISBN號，構(gòu)建DBpedia與BookMashup之間的owl：sameAs關(guān)聯(lián)。(2)相似度計算。該方法通過分析數(shù)據(jù)集中對象實例的屬性值和語境相似度來發(fā)現(xiàn)并建立關(guān)聯(lián)關(guān)系(以owl：sameAs為主)。在Silk框架、LIMES、KnoFuss[10]等框架中均集成了相似度算法。在去重和本體匹配的研究中討論相似度算法的類型有多種，而在關(guān)聯(lián)數(shù)據(jù)中應(yīng)用的相似度算法主要包括基于字符的相似度計算[11]、基于詞素(Token)的相似度計算[5]、基于數(shù)值的相似度計算、基于圖的相似度計算[12]4種類型。文獻[13]對相似度算法從單一算法和組合算法兩種角度進行了分析。本文主要闡述4種新興方法。2.1基于機器學(xué)習(xí)的關(guān)聯(lián)發(fā)現(xiàn)方法機器學(xué)習(xí)是從大量的數(shù)據(jù)中自動或半自動地尋找模式的過程[14]。在關(guān)聯(lián)數(shù)據(jù)中，通過選取若干關(guān)聯(lián)對象實例對其進行標注構(gòu)建訓(xùn)練集，在此基礎(chǔ)上得到特征分類模型來判斷輸入的對象實例是否為等同關(guān)系(Coreference)。Mayfield等[15]研究認為，決策樹方法在等同分類問題中易出現(xiàn)過度擬合，分類效果不明顯，基于SVM-Perf的支持向量機方法在處理二值問題中更具優(yōu)勢。Sleeman等[16]基于支持向量機原理，通過引入逆函數(shù)并借助SVMLight工具研究了FOAF等同實例的分類。除采用準確性(Accuracy)、精確率(Precision)和召回率(Recall)進行機器學(xué)習(xí)算法的評估外，機器學(xué)習(xí)中的其他常用方法也應(yīng)用于算法的評估，Nikolov等[17]在以關(guān)聯(lián)數(shù)據(jù)實例層的鏈接情況來發(fā)現(xiàn)模式層的映射研究中，采用10折交叉確認的方法對分類算法進行評估，發(fā)現(xiàn)J48決策樹所獲得的分類器效果最好，基于字符的相似度算法一般處理較為明確的樣本，同時需要手動選擇屬性、算法并配置參數(shù)，整體效率并不高；機器學(xué)習(xí)方法盡管也存在對訓(xùn)練集樣本的標注與篩選，但是它能夠處理較為復(fù)雜的數(shù)據(jù)集，通過有限的訓(xùn)練集樣本達到處理大規(guī)模復(fù)雜數(shù)據(jù)集的目標，從而表現(xiàn)出較強的實用性。2.2基于HTTPReferer的后向關(guān)聯(lián)方法上述方法主要是針對等同關(guān)聯(lián)關(guān)系考慮的。在關(guān)聯(lián)數(shù)據(jù)集中還有非等同關(guān)聯(lián)關(guān)系的創(chuàng)建。作為關(guān)聯(lián)的一種，構(gòu)建非等同關(guān)聯(lián)可以創(chuàng)建更多的RDF鏈接，擴大數(shù)據(jù)Web，便于開發(fā)更多基于RDF鏈接的關(guān)聯(lián)應(yīng)用。Referer方法是在關(guān)聯(lián)數(shù)據(jù)集的rdfs：seeAlso參考信息支持下，通過借助逆屬性關(guān)系owl：inverseOf或?qū)ΨQ屬性關(guān)系owl：symmetricProperty構(gòu)建數(shù)據(jù)集之間的后向關(guān)聯(lián)(BackLinkService)[18]。例如，屬性hasChild有逆屬性hasParent，從而可以建立反向鏈接。值得注意的是，若無rdfs：seeAlso信息，則無法構(gòu)建后向關(guān)聯(lián)。2.3基于元素和結(jié)構(gòu)的模式映射方法[5]在多種詞表描述數(shù)據(jù)集的異構(gòu)環(huán)境下，需要建立異構(gòu)數(shù)據(jù)之間的模式映射，然后運用上述方法創(chuàng)建對象實例間的關(guān)聯(lián)。處理這一方法可分為元素與結(jié)構(gòu)映射法和屬性轉(zhuǎn)換方法。元素映射主要是運用字符相似度算法計算描述數(shù)據(jù)集的詞表的名稱、描述、命名空間和關(guān)鍵屬性等信息的相似度。結(jié)構(gòu)映射是比較兩個不同數(shù)據(jù)集的詞表結(jié)構(gòu)來確定是否存在模式間的映射。該方法綜合考慮圖及其關(guān)系信息，是基于圖的相似度方法應(yīng)用。圖2都采用了MusicOntology，通過rdfs：subClassOf鏈接元素有｛Album，Single，Song｝，Release中鏈接元素有｛Album，Single，Track｝，通過元素映射，Album和Single可直接映射；MusicalWork和Release通過WordNet詞典建立映射；通過圖形相似度算法可確定Song和Track之間的映射關(guān)系。圖2DBpedia與MusicBrainz音樂本體描述[13]2.4面向?qū)傩缘慕Y(jié)構(gòu)轉(zhuǎn)換和值轉(zhuǎn)換算法針對多種數(shù)據(jù)集中不同對象間包含的相同實體用不同的URI參引，其處理有融合(Merge)和互聯(lián)兩種方式[19]。所謂融合，即取代URIs；所謂互聯(lián)，即等同關(guān)聯(lián)和其他非等同關(guān)聯(lián)。例如構(gòu)建owl：sameAs關(guān)系。Bizer等[20]所開發(fā)的R2R框架采取融合的方式，可以實現(xiàn)兩個三元組謂詞屬性之間的轉(zhuǎn)換和屬性值的轉(zhuǎn)換。其方法是通過R2R語言對轉(zhuǎn)換三元組進行編碼，構(gòu)建包括源對象、目標對象、轉(zhuǎn)換函數(shù)、引用屬性等關(guān)鍵映射語句，在JDK平臺下借助獨立開發(fā)的R2RAPI調(diào)用R2R映射程序?qū)崿F(xiàn)目標屬性對源對象屬性的取代；若包括轉(zhuǎn)換語句，還可進一步實現(xiàn)屬性值的轉(zhuǎn)換。上述算法是目前關(guān)聯(lián)研究的代表方法。英國謝菲爾德大學(xué)所開發(fā)的相似度算法API[21]均有涉及(圖相似算法除外)，新西蘭懷卡托大學(xué)開發(fā)的Weka平臺在在處理決策樹方法上有較好的使用效果[22]。LIBSVM[23]、SVMLight[24]等開源支持向量機工具則可處理基于SVM的分類問題。3關(guān)聯(lián)框架關(guān)聯(lián)框架是指揭示RDF關(guān)聯(lián)工具的一組抽象組件及其交互關(guān)系，涉及系統(tǒng)模型、支撐語言和具體算法等。關(guān)聯(lián)框架反映了RDF關(guān)聯(lián)研究的最新開發(fā)成果，截至2011年4月，關(guān)聯(lián)數(shù)據(jù)界較具影響的關(guān)聯(lián)框架有Silk、LIMES、R2R等。3.1Silk框架Silk框架是構(gòu)建不同數(shù)據(jù)集的等同關(guān)聯(lián)開源工具，包括Silk語言規(guī)范和SilkServer兩部分。截至2011年10月1日，SilkAPI還沒有開發(fā)完成。在原理上Silk通過基于字符的相似度算法和基于詞素的相似度算法構(gòu)建等同關(guān)聯(lián)，其主要算法如表1所示。Silk語言以XML規(guī)范定義，以相應(yīng)的SilkXMLSchema表示。其根標簽是。在根元素下包括4種頂層語句類型，即前綴定義、源數(shù)據(jù)定義、鏈接規(guī)范和輸出規(guī)范。所集成的相似度算法在Silk規(guī)范的鏈接規(guī)范模塊構(gòu)建不同屬性之間的RDF鏈接。SilkServer[25]包括實例緩存、鏈接規(guī)范引擎和REST接口輸出三大模塊，其核心是鏈接規(guī)范引擎，使用Silk框架可在Silk工作臺上完成。目前已開發(fā)完成的Silk工作臺可通過搭建Tomcat等Web服務(wù)器實現(xiàn)語言的輸入，按照提示指令構(gòu)建不同數(shù)據(jù)集間的等同關(guān)聯(lián)。與Silk一樣生成RDF鏈接的工具還有LinQuer和GNAT。LinQuer是建立在關(guān)系數(shù)據(jù)庫基礎(chǔ)上的語義互聯(lián)框架，須與RDF包裝器一起使用[26]，例如D2RServer或VirtuosoRDFViews。GNAT工具則是面向音樂這一特定領(lǐng)域的工具。與它們相比，Silk一方面直接面向關(guān)聯(lián)數(shù)據(jù)本身；另一方面它是一個通用的RDF鏈接工具，適用于各種RDF數(shù)據(jù)集。3.2LIMES框架LIMES(LInkdiscoveryframeworkforMEtricsSpaces)是一種半自動關(guān)聯(lián)發(fā)現(xiàn)工具。與Silk框架不同，它開發(fā)了完整的GUI界面和Web接口供用戶使用。LIMES集成了基于字符和數(shù)值的多種相似度算法，具體如表2所示。LIMES的流程如下：首先構(gòu)建基于目標數(shù)據(jù)集的參照集E(Exemplar)，然后通過三角不等式原則過濾掉不在閾值內(nèi)的數(shù)據(jù)集，在此基礎(chǔ)上運用相似度計算方法處理符合閾值條件內(nèi)的數(shù)據(jù)集，得到源數(shù)據(jù)集與目標數(shù)據(jù)集等同的相似記錄，最后實現(xiàn)序列化輸出存儲，如圖3所示。LIMES和Silk都是基于RDF鏈接的互聯(lián)工具，都有基于自身的語言規(guī)范，其宿主語言均是XML。作為面向大規(guī)模數(shù)據(jù)集的工具，二者均對關(guān)聯(lián)的效率進行了設(shè)計和優(yōu)化。Silk框架基于排序后分塊實現(xiàn)，LIMES則依據(jù)三角不等式定義的邊界條件過濾來減少比較的次數(shù)。文獻[28]通過比較證實LIMES的效率較Silk有明顯上升。3.3R2R框架R2R(RDFDatasettoRDFDataset)是面向關(guān)聯(lián)數(shù)據(jù)集中詞表采用自描述方式形成的術(shù)語異構(gòu)這一突出問題，提出程序化的術(shù)語映射方案，它由R2R語言和R2RAPI構(gòu)成。與Silk框架和LIMES構(gòu)建互聯(lián)不同，R2R框架利用R2R映射程序，通過JavaAPI接口調(diào)用實現(xiàn)R2R映射接口，完成目標屬性對源屬性的替代。運用R2R實現(xiàn)屬性轉(zhuǎn)換關(guān)鍵在于明確R2R語言，編寫R2R映射程序。R2R語言規(guī)范主要包括R2R映射屬性、表示規(guī)則、R2R函數(shù)與修飾符、R2R映射元數(shù)據(jù)4部分內(nèi)容。其中，映射屬性是構(gòu)建R2R映射語句的基礎(chǔ)，通過映射屬性為不同類型的RDF詞表術(shù)語構(gòu)建映射。其屬性類型包括以下6種，如表3所示。圖3LIMES流程[27]在進行關(guān)聯(lián)數(shù)據(jù)集的映射關(guān)聯(lián)處理之前，首先可通過關(guān)聯(lián)數(shù)據(jù)爬行器LDspider獲取相關(guān)的源數(shù)據(jù)，然后構(gòu)建R2R應(yīng)用。使用R2R框架要下載R2RAPI，在JDK平臺中調(diào)用相應(yīng)的接口。R2R框架尚缺乏基于R2R框架特定的RDF存儲庫(TripleStore)，限制了對RDF數(shù)據(jù)集的進一步處理。作為主要的關(guān)聯(lián)框架，上述框架在解決等同關(guān)聯(lián)和詞表映射中具有重要的參考價值。與其他框架相比，這些框架對應(yīng)的工具一方面具有通用性；另一方面直接面向關(guān)聯(lián)數(shù)據(jù)集本身進行處理，較其他非RDF數(shù)據(jù)集框架更具適用性。4RDF關(guān)聯(lián)研究趨勢RDF關(guān)聯(lián)是關(guān)聯(lián)數(shù)據(jù)走向應(yīng)用的核心。目前，業(yè)界在研究各種互聯(lián)方法的同時，重點將關(guān)聯(lián)聚焦在開發(fā)經(jīng)濟高效的關(guān)聯(lián)工具方面。在業(yè)已開發(fā)若干工具的同時，對于這些工具的實證研究和比較研究有待進一步拓展，在此基礎(chǔ)上構(gòu)建更為成熟、綜合效能更高的關(guān)聯(lián)工具。由于開放關(guān)聯(lián)數(shù)據(jù)集和RDF三元組的不斷增長所表現(xiàn)出來的大規(guī)模化數(shù)據(jù)以及語義網(wǎng)技術(shù)的推動，關(guān)聯(lián)數(shù)據(jù)的關(guān)聯(lián)有進一步與數(shù)據(jù)挖掘、詞義消歧、語義標注等研究相結(jié)合的趨勢；與此同時，基于Web2.0等動態(tài)社區(qū)表現(xiàn)出的移動數(shù)據(jù)服務(wù)和海量科學(xué)數(shù)據(jù)管理有望借助關(guān)聯(lián)數(shù)據(jù)開展更先進服務(wù)的趨勢。4.1在關(guān)聯(lián)算法方面除Silk、KnoFuss、LIMES等主要運用字符串和詞素的相似度算法以外，GNAT工具應(yīng)用了基于圖的相似度計算方法。白海燕等[30]開展了基于FRBR模型創(chuàng)建基于規(guī)則的關(guān)聯(lián)關(guān)系實驗。鄧蘭蘭等[13]在總結(jié)國外關(guān)聯(lián)算法時發(fā)現(xiàn)，現(xiàn)有的算法表現(xiàn)為同構(gòu)關(guān)聯(lián)、異構(gòu)關(guān)聯(lián)和推導(dǎo)關(guān)聯(lián)三種模式。在進一步與這些方法相結(jié)合的同時，決策樹和支持向量機等機器學(xué)習(xí)領(lǐng)域的分類方法也加入到RDF關(guān)聯(lián)研究之中。例如，Narasimha等[31]在處理關(guān)聯(lián)數(shù)據(jù)的分類和聚類中相繼運用了J48決策樹、Apriori關(guān)聯(lián)算法、最大期望(EM)聚類等多種方法。Sleeman等[16]在分類中通過支持向量機模型取得比較好的分類效果。Rusu等[32]在研究不同關(guān)聯(lián)數(shù)據(jù)集的詞義消歧中采用PageRank算法和ContextSimilarity算法分析WordNet、OpenCyc、DBpedia的詞表結(jié)構(gòu)。4.2在關(guān)聯(lián)框架研究方面關(guān)聯(lián)數(shù)據(jù)框架從整體上揭示了關(guān)聯(lián)的作用機理。通過對關(guān)聯(lián)框架的比較和試驗可為新的關(guān)聯(lián)方法的探索提供思路。從趨勢上看，關(guān)聯(lián)框架一方面著眼于構(gòu)建不同數(shù)據(jù)集之間的關(guān)聯(lián)，另一方面著眼于與其他領(lǐng)域框架相結(jié)合探討關(guān)聯(lián)數(shù)據(jù)應(yīng)用。除Silk、LIMES和R2R外，基于領(lǐng)域應(yīng)用的GNAT框架也是其中一種?；陬I(lǐng)域應(yīng)用的模型與通用模型的不同主要在于，領(lǐng)域應(yīng)用的數(shù)據(jù)集之間存在互相依賴關(guān)系，而通用的關(guān)聯(lián)框架其源數(shù)據(jù)集和目標數(shù)據(jù)集是相對獨立的。LinQuer是建立在關(guān)系數(shù)據(jù)庫基礎(chǔ)上的語義互聯(lián)框架。與上述模型著眼于關(guān)聯(lián)不同，基于不斷增長的RDF數(shù)據(jù)集，數(shù)據(jù)挖掘的有關(guān)模型加入到關(guān)聯(lián)數(shù)據(jù)中促使關(guān)聯(lián)框架的演化。在關(guān)聯(lián)數(shù)據(jù)環(huán)境下，一些科研人員構(gòu)建了基于關(guān)聯(lián)數(shù)據(jù)的數(shù)據(jù)挖掘系統(tǒng)LiDDM，該框架通過對經(jīng)典的數(shù)據(jù)庫知識發(fā)現(xiàn)(KDD)模式進行修正，得出新框架并運用JenaAPI和Weka進行了實現(xiàn)。其框架的執(zhí)行流程如圖4所示。圖4LiDDM框架[31]除上述框架外，面對海量RDF三元組的操作和管理，探討運用Hadoop和MongoDB[33]等新型開源海量數(shù)據(jù)處理框架可能成為關(guān)聯(lián)數(shù)據(jù)深化研究的趨勢。RDFgrid即是基于Map/Reduce處理關(guān)聯(lián)數(shù)據(jù)的Hadoop框架[34]。4.3在關(guān)聯(lián)數(shù)據(jù)應(yīng)用方面Hausenblas[35]認為關(guān)聯(lián)數(shù)據(jù)的應(yīng)用包括兩方面：關(guān)聯(lián)數(shù)據(jù)在不同領(lǐng)域(包括音樂、生物學(xué)、統(tǒng)計學(xué)、自然語言處理、多媒體等)中的應(yīng)用；應(yīng)用關(guān)聯(lián)數(shù)據(jù)構(gòu)建Web應(yīng)用，這類Web應(yīng)用稱為由關(guān)聯(lián)數(shù)據(jù)驅(qū)動的Web應(yīng)用，如圖5所示。圖5關(guān)聯(lián)數(shù)據(jù)驅(qū)動的Web應(yīng)用概念框架[35]在綜合Hausenblas[35]、Sequeda[36]、沈志宏等[37]的基礎(chǔ)上，黃永文等[38]認為，關(guān)聯(lián)數(shù)據(jù)的應(yīng)用主要是利用關(guān)聯(lián)數(shù)據(jù)源中的數(shù)據(jù)本身及數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系構(gòu)建的Web應(yīng)用?，F(xiàn)有關(guān)聯(lián)數(shù)據(jù)應(yīng)用一般著眼于單個數(shù)據(jù)集。與研究單個關(guān)聯(lián)數(shù)據(jù)集應(yīng)用不同，基于關(guān)聯(lián)數(shù)據(jù)互聯(lián)的關(guān)聯(lián)應(yīng)用著眼于針對多個關(guān)聯(lián)數(shù)據(jù)集的互聯(lián)，LOD是最大的關(guān)聯(lián)數(shù)據(jù)集。在此方面業(yè)界已經(jīng)展開了多項研究，例如，LOD中的中心數(shù)據(jù)集DBpdedia應(yīng)用最為廣泛，DBpediaMobile[39]充分利用DBpedia中的位置數(shù)據(jù)，通過GPS信號，結(jié)合DBpedia與GeoNames、USCensus、CIAFactbook、EuroStat等其他LOD數(shù)據(jù)集的關(guān)聯(lián)，自動發(fā)現(xiàn)當(dāng)前位置附近的相關(guān)內(nèi)容，并通過LinkedData瀏覽器提供地圖化的界面。對于更多的非中心數(shù)據(jù)集，其互聯(lián)有賴于研究與實際應(yīng)用結(jié)合起來。文獻[40]擴展SMW+框架[41]，通過增加關(guān)聯(lián)數(shù)據(jù)整合框架將來自于多個關(guān)聯(lián)數(shù)據(jù)集的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的本體，允許多個領(lǐng)域的數(shù)據(jù)集擴展查詢，構(gòu)建ABA數(shù)據(jù)和Uniprot、KEGGPathway、PharmGKB、LinkingOpenDrugData等神經(jīng)科學(xué)中標準數(shù)據(jù)資源的映射，實現(xiàn)統(tǒng)一查詢、導(dǎo)航和可視化，支持維基風(fēng)格