（通信與信息系統(tǒng)專業(yè)論文）基于dht的內(nèi)容服務(wù)技術(shù)研究.pdf

文摘 p 2 p ( p e e r - t o - p e e r ) 是當(dāng)今最流行的互聯(lián)網(wǎng)技術(shù)之一。在p 2 p 技術(shù)的眾多應(yīng)用 中，內(nèi)容服務(wù)應(yīng)用一直是一個(gè)主要的應(yīng)用領(lǐng)域。通常來講，內(nèi)容服務(wù)包括內(nèi)容服務(wù) 模型的構(gòu)造，內(nèi)容發(fā)布，內(nèi)容存儲(chǔ)，內(nèi)容檢索和內(nèi)容下載等關(guān)鍵技術(shù)。如何在規(guī)模 巨大，網(wǎng)絡(luò)環(huán)境復(fù)雜的p 2 p 系統(tǒng)實(shí)現(xiàn)高效的內(nèi)容服務(wù)具有重大的研究意義，同時(shí)又 是具有挑戰(zhàn)性的研究課題。 本文以p 2 p 網(wǎng)絡(luò)中的內(nèi)容服務(wù)為研究對(duì)象，分析了p 2 p 網(wǎng)絡(luò)的特性以及內(nèi)容服務(wù) 技術(shù)的研究現(xiàn)狀，圍繞如何在p 2 p 網(wǎng)絡(luò)以更貼近自然語義的方式提供高效、可擴(kuò)展 的內(nèi)容服務(wù)，深入研究了p 2 p 網(wǎng)絡(luò)中提供內(nèi)容服務(wù)的各項(xiàng)關(guān)鍵技術(shù)。主要研究工作 包括： 1 ) 提出了一種基于d h t 和資源內(nèi)容語義的開放式內(nèi)容服務(wù)模型。該模型采用了 o p e n d h t 的網(wǎng)絡(luò)結(jié)構(gòu)，并以兩級(jí)發(fā)布資源的方式結(jié)合了d h t 的冗余、高容 錯(cuò)、可擴(kuò)展性及自組織能力和基于內(nèi)容語義的檢索算法能從自然語義角度 進(jìn)行內(nèi)容篩選的優(yōu)點(diǎn)，同時(shí)具有很好的易用性和對(duì)異構(gòu)網(wǎng)絡(luò)的利用能力。 2 ) 提出了一種適用于混合型d h t 的內(nèi)容存儲(chǔ)算法。該算法在對(duì)通信節(jié)點(diǎn)進(jìn)行驗(yàn) 證和對(duì)資源進(jìn)行分布式存儲(chǔ)的基礎(chǔ)上，以合理的代價(jià)實(shí)現(xiàn)了系統(tǒng)對(duì)數(shù)據(jù)完 整性和安全性的要求。 3 ) 提出了對(duì)資源索引和原始文檔本身進(jìn)行兩級(jí)發(fā)布的內(nèi)容發(fā)布算法。該算法 使得節(jié)點(diǎn)可以根據(jù)自身能力和網(wǎng)絡(luò)情況進(jìn)行不同方式的內(nèi)容發(fā)布，從而獲 得最大限度的便利性；另一方面，索引文件的使用有效地限制了網(wǎng)絡(luò)的信 息冗余，為獲得良好的搜索效率準(zhǔn)備了條件。 4 ) 提出了基于d h t 和語義矢量投影計(jì)算的內(nèi)容搜索算法。該算法在對(duì)詞間關(guān)系 進(jìn)行考察的基礎(chǔ)上，改進(jìn)了傳統(tǒng)的關(guān)鍵詞提取算法和文章關(guān)鍵詞矢量投影 計(jì)算方法，使得一方面參與計(jì)算的矢量更能體現(xiàn)文章內(nèi)容語義，另一方面 減小了計(jì)算量和網(wǎng)絡(luò)流量，提高了搜索效率。 5 ) 針對(duì)在混合型p 2 p 網(wǎng)絡(luò)中實(shí)現(xiàn)更好的內(nèi)容服務(wù)進(jìn)行了一些內(nèi)容下載機(jī)制、用 戶激勵(lì)機(jī)制和網(wǎng)絡(luò)安全機(jī)制方面的考慮，進(jìn)一步完善了所提出的系統(tǒng)。 關(guān)鍵詞：p 2 p 網(wǎng)絡(luò)，d h t ，內(nèi)容服務(wù)，內(nèi)容檢索，語義，資源索引，關(guān)鍵詞矢量， 掃 序 a b s t r a c t p 2 pi so n eo ft h ef a s t e s tg r o w i n ga n dm o s tp o p u l a ri n t e m e tt e c h n o l o g i e s a m o n gv a r i o u s p 2 p a p p l i c a t i o n s ，c o n t e n ts e r v i c ei sa l w a y sam o s ti m p o r t a n to n e g e n e r a l l ys p e a k i n g ， c o n s t r u c t i o no fc o n t e n ts e r v i c em o d e l ，c o n t e n ts t o r a g e ，c o n t e n tp u b l i c a t i o n ，c o n t e n t s e a r c h i n ga n dc o n t e n td o w n l o a da r et h eb a s eb l o c k so fc o n t e n ts e r v i c e h o wt o i m p l e m e n te f f i c i e n tc o n t e n ts e r v i c ei nac o m p l e xn e t w o r ke n v i r o n m e n t w h i c hc o n t a i n s h u g e a m o u n tn o d e si sac h a l l e n g i n gr e s e a r c ha r e aa n do fg r e a ti m p o r t a n c e t h er e s e a r c hi nt h i st h e s i sf o c u s e so nc o n t e n ts e r v i c ei np 2 pn e t w o r k i ta n a l y z e st h e p a r t i c u l a r i t yo fc o n t e n ts e r v i c ei np 2 p n e t w o r ka n dc u r r e n tr e s e a r c hs t a t u so nc o n t e n t s e r v i c e i no r d e rt op r o v i d ea l le f f i c i e n ta n de x t e n s i b l ec o n t e n ts e r v i c eb a s e do nn a t u r a l s e m a n t i ci np 2 pn e t w o r k , w ed i dm u c hr e s e a r c ho nt h ek e yt e c h n o l o g i e sa n dm a k e c o n t r i b u t i o n st ot h ef o l l o w i n ga r e a s ： 1 ) a no p e nc o n t e n ts e r v i c em o d e li sp r o p o s e db a s e do nd h ta n dt h es e m a n t i co f r e s o u r c ec o n t e n t t h i sm o d e li sa no p e n d h t s t r u c t u r e ，u s i n gt w o - s t e p sc o n t e n t p u b l i c a t i o n w 汕t h i sd e s i g n ，i ti n h e r i t st h er e d u n d a n c y ，f a u l tt o l e r a t i o n ， e x t e n s i b i l i t ya n ds e l fo r g a n i z a t i o nf r o md h t w h i l em a k e sf u l lu s eo f t h e a d v a n t a g e sp r o v i d e db ys e m a n t i c - b a s e ds e a r c h i n ga l g o r i t h m b e s i d e s ，t h i sm o d e l i se a s yf o ru s ea n da d a p t e dt ou n b a l a n c e dn e t w o r k 2 )ac o n t e n ts t o r a g ea l g o r i t h ma d a p t e dt oh y b r i dd h ti sp r o p o s e d 1 1 1 i sa l g o r i t h mi s b a s e do nv e r i f i c a t i o no fc o m m u n i c a t i o nn o d e sa n dd i s t r i b u t e dr e s o u r c es t o r a g e ， w h i c hf u l f i l lt h er e q u i r e m e n to fd a t ai n t e g r a l i t ya n ds y s t e ms e c u r i t yw i t h r e a s o n a b l ec o s t 3 1ac o n t e n tp u b l i c a t i o na l g o r i t h mw h i c hp u b l i s h e si n d e xa n dr e s o u r c ei t s e l fi n t o t w os t e p si sp r o p o s e d w i t ht h i sa l g o r i t h m ，o nt h eo n eh a n d ，n o d ec a nf l e x i b l y m a k ear e s o u r c ep u b l i c a t i o nd e c i s i o nb a s e do ni t so w nc a p a b i l i t ya n dn e t w o r k c o n n e c t i o n ；o nt h eo t h e rh a n d t h eu s i n go fi n d e xe 硒c i e n t l yr e s t r a i nn e t w o r k r e d u n d a n c ya n dp r e p a r ew e l lf o rq u a l i t ys e a r c h i n g 4 ) ac o n t e n ts e a r c h i n ga l g o r i t h mb a s e do nd h ta n ds e m a n t i cv e c t o rp r o j e c t i o n c o m p u t i n gi sp r o p o s e d t h i sa l g o r i t h mt a k e si n t oc o n s i d e r a t i o nr e l a t i o nb e t w e e n w o r d s ，i m p r o v i n gt r a d i t i o n a lk e y w o r d se x t r a c t i o na l g o r i t h ma n dp r o j e c t i o n c o m p u t i n gm e t h o dw i t hk e y w o r dv e c t o r s i nt h a tw a y ，n o to n l yt h ek e y w o r d v e c t o r sc a nb e t t e rp r e s e n tt h ec o n t e n ts e m a n t i co fr e s o u r c e s ，b u ta l s ot h e c o m p u t i n g a n dc o m m u n i c a t i o nl o a dr e d u c e v 5 ) i n o r d e rt op r o v i d eab e t t e rc o n t e n ts e r v i c ei na h y b r i dp 2 pn e t w o r k ，w ea l s ot a k e i n t oc o n s i d e r a t i o nc o n t e n td o w n l o a da l g o r i t h m ，u s e ri n c e n t i v em e c h a n i s ma n d s e c u r i t ym e c h a n i s m ，w h i c hg u a r a n t e et h ei n t e g r a l i t yo f o u rs y s t e m k e y w o r d s ：p 2 pn e t w o r k ，d h t ，c o n t e n ts e r v i c e ，c o n t e n ts e a r c h ，s e m a n t i c ，i n d e x ， k e y w o r dv e c t o r ，r a n k i n g 第一章、緒論： 1 1 研究背景 近年來，隨著i n t e r n e t 的廣泛使用以及接入i n t e r n e t 的計(jì)算機(jī)系統(tǒng)性能的持續(xù) 增長，p 2 p 計(jì)算已經(jīng)成為新的研究熱點(diǎn)。不同于傳統(tǒng)的c s 計(jì)算模式中以服務(wù)器為中 心的網(wǎng)絡(luò)結(jié)構(gòu)以及數(shù)據(jù)存儲(chǔ)和處理方式，p 2 p 計(jì)算中各節(jié)點(diǎn)是邏輯對(duì)等的，節(jié)點(diǎn)之 間無需借助中間服務(wù)器即可直接共享和交換資源，這使得高效合理地組織和利用 i n t e r n e t 邊緣上大量分布的計(jì)算、存儲(chǔ)、通信、信息等資源成為可能。 p 2 p 計(jì)算模式的產(chǎn)生和發(fā)展過程同其它任何一種計(jì)算模式的產(chǎn)生和發(fā)展的過程 一樣，都是順應(yīng)了計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的發(fā)展趨勢(shì)，滿足了新的應(yīng)用需求而出現(xiàn)的。 計(jì)算機(jī)和網(wǎng)絡(luò)領(lǐng)域的一些基本定律是p 2 p 計(jì)算興起的技術(shù)基礎(chǔ)： 摩爾定律( m o o r e sl a w ) 指出微處理器速度和磁盤的存儲(chǔ)能力每1 8 個(gè)月翻一 番。經(jīng)過多年的發(fā)展，目前單臺(tái)p c 的計(jì)算和存儲(chǔ)能力己經(jīng)超過早期的巨型 機(jī)，并且大量空閑。 吉爾德定律( g i l d e r sl a w ) 指出網(wǎng)絡(luò)帶寬每6 個(gè)月翻一番，迅速增長的網(wǎng)絡(luò) 帶寬為更多p c 的寬帶接入提供了可能，寬帶接入為許多應(yīng)用提供了通信的物 理基礎(chǔ)支持。目前網(wǎng)絡(luò)帶寬的應(yīng)用現(xiàn)狀是：一方面普通節(jié)點(diǎn)存在大量的空閑 帶寬，另一方面提供集中服務(wù)的服務(wù)器的帶寬和響應(yīng)能力不足。 麥特卡夫定律( m e t c a l f e sl a w ) 指出網(wǎng)絡(luò)的價(jià)值與用戶數(shù)量成平方關(guān)系，即 接入網(wǎng)絡(luò)的用戶數(shù)和網(wǎng)絡(luò)的價(jià)值成正反饋關(guān)系。為了使互聯(lián)網(wǎng)的價(jià)值增值， 需要更有效的能夠支持更大規(guī)模用戶并實(shí)現(xiàn)用戶之間直接交流的計(jì)算模式。 由這些定律所揭示的計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的發(fā)展趨勢(shì)同時(shí)也決定了c s 計(jì)算模式 中僅關(guān)注i n t e r n e t 核心資源的做法將受到越來越大的挑戰(zhàn)和沖擊。另一方面，c s 模式的性能擴(kuò)展需要升級(jí)或者增加服務(wù)器，其代價(jià)高昂；而p 2 p 計(jì)算能充分利用 i n t e r n e t 邊緣的龐大閑置資源，以更低的代價(jià)實(shí)現(xiàn)同樣的服務(wù)；這也促進(jìn)了p 2 p 的 發(fā)展。 在這各種原因的驅(qū)動(dòng)下，從1 9 9 9 年最早的p 2 p 軟件n a p s t e r 的出現(xiàn)至今，短短的 不到十年的時(shí)間里，p 2 p 應(yīng)用已經(jīng)成為成長速度最快，最流行的互聯(lián)網(wǎng)應(yīng)用之一。 據(jù)統(tǒng)計(jì)，通過p 2 p 軟件進(jìn)行資源共享所產(chǎn)生的網(wǎng)絡(luò)流量已經(jīng)占據(jù)了當(dāng)前網(wǎng)絡(luò)總體流 量的5 0 以上。 p 2 p 技術(shù)應(yīng)用在諸多領(lǐng)域顯示了很好的應(yīng)用前景，同時(shí)其顯現(xiàn)出的問題也吸引 了諸多的活躍研究，例如：分布式計(jì)算、協(xié)同工作、分布式存儲(chǔ)、內(nèi)容共享和發(fā)布 等。概括和抽象各種p 2 p 系統(tǒng)，可以發(fā)現(xiàn)眾多p 2 p 系統(tǒng)中內(nèi)容服務(wù)都是一個(gè)基本的功 能模塊，內(nèi)容服務(wù)應(yīng)用也一直是p 2 p 技術(shù)主要的應(yīng)用領(lǐng)域。基于p 2 p 所提供的內(nèi)容服 務(wù)，用戶可以拋開應(yīng)用服務(wù)器，通過p 2 p 軟件自由、實(shí)時(shí)而廉價(jià)地共享、發(fā)布自己 感興趣的內(nèi)容，可以按照興趣構(gòu)建虛擬社區(qū)，可以得到個(gè)性化的服務(wù)；通過p 2 p 節(jié) 點(diǎn)之間的協(xié)作，可以低代價(jià)實(shí)現(xiàn)大規(guī)模流媒體的應(yīng)用層廣播，可以實(shí)現(xiàn)大尺寸內(nèi)容 的協(xié)作下載。但是，如何在參與節(jié)點(diǎn)物理位置廣泛分布、數(shù)量巨大、行為不可控、 計(jì)算存儲(chǔ)能力和網(wǎng)絡(luò)連接不均勻的復(fù)雜環(huán)境下實(shí)現(xiàn)高效的內(nèi)容服務(wù)又是p 2 p 應(yīng)用面 臨的巨大挑戰(zhàn)。 1 2p 2 p 的基本分類及o d c s 早期的p 2 p ( 如n a p s t e r ) ，依靠中心服務(wù)器實(shí)現(xiàn)共享資源的集中登記和搜索， 這一類p 2 p 我們稱為中心化拓手i p 2 p 。中心化拓 h p 2 p 的節(jié)點(diǎn)雖然已擁有了一定的自 制性，相互之間可以進(jìn)行資源訪問，但是中心服務(wù)器和別的節(jié)點(diǎn)并不對(duì)等，而且可 能成為系統(tǒng)的性能瓶頸和單一故障點(diǎn)，因此在本文的討論中暫不考慮這一類結(jié)構(gòu)的 p 2 p ，而只考慮與之相對(duì)的分布式拓于i p 2 p 。分布式拓手i p 2 p 又可以更進(jìn)一步地分為 三類： 非結(jié)構(gòu)化p 2 p 結(jié)構(gòu)化p 2 p 混合型p 2 p 其中，非結(jié)構(gòu)化p 2 p 網(wǎng)絡(luò)沒有固定的邏輯拓?fù)洌?jié)點(diǎn)之間的連接表現(xiàn)出隨機(jī) 性，因而其資源定位算法通常也具有不確定性的。另一方面，我1 f i n n 道，自然語言 的表達(dá)方式通常也是不精確的。二者之間不確定性的契合使得在非結(jié)構(gòu)化p 2 p 網(wǎng)絡(luò) 上容易實(shí)現(xiàn)較靈活的資源查詢方式，也有眾多的機(jī)構(gòu)和學(xué)者做出了卓有成效的研 究。例如，改進(jìn)的b f s 們，有b f s l 2 1 ，迭代加深技術(shù)【2 】，索引緩存【2 】以及內(nèi)容緩存【3 l 等技術(shù)通過改進(jìn)路由機(jī)制或者引入緩存在一定程度上減少了通信量，提高了搜索效 率；n e u r og r i d h i ，a p p n i s 及s r v n 6 1 等技術(shù)則進(jìn)一步利