（計算機應(yīng)用技術(shù)專業(yè)論文）網(wǎng)絡(luò)視頻服務(wù)系統(tǒng)中服務(wù)機制及算法研究.pdf

北方工業(yè)大學(xué)碩士學(xué)位論文 摘要 近年來，隨著高速計算機網(wǎng)絡(luò)、數(shù)字壓縮技術(shù)以及大容量存儲技術(shù)的快速發(fā)展，基 于網(wǎng)絡(luò)的視頻服務(wù)逐漸成為現(xiàn)實，基于網(wǎng)絡(luò)的視頻服務(wù)在娛樂、教育、廣告、信息獲取 等各個方面都有廣泛的應(yīng)用。然而，這些系統(tǒng)中普遍存在的問題是，服務(wù)質(zhì)量和服務(wù)水 平受到網(wǎng)絡(luò)帶寬瓶頸和視頻服務(wù)器瓶頸的限制，表現(xiàn)為網(wǎng)絡(luò)擁堵，服務(wù)延遲、中斷，甚 至由于服務(wù)器負擔(dān)過重而拒絕服務(wù)。 為解決上述問題，一些視頻點播( v i d e o - o n - d e m a n d ，簡稱v o d ) 系統(tǒng)通過提高硬 件和服務(wù)器配置的方式來提高系統(tǒng)性能；有些v o d 則通過調(diào)整系統(tǒng)結(jié)構(gòu)，如采用了分 布式或p 2 p 體系結(jié)構(gòu)把工作負載分配到多臺服務(wù)器( 或?qū)Φ赛cp e e r ) 上，以集群協(xié)同工 作的方式來提高系統(tǒng)性能；有些系統(tǒng)則通過采用流調(diào)度技術(shù)，如擴展指數(shù)廣播 ( e x t e n d e de x p o n e n t i a lb r o a d c a s t i n g ，簡稱e e b ) 、控制多播( c o n n o l l e dm u l t i c a s t ，簡 稱c m ) 等，在不增加硬件系統(tǒng)性能情況下，通過廣播或信道共享等機制來突破網(wǎng)絡(luò)帶 寬瓶頸的限制，從而提高系統(tǒng)的服務(wù)用戶數(shù)量。然而，無論采用何種方式，都有其各自 的優(yōu)缺點和適用范圍。 本文在分布式體系結(jié)構(gòu)的基礎(chǔ)上采用單播、c m 和e e b 等多種流調(diào)度方案，實現(xiàn) 了個可擴展的分布式v o d 系統(tǒng)。對實時流協(xié)議( r e a l - t i m es t r e a m i n gp r o t o c o l ，簡稱 r t s p ) 進行了擴展，使其能傳輸服務(wù)器的負載等信息。并針對該系統(tǒng)采用多種流調(diào)度 方案的特點，提出一種對基于l i n u x 虛擬服務(wù)器( l i n u xv i r t u a ls e r v e r ，簡稱l ，v s ) 系 統(tǒng)的傳統(tǒng)動態(tài)反饋負載平衡算法的改進算法，使任務(wù)負載的分配更加合理。在節(jié)目存儲 策略方面，本文提出了以調(diào)整節(jié)目的流調(diào)度方案來代替節(jié)目存儲調(diào)整的觀點，并給出了 一種節(jié)目流調(diào)度方案可自動調(diào)整的實現(xiàn)方法。另外，本文還介紹了如何提高客戶端播放 器解碼能力，以及非線性編輯技術(shù)在節(jié)目制作中的應(yīng)用等方面的研究內(nèi)容。 最后，本文給出了一種系統(tǒng)仿真測試方法及其實現(xiàn)過程。測試結(jié)果表明，該系統(tǒng)能 有效緩解傳統(tǒng)v o d 系統(tǒng)中服務(wù)器i o 或網(wǎng)絡(luò)帶寬的瓶頸問題，具有良好的可擴展性； 改進算法比傳統(tǒng)負載平衡算法能減少1 0 3 0 系統(tǒng)并發(fā)信道占用數(shù)，提高了系統(tǒng)支 持的用戶點播數(shù)量。 關(guān)鍵詞：視頻點播，分布式，負載平衡，流調(diào)度 北方工業(yè)大學(xué)碩士學(xué)位論文 r e s e a r c ho fs e r v i c em e c h a n i s ma n da l g o r i t h mf o rv i d e os e r v i c e s y s t e m 、 a b s t r a c t n e t w o r kv i d e os e f v i c cs y s t e m sc a m et r u ei nr e s e n ty e a r s a l o n gw i t ht h ef a s td e v e l o p i n go f t h ef a s tc o m p u t i n gn e t w o r k , d i g i t a lc o m p r e s s e dt e c h n o l o g ya n df i l el a r g ee a p a b i l i t ys t o r a g e t e c h n o l o g y , v i d e os e i v i c ：e sb a s e dn e t w o r ka r cw i d e l ya p p l i e dt or e c r e a t i o n , e d u c a t i o n , a d v e r t i s e m e n t , i n f o r m a t i o na c q u i s i t i o na n do t h e rd o m a i n s , l i k ev i d e o - o n - d e m a n d ( v o d ) ， d i s t a n te d u c a t i o n , o n l i n et r a d i n ga n di n i t i a t i v en e w se t c b 峨t h e r ei so l t l eu b i q u i t o u sp r o b l e mi nt h e s es y s t e m s ，t h a ti st h e s es y s t e m s q u a l i t yo f s c r v i c l b 啦r e s t r i c t e db yt h eb o t t l e n e c ko f n e t w o r kb a n d w i t ha n dv i d e os e r v e r , s ot h a ti tc a u s e 8 n e t w o r kh u d d l e , s e r v i c ed e l a ya n di 1 1 t e f r 哪時伽，o rw o r s et h a ts e l - v i c l er e q u e s t sw o u l db el 甚f u s e d b e c m l s et h es e l v e t s 腫o v e r l o a d i no r d e rt os o l v et h ep r o b l e ma b o v e , f i r s t , s o m l 。v o ds y s t e m s 種i m p r o v e db ye n h a n e i n g t h es y s t e m s h a r d w f l r e s e c o n d , s o m ea l ei m p r o v e db ya d j u s t i n gt h es y s t e m s a r c h i t e c t u r e , l i k e a d o p t i n gt h ed i s t r i b u t e do l rp 2 pa r c h i t e c t u r e , s ot h a tt h ew o r kl o a dc a l lb ed i s t r i b u t e dt om u l t i s e i v e r i so r 嗍w h i c h c o o p e r a t ew i t he a c ho t h e r 卸dw o r k 硒ad u s t e r t h i r d , s o m l ev o d s y s t e m sa d o p t i n gn e wc h a n n e ls c h e d u l i n gs c h e m e s ，l i k ee x t e n d e de x p o n e n t i a lb r o a d c a s t i n g ( e e b ) ，c o n t r o l l e dm u l t i c a s t ( c 岣e t c ，t h e s et e c h n o l o g i e sc a nb r e a kt h r o u g ht h eb o t t l e n e c ko f n e t w o r ka n di n c r e a s et h e 卸r n o t t n to ft h eu s e 敲b yu s i n gb r o a d c a s t i n ga n ds t e a ms h a r i n g m e c h a n i s m s h o w e v e f w h a t e v e rm o d et h e yu s e dt oi m p r o v ev o ds y s t e m , i nw h i c ht h e r ea r e a d v a n t a g e sa n dd i s a d v a n t a g e s , a n dt h e ya p p l i e dt od i f f e r e n tf i e l d s a ne x t e n s i b l ed i s t r i b u t e ds y s t e mw o u l db ep r e s e n ti n t h i sp a p e r , w h i c he m p l o y ss o m o s t r e a m i n gs c h e d u l i n gs c h e m e si n c l u d i n gt m i c a s t , c ma n de e b w ee x t e n d e dt h er e a l - t i m e s t r e a m i n gp r o t o c o l ( r t s i ) a n du s e di tt ot r a n s f e rt h el o a di n f o r m a t i o n so f s e r v e r , s ot h e 嗣貧v e 撂 c a l lc o n n e c tw i t he a c ho t h e ra n df o r ma 8ad i s t n b u t e ds y s t e m a i m e da tt h i ss y s t e mh a d d i f f e r e n ts t r e a m i n gs c h e d u l i n gs c h e m e s , w ep r e s e n tm i m p r o v e da l g o r i t h mt ot r a d i t i o n a l d y m m i el o a db a l a n c i n ga l g o r i t h mb a s e do nl i n u xv i r t u a ls e r v e r 皿v s ) ，a n di tm a d et h e w o r k l o a dd i s t r i b u t em o l er e a s o n a b l e i nt h ep r o g r a m ss t o r a g ea s p e c t , w ep r e s e n tap o l i c yt h a t t h ea d j u s t i n go fp r o g r e a ms t o r a g ec 鋤b es u b s t i t u t e db yt h ea d j u s t i n go fp r o g r a m ss t r e a m i n g s c h e d u l i n gs c h e m e s , a n dt h e nw ep r e s e n t 鋤a u t o - a d j u s t i n gi m p l e m e n t a t i o no ft h ep r o g r a m s c h a n n e ls c h e d u l i n gs c h e m e s i na d d i t i o n , w ei n t r o d u c eh o wt oe n h a r l t 踅：t h ed e c o d ec a p a b i l i t yo f v o dc l i e n tp l a y e r , 鵠w e l la sh o wt ou s ed i r e e t s h o we d i t i n gs e r v i c e s ( d e s ) t om a k eav i d e o d i p 3 北方工業(yè)大學(xué)碩士學(xué)位論文 f i n a l l y , w ei n t r o d u c et h et e c h n o l o g ya b o u ti m p l e m e n t a t i o no fs i m u l a t i o nf o rv o d w e p r o c e e d e d t ot e s to u rv o ds y s t e mw i t hs i m u l a t i o np r o g r a m t h er e s u l ts h o w e dt h a tt h es y s t e m c o u l dl i g h t e nt h eb o t t l e n e c kp r o b l e mi nt r a d i t i o n a ls y s t e m s ，c a nr e d u c e1 0 3 0 s y s t e m s c o n c u r r e n ts t r e a r l l sa n ds e r v em o r eu 翻玎s w i t ht h eh e l po fi m p r o v e da l g o r i t h mc o m p a r e d 、撕t l l t r a d i t i o n a la l g o r i t h m ，t h i ss y s t e mc a l ls a t i s f yl a r g es c a l eo f v o d r e q u e s t s k e yw o r d s ：v i d e oo nd e m a n d , d i s t r i b u t e d ，l o a db a l a n c e , s t r e a m i n gs c h e d u l e 4 獨創(chuàng)性聲明 本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進行的研究工作及取得的研 究成果。據(jù)我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他 人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得j 豎立王些太堂或其他教育機構(gòu) 的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均 已在論文中作了明確的說明并表示謝意。 學(xué)位論文作者簽名：奚毋牽墼字日期吲年歲月加日 學(xué)位論文版權(quán)使用授權(quán)書 本學(xué)位論文作者完全了解韭方工業(yè)太學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，有 權(quán)保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和磁盤，允許論文被查閱和借 閱。本人授權(quán)j 量友王些太堂可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進 行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。 ( 保密的學(xué)位論文在解密后適用本授權(quán)書) 學(xué)位論文作者簽名。關(guān)糾辛 簽字日期：調(diào)年汨加日 學(xué)位論文作者畢業(yè)后去向： 工作單位： 通訊地址： 導(dǎo)師簽名： 參鉚 j 簽字日期：知薩歸弘掃 電話： 郵編： 北方工業(yè)大學(xué)碩士學(xué)位論文 1 引言 隨著寬帶計算機網(wǎng)絡(luò)、數(shù)字壓縮技術(shù)及大容量存儲技術(shù)的快速發(fā)展，視頻點播服務(wù) 逐漸成為現(xiàn)實。視頻點播系統(tǒng)可以提供用戶即點即播的視頻服務(wù)，改變傳統(tǒng)的視頻播放 方式，有效地解決了需求服務(wù)被動性、媒體信息的滯后性等技術(shù)問題，給用戶使用帶來 方便。 然而數(shù)據(jù)量大、傳輸帶寬高、實時性強的視頻數(shù)據(jù)對視頻服務(wù)器和網(wǎng)絡(luò)性能提出了 很高的要求，過多的用戶經(jīng)常會造成視頻服務(wù)器i o 帶寬和網(wǎng)絡(luò)帶寬的瓶頸，這使得視 頻點播服務(wù)的普及變得困難1 1 】，表現(xiàn)為網(wǎng)絡(luò)擁堵、服務(wù)延遲、服務(wù)中斷，甚至由于服務(wù) 器負擔(dān)過重而拒絕服務(wù)。因此，為解決上述問題，各種各樣的技術(shù)被應(yīng)用于v o d 系統(tǒng) 中，形成了不同結(jié)構(gòu)、適用于不同網(wǎng)絡(luò)條件和用戶規(guī)模的v o d 系統(tǒng)。 1 1 網(wǎng)絡(luò)視頻服務(wù)系統(tǒng)的研究現(xiàn)狀 根據(jù)視頻服務(wù)器在網(wǎng)絡(luò)中的物理位置，v o d 系統(tǒng)可以分為集中式和分布式兩種。 集中式v o d 對視頻服務(wù)器主機性能要求很高，投資大，影響了v o d 的普及和應(yīng)用，因 此在過去十多年中，對v o d 系統(tǒng)的研究工作大部分關(guān)注的是分布式系統(tǒng)囝。與只有單 個服務(wù)器的集中式v o d 系統(tǒng)相比，分布式系統(tǒng)具有兩個顯著的優(yōu)點：可擴展性和容錯 性。可擴展性指即系統(tǒng)可加入多個服務(wù)器節(jié)點而獲得擴展，而容錯性要求服務(wù)器的單點 失敗對客戶來說是透明的。分布式v o d 系統(tǒng)把視頻節(jié)目按某種策略存儲在多臺視頻服 務(wù)器上，每臺視頻服務(wù)器為一定量的用戶提供服務(wù)，如果要滿足更多的用戶點播需求， 只需要適當(dāng)?shù)脑黾右曨l服務(wù)器的數(shù)量。因此，可采用多臺廉價、普通性能的服務(wù)器，甚 至可以采用p c 機，來代替一臺昂貴的高性能視頻服務(wù)器，提高了系統(tǒng)的性價比，同時 把用戶分散到多臺服務(wù)器上，可有效緩解視頻服務(wù)器i o 和網(wǎng)絡(luò)帶寬瓶頸問題。本節(jié)主 要分析這些系統(tǒng)的研究現(xiàn)狀及目前比較流行的v o d 系統(tǒng)的體系結(jié)構(gòu)。 1 1 1集中式的v o d 系統(tǒng) 集中式結(jié)構(gòu)的v o d 系統(tǒng)如圖1 1 所示，該結(jié)構(gòu)中視頻節(jié)目集中存儲在一臺中心視 頻服務(wù)器里，由它向所有請求的用戶提供流媒體服務(wù)。這類系統(tǒng)一般均采用高性能的視 頻服務(wù)器，從硬件上來提高服務(wù)器的性能。目前，國外比較著名的視頻服務(wù)器產(chǎn)品主要 有：n c u b e 公司的m e d i a c u b e 、f v c 的v - c a c h e 和s g i 的c h a l l e n g e 等。 北方工業(yè)大學(xué)碩士學(xué)位論文 圖1 1 集中式的v o d 系統(tǒng) 、 集中式結(jié)構(gòu)最突出的優(yōu)點是實現(xiàn)和管理簡單，在用戶數(shù)量不多的小規(guī)模應(yīng)用上有一 定的優(yōu)勢。但是在這種模式下的v o d 系統(tǒng)所能提供服務(wù)的最大用戶數(shù)，受到集中式視 頻服務(wù)器的磁盤讀取速度、處理機能力、緩存容量、輸出i o 速率和接入網(wǎng)絡(luò)帶寬的 制約。采用這種結(jié)構(gòu)的v o d 系統(tǒng)，即便在高速接入網(wǎng)上，配置高性能的視頻服務(wù)器， 如耦合多處理器視頻服務(wù)器，也不能滿足大規(guī)模的點播應(yīng)用要求，而且還會提高投資成 本。 1 1 2 基于客戶端服務(wù)器的分布式v o d 系統(tǒng) v o d 系統(tǒng)通常采用客戶服務(wù)器模型3 】，由三部分組成：視頻服務(wù)器、客戶端和通 信網(wǎng)絡(luò)。分布式v o d 系統(tǒng)的視頻服務(wù)器如圖1 2 所示。 分布式v o d 系統(tǒng)的視頻服務(wù)器從系統(tǒng)結(jié)構(gòu)上看，有以下特點：第一、系統(tǒng)由多節(jié) 點構(gòu)成；第二、多節(jié)點通過高速的內(nèi)聯(lián)網(wǎng)構(gòu)成并行系統(tǒng)，并具有良好的可伸縮性和擴展 性；第三、多節(jié)點并行地提供多條流的視頻服務(wù)，提高了視頻服務(wù)并發(fā)能力，可滿足大 量用戶的服務(wù)請求；第四、對視頻服務(wù)中的單條流來說，在某一時段，只能是由一個節(jié) 點提供服務(wù)，但是其數(shù)據(jù)來源可以是其它節(jié)點。利用分布式視頻服務(wù)器的這些特性，可 從多方面提高其可靠性。 - 2 北方工業(yè)大學(xué)碩士學(xué)位論文 盯自霞 圖1 2 典型的基于客戶服務(wù)器的分布式v o d 系統(tǒng)模型 目前典型的的分布式v o d 系統(tǒng)一般可分為控制節(jié)點、服務(wù)節(jié)點和數(shù)據(jù)節(jié)點等組 件，它們通過一個高速互連的內(nèi)部網(wǎng)絡(luò)連接起來，構(gòu)成多節(jié)點視頻服務(wù)器結(jié)構(gòu)的服務(wù)器 系統(tǒng)。當(dāng)控制節(jié)點個數(shù)為1 時，稱之為總控節(jié)點?？偪毓?jié)點負責(zé)整個系統(tǒng)的工作。 根據(jù)系統(tǒng)優(yōu)化方案的不同v o d 系統(tǒng)可分為幾類| 【4 】啊。一種劃分是基于用戶是否具有 完全或部分控制流的能力，v o d 系統(tǒng)可分為t v o d ( t r u ev o d ) 和n v o d ( n e a r v ( 奶) ，t v o d 采用單播方案，而n v o d 采用廣播方案。另一種劃分是根據(jù)數(shù)據(jù)的存儲 策略把v o d 系統(tǒng)分為時間分片( t i m es t r i p p i n g ) ，空間分片( s p a c es t r i p p i n g ) 和無分片 ( n o n - s a i p p i n g ) 三種。所謂分片( s t r i p p i n g ) 是指將一個完整的媒體文件分成一個個小 塊，按一定的原則存儲到磁盤上。 采用數(shù)據(jù)分片的系統(tǒng)如文獻【6 】中提出的方案是將視頻節(jié)目數(shù)據(jù)分割成獨立的視頻數(shù) 據(jù)，分布在不同的視頻服務(wù)器上，并根據(jù)一種推的調(diào)度算法為客戶并行傳送數(shù)據(jù)。這種 方案提高了資源利用率，但是存在3 點不足：第一是服務(wù)節(jié)點之問需要建立l u 田陣 列，復(fù)雜度大大增加；其次整個服務(wù)器系統(tǒng)魯棒性降低，如果有一個服務(wù)節(jié)點出現(xiàn)故 障，整個服務(wù)器系統(tǒng)將不能工作；第三是實用性和經(jīng)濟性不高，應(yīng)用實現(xiàn)難度太大。 3 北方工業(yè)大學(xué)碩士學(xué)位論文 考慮到數(shù)據(jù)分片不僅會增加系統(tǒng)的復(fù)雜度并降低系統(tǒng)的可靠性，而且，數(shù)據(jù)分片在 對交互性要求比較高的系統(tǒng)如t v o d 系統(tǒng)中表現(xiàn)不佳m ，因此下面我們主要討論無分片 的v o d 系統(tǒng)。 艮心磁器麟j j 下 i 每譴癜務(wù)器弼i本地服菇器群一i 降坦服霧餐群j 圖1 3 樹型結(jié)構(gòu)的v o d 系統(tǒng) 很多系統(tǒng)采用中心服務(wù)器( 或中心數(shù)據(jù)節(jié)點) 一本地服務(wù)器的樹形結(jié)構(gòu) 8 - 姍，如圖 1 3 所示。在這一體系結(jié)構(gòu)中，樹根節(jié)點即中心節(jié)點服務(wù)器( 群) ，其作用是存檔所有 影片，有的中心服務(wù)器也兼顧向客戶傳輸影片。中央服務(wù)器與本地服務(wù)器群之間有著高 速網(wǎng)絡(luò)。與之相連的下一層是一組本地服務(wù)器群，每一服務(wù)器群中包含若干臺服務(wù)器， 而每一個客戶端都連接至某一本地服務(wù)器上。本地服務(wù)器群上存放了部分較為熱門的影 片，它們靠近最終用戶，負責(zé)直接處理客戶的服務(wù)請求，向客戶傳送視頻流，從而達到 分擔(dān)中心服務(wù)器與網(wǎng)絡(luò)負載、降低用戶感知的延遲、使系統(tǒng)具有可擴展性等作用。中心 服務(wù)器群中存儲著本v o d 系統(tǒng)所能提供的所有影片資料。當(dāng)本地服務(wù)器群發(fā)現(xiàn)客戶所 請求的影片在本地?zé)o法找到時，就通過高速網(wǎng)絡(luò)從中心服務(wù)器群下載所需影片，并直接 傳送給客戶。這種結(jié)梅的v o d 系統(tǒng)適合應(yīng)用于異構(gòu)網(wǎng)絡(luò)，外層的服務(wù)節(jié)點靠近用戶， 利用網(wǎng)絡(luò)傳輸距離較短和速度較快的特點，可提高視頻服務(wù)質(zhì)量和增加服務(wù)用戶數(shù)量。 但這一結(jié)構(gòu)對本地服務(wù)器影片存儲策略和從中心服務(wù)器緩存影片的策略要求較高，策略 不當(dāng)往往會造成服務(wù)器間負載不均。 為簡化系統(tǒng)，降低開發(fā)難度，本課題擬采用數(shù)據(jù)鏡像，即為集群中所有的服務(wù)器都 存儲了相同的節(jié)目數(shù)據(jù)，無專門的數(shù)據(jù)節(jié)點。 4 ：i t ，y t 業(yè)大學(xué)碩士學(xué)位論文 a p a p a g i a n n i s 等【i l 】給出了一個類似的系統(tǒng)，它是一個低成本的可擴展的t v o d ( t r u ev o d ) 集群系統(tǒng)，使用數(shù)據(jù)鏡像來達到系統(tǒng)的負載平衡，但是該系統(tǒng)是基于單播 方案實現(xiàn)的，沒有采用新的信道調(diào)度技術(shù)，集群的負載平衡算法也沒有具體給出。 a p a p a g i a n n i s 掣“j 在上述系統(tǒng)的基礎(chǔ)上增加了廣播方案的支持，但它采用的是等分 分塊的廣播方案，該方案沒能很好的解決信道占用數(shù)與用戶等待時間的矛盾，效果并不 理想。另外，集群的負載平衡算法也沒有具體給出。 1 1 3 基于p 2 p 技術(shù)的v o d 系統(tǒng) 近年來，隨著n a p s t e r ，g n u t e l l a 等p 2 p 項目取得的巨大成功，利用p 2 p 技術(shù)提供 視頻服務(wù)的嘗試也倍受人們的關(guān)注。不同于傳統(tǒng)的b s 和c s 模式，p 2 p 是一種分散的 網(wǎng)絡(luò)模式。在這種網(wǎng)絡(luò)模式中每一個實體被稱為對等體，既充當(dāng)服務(wù)器為其他節(jié)點提供 服務(wù)，又充當(dāng)客戶機享用其他節(jié)點提供的服務(wù)。從而減少甚至是克服了對中心服務(wù)器的 依賴，能夠避免因為過度依賴而產(chǎn)生的不良影響；而且隨著網(wǎng)絡(luò)中對等體數(shù)量的不斷增 加，網(wǎng)絡(luò)所能提供的資源越來越豐富，性能也越來越強；同時能夠有效地利用網(wǎng)絡(luò)上大 量閑置的資源，消除信息孤島、增強互聯(lián)網(wǎng)的分布和共享。 p 2 p 系統(tǒng)在具體實現(xiàn)中主要存在三種不同的結(jié)構(gòu)【l ”，即以g n u t e u a 為代表的純p 2 p 結(jié)構(gòu)，以n a p s t e r 為代表的帶核心服務(wù)器的混合p 2 p 結(jié)構(gòu)和以m o r p h e u s 為代表的帶超 級節(jié)點的p 2 p 結(jié)構(gòu)。其中純p 2 p 結(jié)構(gòu)不依賴于任何中心服務(wù)器，動態(tài)發(fā)現(xiàn)網(wǎng)絡(luò)中的其 他對等方并與之交互信息；混合p 2 p 結(jié)構(gòu)中存在一個只具有服務(wù)功能的核心服務(wù)器來維 護所有對等點的共享目錄，并進行查詢，但文件的共享交換過程是直接在對等方之間進 行的；帶超級節(jié)點的2 結(jié)構(gòu)類似于混合2 結(jié)構(gòu)，但超級節(jié)點的數(shù)目不只一個，可以向其 中的一個發(fā)送資源更新信息及查詢要求，超級節(jié)點之間是對等的。 5 北方工業(yè)大學(xué)碩士學(xué)位論文 圖1 4 基于p 2 p 技術(shù)的v o d 系統(tǒng) 圖1 4 所示為帶超級節(jié)點的p 2 p 結(jié)構(gòu)的v o d 系統(tǒng)，它利用超級節(jié)點來存儲影片目 錄信息、接受查詢請求，將搜索到的影片提供者地址返回給用戶節(jié)點，然后在影片需求 者與提供者之間建立直接連接來進行多媒體數(shù)據(jù)流的傳輸。在該p 2 p 系統(tǒng)框架結(jié)構(gòu)中， 各分布視頻節(jié)點p e e r 通過相應(yīng)的網(wǎng)關(guān)和路由器連接在一起，可以看作為一個人的虛擬 服務(wù)器。每一個分布的視頻節(jié)點p e e r 既可以作為虛擬服務(wù)器的一部分，來提供音、視 頻內(nèi)容，又可以向這個虛擬服務(wù)器提出請求然后在中間件呻2 p 應(yīng)用程序的幫助下， 從具體的某個節(jié)點處獲得視頻流來進行播放。 一般來說，基于p 2 p 模式的v o d 系統(tǒng)面臨如下挑戰(zhàn)【1 4 1 ： 1 ) 節(jié)點搜索，主要是指當(dāng)節(jié)點加入系統(tǒng)時，如何在組播樹中快速、有效地搜索到 合適的父節(jié)點； 2 ) 系統(tǒng)容錯，p e e r 節(jié)點可能隨時離開系統(tǒng)或失效，從而中斷其子節(jié)點的服務(wù)。如 何讓被中斷的節(jié)點能夠快速、有效地進行中斷恢復(fù)，是系統(tǒng)面臨的核心問題； 3 ) 協(xié)議開銷，由于組播樹的建立和維護依賴于控制協(xié)議，如何設(shè)計控制協(xié)議，使 之具有良好的可擴展性也是系統(tǒng)的關(guān)鍵問題； 4 ) q o s 保證，主要是指在p e e r 節(jié)點存在離開或失效的前提下，如何保證節(jié)目的 播放質(zhì)量，如完整性、連續(xù)性等。 6 北方工業(yè)大學(xué)碩士學(xué)位論文 1 i a 采用新的流調(diào)度技術(shù)的v o d 系統(tǒng) 采用新的信道調(diào)度策略也是緩解上述網(wǎng)絡(luò)帶寬瓶頸和視頻服務(wù)器瓶頸問題的另一個 有效途徑。當(dāng)前比較新的信道調(diào)度方案主要有兩類：適合于熱門節(jié)目的分塊廣播 ( p a r t i t i o n e db r o a d c a s t i n g ) 方案【1 , 1 5 - 1 7 l 和適合于普通節(jié)目的補塊( p a t c h i n g ) 方案1 拋”。 它們通過利用網(wǎng)絡(luò)多播( m u l t i c a s t ) 技術(shù)實現(xiàn)多個用戶對信道的共享，使得信道利用率 得到提高。擴展冪級方案e e b 【1 6 】是這些新信道調(diào)度方案中性能較好的一種，其基本思 想是將節(jié)目按照一定的策略進行分塊( 邏輯上分塊，非物理分塊) ，并將各個分塊在特 定的信道上重復(fù)廣播，通過利用客戶端資源( 帶寬與緩存空問) ，很好地解決了傳 統(tǒng)輪播方案中信道數(shù)與用戶等待時間的矛盾，如對于1 2 0 m i n 的節(jié)目，同樣占用8 個信 道，4 階e e b 方案的平均用戶等待時間為2 7 s ，而輪播方案中的平均用戶等待時間為 4 5 0 s 。 c m 方案允許不同時間請求同一個節(jié)目的用戶共享一個視頻流，這種共享是通過讓 后面到達的用戶從為前面到達的用戶分配的信道上接收數(shù)據(jù)實現(xiàn)的。同時，服務(wù)器為后 面到達的信道開辟一個信道傳送該用戶錯過的部分?jǐn)?shù)據(jù)，這樣該用戶需要同時從兩個信 道上接收數(shù)據(jù)，并進行緩存。使用c m 方案后，與僅使用單播時相比，系統(tǒng)的并發(fā)信道 數(shù)大大減少，有些情況下可減少6 0 的系統(tǒng)并發(fā)信道數(shù)。 上述兩種新的流調(diào)度方案性能雖然好，但是同樣存在一些問題。首先，由于它們是 基于信道共享機制和組播的流調(diào)度方式，信道對用戶來說不是獨占的，因而這兩種方案 并不支持用戶暫停、快進、快退、定位等交互操作( v i d e oc a s s e t t er e c o r d e r , 簡稱 v c r ) ，對用戶欣賞影片有一定影響。其次，這兩種方案一般情況下只能應(yīng)用于同構(gòu)網(wǎng) 絡(luò)，對于異構(gòu)網(wǎng)絡(luò)，它們的應(yīng)用具有一定的局限性。 1 2 本文的研究內(nèi)容與方法 如第1 1 節(jié)所述，無論是集中式v o d 系統(tǒng)還是分布式v o d 系統(tǒng)，都有各自的優(yōu)缺 點和適用范圍，但總的趨勢還是向分布式v o d 的方向發(fā)展。 我校在v o d 系統(tǒng)方面的研究有一定的基礎(chǔ)，其中舵級計算機應(yīng)用專業(yè)研究生呂春 所作畢業(yè)設(shè)計圈，已經(jīng)實現(xiàn)了一個采用單播、c m 、e e b 等多種流調(diào)度方案的集中式 v o d 系統(tǒng)。該系統(tǒng)利用性能較優(yōu)的新調(diào)度方案，有效地突破了網(wǎng)絡(luò)帶寬地瓶頸，使系統(tǒng) 支持的并發(fā)用戶數(shù)大大增加。但是該系統(tǒng)畢竟是只有單個服務(wù)器的集中式v o d 系統(tǒng)， 服務(wù)器的i o 帶寬的瓶頸依然存在。 7 北方工業(yè)大學(xué)碩士學(xué)位論文 本文將在呂春研究的v o d 系統(tǒng)( 以后稱原系統(tǒng)) 的基礎(chǔ)上，結(jié)合新的流調(diào)度技術(shù) 和負載平衡技術(shù)，構(gòu)建一個分布式的v o d 系統(tǒng)，應(yīng)用上述技術(shù)的優(yōu)點更好地解決視頻 服務(wù)器i o 帶寬和網(wǎng)絡(luò)帶寬的瓶頸問題，力圖在系統(tǒng)支持并發(fā)用戶數(shù)和服務(wù)質(zhì)量 ( q u i l i t y o f s e r v i c e ，簡稱q o s ) 方面取得進展。本文的研究內(nèi)容如下： 1 ) 研究如何在現(xiàn)有系統(tǒng)的基礎(chǔ)上構(gòu)建一個可擴展的分布式的v o d 系統(tǒng)，使其能有 效緩解視頻服務(wù)器i o 帶寬和網(wǎng)絡(luò)帶寬的瓶頸問題，并具有結(jié)構(gòu)簡單、可動態(tài)擴展、適 應(yīng)性強等優(yōu)點。 原系統(tǒng)是一個集中式v o d 系統(tǒng)，雖然采用了多種新的信道調(diào)度方案，但由于存在 服務(wù)器性能瓶頸，服務(wù)能力有限。因此，本課題擬在該系統(tǒng)基礎(chǔ)上構(gòu)建一個可擴展的分 布式v o d 系統(tǒng)，使用負載平衡機制把用戶的請求合理地分配到各個服務(wù)器中，每臺服 務(wù)器滿足一定量的用戶請求數(shù)。如果要滿足更多用戶的視頻服務(wù)請求，只需要適當(dāng)?shù)卦?加視頻服務(wù)器的數(shù)量即可。合理設(shè)計v o d 系統(tǒng)結(jié)構(gòu)，不僅使用靈活，實現(xiàn)容易，而且 還能巧妙解決接入網(wǎng)絡(luò)帶寬對最大用戶數(shù)的制約，使v o d 系統(tǒng)更適合于商業(yè)應(yīng)用。因 此，如何構(gòu)建一個可擴展的分布式的v o d 系統(tǒng)，使其具有上述優(yōu)點是本課題首要解決 的問題。 2 ) 設(shè)計實現(xiàn)一種適合本系統(tǒng)的集群負載平衡算法。 目前的v o d 系統(tǒng)集群系統(tǒng)多數(shù)是基于單播方案實現(xiàn)的，還沒有采用e e b ，c m 等 新信道調(diào)度方案的v o d 集群系統(tǒng)的出現(xiàn)。這些系統(tǒng)的負載平衡機制一般采用動態(tài)反饋 負載平衡算法，即根據(jù)各個服務(wù)器的負載情況( c p u 使用率，磁盤i o 帶寬，活動連接 數(shù)等指標(biāo)) 計算負載值，然后把任務(wù)分配給負載最輕的一個服務(wù)器。因此，本課題擬根 據(jù)各種信道調(diào)度方案的特點，設(shè)計一種基于多種流調(diào)度方案的負載平衡算法，使用戶請 求能夠根據(jù)各個服務(wù)器節(jié)目配置方案的不同，合理地分配到適當(dāng)?shù)姆?wù)器當(dāng)中，以提高 系統(tǒng)效能和資源利用率。 3 ) 研究節(jié)目的存儲策略，實現(xiàn)節(jié)目的流調(diào)度方案的自動調(diào)整。 原系統(tǒng)采用靜態(tài)方法配置節(jié)目的調(diào)度方案。但節(jié)目的受歡迎程度往往是由觀眾而不 是由管理員來決定的。而如果節(jié)目調(diào)度方案配置不當(dāng)，如適用于熱門節(jié)目的分塊多播方 案用在了冷門節(jié)目上，而熱門節(jié)目卻使用了適用于冷門節(jié)目的單方案，這樣不僅多種信 道調(diào)度方案的優(yōu)勢得不到發(fā)揮，而且會嚴(yán)重降低網(wǎng)絡(luò)帶寬利用率，造成系統(tǒng)資源的浪 費。若采用動態(tài)配置，使節(jié)目的調(diào)度方案可以隨著用戶點播數(shù)量能夠自動地得到及時的 調(diào)整，可以更好地提高系統(tǒng)的整體性能和網(wǎng)絡(luò)帶寬利用率。 4 ) 改善客戶端播放器的解碼問題。 一8 北方工業(yè)大學(xué)碩士學(xué)位論文 原系統(tǒng)只能播放用d i v x 3 1 1 編碼的a v i 文件，而目前這類文件只占視頻文件中的一 小部分，很多視頻文件由于格式不同而無法用于點播服務(wù)。目前的解決辦法是先用其他 視頻轉(zhuǎn)碼工具把這些文件轉(zhuǎn)成所需格式，然后才能用于視頻點播。因此，客戶端播放器 的解碼能力急需提高，這也是本課題的一個研究內(nèi)容。 5 ) 對系統(tǒng)進行仿真性能測試。 系統(tǒng)測試所需要解決的首要問題就是如何在實驗室范圍內(nèi)對系統(tǒng)進行接近實際運行 的測試。由于條件所限，不太可能做有幾百人同時點播的真實測試；另一方面大規(guī)模的 真實測試，測試數(shù)據(jù)難以反饋和統(tǒng)計，所人力物力消耗巨大。因此，采用仿真測試的方 法，在一臺主機上可以模擬幾十個上百個用戶點播，可有效解決上述問題，而且系統(tǒng)條 件和測試方式也可以靈活配置，可以對系統(tǒng)進行更加全面的測試和分析。 6 ) 采用非線性編輯技術(shù)制作視頻節(jié)目。 這是在增加系統(tǒng)節(jié)目源方面對系統(tǒng)的擴展，通過非線性編輯，可制作出許多專門的 視頻剪輯，供“特殊觀眾”點播使用。如體育比賽的關(guān)鍵片段、影視節(jié)目或歌曲的精彩 串聯(lián)等，使系統(tǒng)可點播的節(jié)目更加豐富多彩。 其中，在上述內(nèi)容中，把分布式體系結(jié)構(gòu)和新的流調(diào)度方案結(jié)合起來，是本課題的 一個創(chuàng)新之處；其次，對傳統(tǒng)動態(tài)反饋負載平衡算法的改進，使之可根據(jù)不同的流調(diào)度 方案對工作負載進行合理分配，也是本課題的一個創(chuàng)新之處。 1 3 論文結(jié)構(gòu) 網(wǎng)絡(luò)視頻服務(wù)系統(tǒng)中服務(wù)機制及算法研究，本文從理論研究和應(yīng)用實踐兩個方面對 其進行論述，具體結(jié)構(gòu)如下： 第一章，主要通過討論當(dāng)前流媒體技術(shù)與分布式體系結(jié)構(gòu)和p 2 p 結(jié)構(gòu)的結(jié)合，以及 當(dāng)前視頻點播系統(tǒng)的研究現(xiàn)狀和典型應(yīng)用，由此引出本文需要研究的問題和研究方法。 第二章，主要介紹分布式視頻點播的相關(guān)研究，并對其進行了較為詳細的分類討論 總結(jié)，比較各自的優(yōu)缺點，提出針對本課題的具體應(yīng)用方法。 第三章，詳細介紹為實現(xiàn)本系統(tǒng)所采用的兩個關(guān)鍵技術(shù)：系統(tǒng)的分布式結(jié)構(gòu)的構(gòu) 建，以及為這個結(jié)構(gòu)所設(shè)計的負載平衡算法。 第四章，詳細介紹本課題的網(wǎng)絡(luò)視頻服務(wù)系統(tǒng)的設(shè)計和實現(xiàn)，包括系統(tǒng)體系結(jié)構(gòu)、 負載平衡算法、點播節(jié)目的信道調(diào)度方案的動態(tài)調(diào)整以及提高客戶端解碼能力等方面的 設(shè)計和實現(xiàn)。 9 北方t 業(yè)大學(xué)碩士學(xué)位論文 第五章，介紹了d i r e c t s l l o w 非線性編輯技術(shù)的在視頻節(jié)目制作中的應(yīng)用，給出其 詳細實現(xiàn)過程。 第六章，詳細介紹系統(tǒng)的仿真測試和性能研究，包括了模擬點播器的設(shè)計和實現(xiàn)以 及對系統(tǒng)的各項性能測試和分析。 第七章，是全文的總結(jié)部分，并展望今后需要研究的內(nèi)容。 1 0 北方工業(yè)大學(xué)碩士學(xué)位論文 2v o d 系統(tǒng)的相關(guān)研究 本章將介紹與本課題研究相關(guān)的基礎(chǔ)知識，主要有r t s p 及其在v o d 系統(tǒng)中的應(yīng) 用、負載平衡算法，這兩個部分是構(gòu)建分布式v o d 體系結(jié)構(gòu)的基礎(chǔ)。此外，本章還介 紹本課題所需要用到的視頻編碼解碼以及視頻節(jié)目制作中的非線性編輯等方面的知識。 2 1r t s p 協(xié)議 目前，支持基于口的流媒體網(wǎng)絡(luò)協(xié)議主要有實時傳輸協(xié)議實時傳輸控制協(xié)議 ( r t p r t c p ) 、實時流協(xié)議( i 盯s p ) 田l 、資源預(yù)留協(xié)議( r s v p ) 和會話描述協(xié)議( s d p ) 。 在本課題的視頻點播系統(tǒng)中實現(xiàn)了r t p r t c p 、r t s p 和s d p 協(xié)議。其中，除了服務(wù)器 與客戶端需要建立r t s p 協(xié)議連接之外，各服務(wù)器之間也建立了r t s p 協(xié)議連接，用于 傳遞服務(wù)器負載和管理等信息，從而形成一個分布式的系統(tǒng)。本節(jié)主要討論r t s p 協(xié) 議。這幾種協(xié)議的層次如圖2 1 所示。 s d p 應(yīng)用層 r t s p i u p 傳輸層 t c p u d p 網(wǎng)絡(luò)層i p 圖2 1 協(xié)議層次圖 r t s p 是一個比較新的協(xié)議，關(guān)于它的設(shè)想在r f c 2 3 2 6 文件中有所描述。它最早是 由r e a ln e t w o r k s 公司n e t s c a p ec o m m u n i c a t i o n s 公司和c o l t a n b i a 大學(xué)等聯(lián)合提出的 i n t e m e t 草案。r t s p 協(xié)議用于建立并控制一個或幾個時間同步的連續(xù)視頻、音頻流的連 接。盡管用r t s p 交叉?zhèn)鬏斶B續(xù)媒體流和控制流是可能的，但通常它并不用于連續(xù)媒體 流的傳輸。換言之，r t s p 充當(dāng)多媒體服務(wù)器的網(wǎng)絡(luò)遠程控制。r t s p 連接沒有綁定到 傳輸層連接，如t c p 連接，在r t s p 連接期間，r t s p 用戶可打開或并閉多個對服務(wù)器 的可靠傳輸連接以發(fā)出r t s p 請求。此外，也可使用無連接傳輸協(xié)議，如u d p 協(xié)議。 r t s p 控制的節(jié)n 流- a - i 以用r t p 作為傳輸協(xié)議，但r t s p 操作并不依賴用于攜帶連續(xù)媒 體的傳輸機制。r t s p 在語法和操作上與h t r p 1 1 類似，因此h 兀甲的擴展機制大都可 加入r t s p ，但它又具有許多與h t r p 協(xié)議不同的特點，如有狀態(tài)、客戶端或服務(wù)器端 北方工業(yè)大學(xué)碩士學(xué)位論文 均可發(fā)出請求等。我們使用該協(xié)議實現(xiàn)視頻服務(wù)器和用戶端之間控制信息的交互，如初 始化、查詢節(jié)目單、播放節(jié)目、交互式控制等。 2 1 1i 淝p 協(xié)議格式 r q s p 協(xié)議定義了兩種消息格式：r t s p 請求消息格式和r t s p 應(yīng)答消息格式。 請求消息的格式如圖2 2 所示。 m e s s a g er e q u e s t r t s p m e t h o du i 也 v e r s i o n m e s s a g eh e a d e r m e s s a g e8 0 a y 圖2 2r t s p 協(xié)議請求消息格式 在請求行中有下面的一些域： 1 方法 域有很重要的意義，它描述了請求的方法，主要的方法有 d e s c r i b e 、o p t i o n s 、p a u s e 、p l a y 、s e l lm 、t e a r d o w n 等。 2 統(tǒng)一資源地址 域是用戶請求訪問的媒體數(shù)據(jù)的絕對路徑，例如， w w w n e u t e d u 耐v o d 1 a v i 。 3 版本 域是客戶端使用的r t s p 協(xié)議的版本號，現(xiàn)在版本號為 i u s p i 0 。 標(biāo)題行( m e s s a g eh e a d e r ) 是可選的，但客戶一般都要在請求消息時插入許多標(biāo)題行。 每一標(biāo)題行都包含兩個部分：標(biāo)題域名和相關(guān)的值。實體( 【e 黝【g eb o d y ) 在一般情況下 很少使用，它主要用于對標(biāo)題行沒有定義的標(biāo)題進行擴展。下面是一個使用p l a y 方法 向媒體服務(wù)器請求播放一部節(jié)目的例子。 p l a yr m p v i d e o e x a m p l e e o m v o d 1 a v ir t s p 1 0 c s e q ：8 3 5 s e s s i o n ：1 2 3 4 5 6 7 8 r a n g e ：s m p t e = 0 ：1 0 ：2 2 - ；t i m e = 2 0 0 5 0 1 2 3 t 1 5 3 6 0 0 z 這個請求消息包含一行請求行和3 行標(biāo)題行，整個消息共有4 行a s c i i 文本。請求 行( p l a y 幽p ：v i d i o e x a m p l e c o m v o d l l a v ir t s p 1 o ) 用來告訴媒體服務(wù)器，客戶應(yīng)用程 序使用p l a y 方法想要播放的對象是 v i d e o e x m a a p l e c o l i l ，v o d 1 a v i ，使用的應(yīng)用層協(xié)議 是r t s p 1 0 。第一個標(biāo)題行( c s l ：8 3 5 ) 告訴服務(wù)器發(fā)送這個p l a y 命令的順序號為 8 3 5 ，第二個標(biāo)題行( s e s s i o n ：1 2 3 4 5 6 7 8 ) 告訴服務(wù)器該用戶的會話身份識別符為 1 2 北方工業(yè)大學(xué)碩士學(xué)位論文 1 2 3 4 5 6 7 8 ，第三個標(biāo)題行( r , 鋤g e ：s m p t e = 0 ：1 0 ：2 2 - ；t i m e , = 2 0 0 5 0 1 2 3 t 1 5 3 6 0 0 z ) 告訴服務(wù) 器節(jié)目從s m p t e 時間0 ：1 0 ：2 0 開始播放直到節(jié)目結(jié)束，回放在2 0 0 5 年1 月2 3 號1 5 ：3 6 開始。 應(yīng)答消息的格式如圖2 3 所示。 l h s ps t a t u sr e a s o n v e r s i o n c o d ep h r a s e m e s s a g eh e a d e r m e s s a g eb o d y 圖2 3r t s p 協(xié)議應(yīng)答消息格式 服務(wù)器接收到客戶的r t s p 請求消息之后進行分析，將分析和操作結(jié)果返回給客戶 機，具體的做法是發(fā)送一條r t s p 響應(yīng)信息，除了狀態(tài)行之外，響應(yīng)消息的格式與請求 消息的格式相同，在狀態(tài)行中，除了r t s p 的版本號之外，還包含狀態(tài)碼 s t a t u sc o d e ) 和短語 ，它們組合起來表示客戶請求所獲得的結(jié)果。例如，上面請求的媒體文 件存放在視頻服務(wù)器上，而且可發(fā)送給客戶機，狀態(tài)碼和短語分別包含“2 0 0 ”和 “o k ”。 r t s p 1 0 2 0 0 0 k c s e q ：8 3 5 r a n g e ：s m p t e = 0 ：1 0 ：2 2 ；t i m e = 2 0 0 5 0 1 2 3 t 1 5 3 6 0 0 z 2 1 2r t s p 協(xié)議在v o d 系統(tǒng)中的應(yīng)用 下面我們來舉一個只有兩臺服務(wù)器( 主服務(wù)器和從服務(wù)器) 的簡單分布式v o d 系 統(tǒng)，從它的點播流程中，來說明系統(tǒng)的服務(wù)器和客戶端之間是如何利用r t s p 協(xié)議來協(xié) 同工作的。客戶端首先連接到主服務(wù)器，通過 1 1 i p 得至g 所需視頻數(shù)據(jù)的描述文件 ( d e s c r i p t i o nf i l e ) ，按照得到的文件名、地址發(fā)送s e t u p 消息，這時候的地址就是主 服務(wù)器的地址。主服務(wù)器得到s e t u p 消息后，在數(shù)據(jù)庫中查詢客戶需要文件所在的服 務(wù)器的地址，并在s e t u p r e s p o n s e 的消息中告訴客戶端，具體是用到l o c a t