網(wǎng)絡(luò)中流媒體關(guān)鍵技術(shù)研究

1、網(wǎng)絡(luò)中流媒體關(guān)鍵技術(shù)研究 2004-2-9全新3G技術(shù)管理培訓(xùn)-摩托羅拉工程學(xué)院 張鯤南京郵電學(xué)院 摘要 流媒體技術(shù)是在數(shù)據(jù)網(wǎng)絡(luò)上以流地方式傳輸多媒體信息地技術(shù)隨著寬帶網(wǎng)絡(luò)地發(fā) 展,流媒體技術(shù)地相關(guān)應(yīng)用必將成為未來高速網(wǎng)絡(luò)地主流應(yīng)用之一本文就流媒體地一些關(guān)鍵 技術(shù)、機(jī)制和相關(guān)協(xié)議等方面做了較為詳細(xì)地介紹 .b5E2RGbCAP 關(guān)鍵詞流媒體QoS視頻壓縮連續(xù)媒體分布服務(wù) 媒體同步 1引言 近年來，隨著計算機(jī)技術(shù)、壓縮技術(shù)以及網(wǎng)絡(luò)技術(shù)地發(fā)展，網(wǎng)絡(luò)中地流媒體業(yè)務(wù)也得到了 飛速地發(fā)展和應(yīng)用所謂流媒體就是指在Internet/lntranet中使用流式傳輸技術(shù)地連續(xù)時基媒 體.本文中著重介紹視頻流 .

2、目前在In ternet上傳輸視頻還有許多困難，其根本原因在于 In ternet地?zé)o連接每包轉(zhuǎn)發(fā)機(jī)制主要是為突發(fā)性地數(shù)據(jù)傳輸而設(shè)計地，不適用于對連續(xù)媒體 流地傳輸為了在In ternet上有效地、高質(zhì)量地傳輸視頻流，還需要多種技術(shù)地支持，例如基于 視頻地壓縮編碼技術(shù)、應(yīng)用層QoS技術(shù)、連續(xù)媒體分布服務(wù)、流服務(wù)器、媒體同步技術(shù)和 相關(guān)協(xié)議等.plEanqFDPw 其中,原始視/音頻經(jīng)過視/音頻壓縮算法地預(yù)壓縮存儲在存儲設(shè)備中.響應(yīng)客戶請求時，流 服務(wù)器從存儲設(shè)備中獲得視 /音頻數(shù)據(jù)，應(yīng)用層QoS控制模塊根據(jù)網(wǎng)絡(luò)狀態(tài)和QoS要求來改 變視/音頻比特流.然后通過傳輸協(xié)議把壓縮過地比特流打包并且發(fā)送

3、到網(wǎng)上由于擁塞數(shù)據(jù) 包可能出現(xiàn)丟包或者過度時延為了提高視/音頻地傳輸質(zhì)量，網(wǎng)絡(luò)中配置了連續(xù)流媒體分布 式服務(wù).對于成功傳輸?shù)財?shù)據(jù)包，它們首先通過傳輸層，然后在進(jìn)行視/音頻解碼前經(jīng)過應(yīng)用層 處理.為了獲得在播放中地視頻和音頻地同步，還需要媒體同步機(jī)制從上圖中可以看出，這六 個部分有著緊密地聯(lián)系而且都是流媒體結(jié)構(gòu)地組成部分DXDiTa9E3d 2流媒體中地關(guān)鍵技術(shù) 2.1視頻壓縮及編碼 目前網(wǎng)絡(luò)是異構(gòu)性地，缺乏QoS質(zhì)量控制，并且?guī)捯苍诤艽蠓秶鷥?nèi)變化傳統(tǒng)地不可擴(kuò) 展性視頻編碼地目標(biāo)是將視頻壓縮成適合一個或者幾個固定碼率地碼流，是面向存儲地，因此 不適合網(wǎng)絡(luò)傳輸為了適應(yīng)網(wǎng)絡(luò)帶寬地變化，面向傳輸?shù)乜?/p>

4、擴(kuò)展性編碼地思想應(yīng)運(yùn)而生.可擴(kuò) 展性編碼2就是將多媒體數(shù)據(jù)壓縮編碼成多個流，其中一個可以獨(dú)立解碼，產(chǎn)生粗糙質(zhì)量地 視頻序列，它適應(yīng)最低地網(wǎng)絡(luò)帶寬，稱為基本層碼流；其他地碼流可以按層為單位在任何地點(diǎn) 截斷，稱為增強(qiáng)層，用來覆蓋網(wǎng)絡(luò)帶寬變化地動態(tài)范圍，它們不可以單獨(dú)解碼，而只能與基本層 和它以前地增強(qiáng)層聯(lián)合在一起解碼，用來提高觀看效果.因此，可擴(kuò)展性碼流具有一定地網(wǎng)絡(luò) 帶寬適應(yīng)能力RTCrpUDGiT 可擴(kuò)展性編碼主要分為時域可擴(kuò)展性編碼、空域可擴(kuò)展性編碼和質(zhì)量可擴(kuò)展性編碼.可 以選擇在時間、空間和信噪比SNR ）中地一個或者幾個方面實現(xiàn)擴(kuò)展.考慮到編碼效率和 復(fù)雜性兩方面，MPEG組織采納了精細(xì)

5、可擴(kuò)展性編碼FGS ）和漸進(jìn)地精細(xì)可擴(kuò)展性編碼 PFGS） 3精細(xì)可擴(kuò)展性視頻編碼采用位平面bitplane）編碼，它地基本層使用基于分塊運(yùn) 動補(bǔ)償和 DCT變換地編碼方式達(dá)到網(wǎng)絡(luò)傳輸?shù)刈畹鸵?，增?qiáng)層使用位平面編碼技術(shù)對 DCT殘差進(jìn)行編碼來覆蓋網(wǎng)絡(luò)帶寬地變化范圍，它每一幀地增強(qiáng)層碼流可以在任何地點(diǎn)截斷 解碼器重建地視頻質(zhì)量和收到并解碼地比特數(shù)成正比，它可以實現(xiàn)連續(xù)地增強(qiáng)層速率控 制FGS雖然具有很好地可擴(kuò)展性，但是效率太低，PFGS在保留了 FGS所具有地網(wǎng)絡(luò)帶寬自 適應(yīng)和錯誤恢復(fù)能力地同時，還有效地提高了編碼效率.但是可擴(kuò)展性編碼地效率較非可擴(kuò)展 性編碼而言，還有一定差距為了進(jìn)一步壓縮F

6、GS和PFGS地基本層碼流，有專家提出一種稱 為精細(xì)地空域可擴(kuò)展性Fine-Granularity Spatially Scalable,FGSS）地視頻編碼算法，使低分 辨率和高分辨率地增強(qiáng)層碼流都可以在任何地點(diǎn)截斷，具有極強(qiáng)地網(wǎng)絡(luò)帶寬適應(yīng)能力和錯誤 恢復(fù)功能，同時保持了空域可擴(kuò)展性編碼地多分辨率特性，它可以滿足擁有不同網(wǎng)絡(luò)帶寬和不 同分辨率接收設(shè)備地許多用戶地需求，性能得到了更大地提高 5PCzVD7HxA 結(jié)合多種視頻編碼技術(shù)來適應(yīng)網(wǎng)絡(luò)上地QoS波動是今后可擴(kuò)展性視頻編碼地發(fā)展方向. 比如,可擴(kuò)展性視頻編碼可以適應(yīng)網(wǎng)絡(luò)帶寬地變化；錯誤彈性編碼可以適應(yīng)丟包； DCVCDelay Cogni

7、zant Video Coding）可以適應(yīng)網(wǎng)絡(luò)時延.這三種技術(shù)地結(jié)合可以更好地提 供一種應(yīng)對網(wǎng)絡(luò)QoS波動地解決方案.jLBHrnAlLg 2.2應(yīng)用層QoS控制技術(shù)由于目前地In ternet只提供Best-effort地服務(wù)，所以需要通過 應(yīng)用層地機(jī)制來實現(xiàn)QoS地控制.QoS控制技術(shù)主要集中在對網(wǎng)絡(luò)帶寬地變化進(jìn)行響應(yīng)和處 理分組丟失地技術(shù)上，主要可以分為兩類：擁塞控制技術(shù)和差錯控制技術(shù).XHAQX74J0X 擁塞控制地目地是采用某種機(jī)制應(yīng)對和避免網(wǎng)絡(luò)阻塞，降低時延和丟包率.常用地?fù)砣?制機(jī)制有速率控制和速率整形.對于視頻流，擁塞控制地主要方法是速率控制.速率控制機(jī)制 試圖使一個視頻連

8、接地需求與整個連接鏈路地可用帶寬相匹配，這樣可以同時使網(wǎng)絡(luò)擁塞和 包丟失率達(dá)到最小.速率控制機(jī)制主要包括基于源端地、基于目地地以及混合速率控制.在基 于源端地控制機(jī)制中，視頻源端收集反饋信息，進(jìn)行控制計算并采取相應(yīng)地控制動作.這種方 法在因特網(wǎng)中被率先采用，但是在異構(gòu)網(wǎng)絡(luò)中地運(yùn)行情況并不是很好.基于目地端地控制機(jī)制 則主要根據(jù)所接收地視頻流地狀況向上層反映相應(yīng)地統(tǒng)計信息，實時調(diào)整緩沖及播放內(nèi)容，并 力圖使節(jié)奏均勻，這種機(jī)制使用較少.混合性速率控制地方法兼有前二者地特點(diǎn)，即目地端增 加減少通道，而源端同時根據(jù)反饋調(diào)整各個通道地速率.混合速率控制方法地一個例子是目標(biāo) 集分組地方法.LDAYtRyK

9、fE 擁塞控制只能減少數(shù)據(jù)包地丟失，但是網(wǎng)絡(luò)中不可避免地會存在數(shù)據(jù)包丟失，而且到達(dá)時 延過大地分組也會被認(rèn)為沒有用而被丟棄，從而降低了視頻質(zhì)量.要改善視頻質(zhì)量就需要一定 地差錯控制機(jī)制.差錯控制機(jī)制包括：Zzz6ZB2Ltk 1 ）前向糾錯FEC）: FEC是通過在傳輸?shù)卮a流中加入用于糾錯地冗余信息，在遇到 包丟失地情況時，利用冗余信息恢復(fù)丟失地信息.它地不足是增加了編碼時延和傳輸帶 寬.dvzfvkwMI1 2）延遲約束地重傳.通常流地播放有時間限制，因此，僅有當(dāng)重傳地時間小于正常地播 放時間時，重傳才是有價值地.rqyn14ZNXI 3）錯誤彈性編碼Error-Resilient Enco

10、ding ）:在編碼中通過適當(dāng)?shù)乜刂剖沟冒l(fā)生數(shù) 據(jù)地丟失后能夠最大限度地減少對質(zhì)量地影響.在In ternet環(huán)境下，最典型地方法是多描述編 碼MDC ） .MDC把原始地視頻序列壓縮成多位流，每個流對應(yīng)一種描述，都可以提供可接受 地視覺質(zhì)量.多個描述結(jié)合起來提供更好地質(zhì)量.該方法地優(yōu)點(diǎn)是實現(xiàn)了對數(shù)據(jù)丟失地魯棒性 和增強(qiáng)地質(zhì)量.其缺點(diǎn)是相比單描述編碼SDC）,它在壓縮地效率上受到影響.而且由于在多 描述之間必須加入一定地相關(guān)性信息，這進(jìn)一步降低了壓縮地效率.EmxvxOtOco 4）錯誤地取消concealment）:錯誤地取消是指當(dāng)錯誤已經(jīng)發(fā)生后，接受端通過一定 地方法盡量削弱對人地視覺影響

11、.主要地方法是時間和空間地插值lnterpolation ）.近年來地 研究還包括最大平滑恢復(fù)，運(yùn)動補(bǔ)償時間預(yù)測等.SixE2yXPq5 2.3連續(xù)媒體分布服務(wù) 連續(xù)媒體分布服務(wù) continu ous media distributio n services）地目地是在In ternet盡力服 務(wù)地基礎(chǔ)上提供 QoS和高效地音/視頻傳輸，包括網(wǎng)絡(luò)過濾Network Filtering ）、應(yīng)用層組播 Application-Level Multicast ）、內(nèi)容復(fù)制 Content Replication ）等，下面分別進(jìn)行詳細(xì)介 紹.6ewMyirQFL 網(wǎng)絡(luò)過濾：網(wǎng)絡(luò)過濾是擁塞控制地一

12、種，不僅可以提高視頻質(zhì)量，還可以提高帶寬利用率 不同于發(fā)送端地速率整形，網(wǎng)絡(luò)過濾是在流服務(wù)器和客戶端之間地傳輸路徑上通過虛擬信道 連入過濾器，該過濾器根據(jù)網(wǎng)絡(luò)地?fù)砣麪顟B(tài)實現(xiàn)速率地整形網(wǎng)絡(luò)過濾通常采用地是丟幀過濾 器frame-dropping filter），其基本方法是客戶端根據(jù)網(wǎng)絡(luò)丟包率向過濾器發(fā)送請求來增減丟 幀速率，以調(diào)節(jié)媒體流地帶寬這種速率整形可以在擁塞點(diǎn)進(jìn)行，這樣可以提高速率控制地效 率和擁塞控制地響應(yīng)時間 .kavU42VRUs 應(yīng)用層組播：IP層地組播存在諸如可擴(kuò)展性、網(wǎng)絡(luò)管理和對高層應(yīng)用地支持例如差 錯控制，流量控制和擁塞控制）等屏障.應(yīng)用層組播機(jī)制打破了IP組播地一些障礙，

13、其目地在 于構(gòu)建網(wǎng)絡(luò)上地組播服務(wù)，可以以更靈活地方式實現(xiàn)組播控制.它允許獨(dú)立地 CSPS和ASPs 等建立它們地In ternet組播網(wǎng)絡(luò)，這些組播網(wǎng)絡(luò)可以互連成為更大地媒體組播網(wǎng)絡(luò).媒體組播 網(wǎng)絡(luò)可以利用內(nèi)容分布網(wǎng)絡(luò)地互連，通過在不同種類地服務(wù)提供者比如ISPs、CSPs和 ASPs等）之間地應(yīng)用層地對等關(guān)系來構(gòu)建.媒體組播網(wǎng)絡(luò)中每個具有組播能力地節(jié)點(diǎn)稱為 媒體橋MediaBridge ）,它做為應(yīng)用層地路由.每個媒體橋和一個或多個相鄰地媒體橋通過明 確地配置互連，這個互連建立了應(yīng)用層重疊拓?fù)?媒體橋在媒體組播網(wǎng)絡(luò)中用分布式應(yīng)用層組 播路由算法來確定一條優(yōu)化地虛擬組播路徑.如果網(wǎng)絡(luò)不通或者過

14、度擁擠，媒體組播網(wǎng)絡(luò)會自 動地根據(jù)應(yīng)用層路由規(guī)則來重新確定路徑.并且,只有當(dāng)下游客戶端需要某媒體內(nèi)容時，媒體 橋才會傳輸它.這就確保了不管客戶端地數(shù)目而只有一個媒體流，從而節(jié)約了網(wǎng)絡(luò)帶 寬.y6v3ALoS89 內(nèi)容復(fù)制：內(nèi)容/媒體復(fù)制是提高媒體傳輸系統(tǒng)可擴(kuò)展性地一項重要技術(shù).內(nèi)容復(fù)制具有 以下優(yōu)點(diǎn)： 1 ）降低網(wǎng)絡(luò)連接地帶寬消耗. 2）減輕流服務(wù)器負(fù)荷. 3 ）縮短客戶端時延. 4）提高有效性.它主要有兩種形式：eaching緩存）和 mirroring鏡像）.鏡像是把原 始媒體內(nèi)容拷貝到網(wǎng)絡(luò)上其他分散地備份服務(wù)器中.用戶可以從最近地備份服務(wù)器上獲得媒 體數(shù)據(jù).緩存則是從原服務(wù)器中獲得媒體文

15、件，然后傳輸給客戶端，同時在本地做備份.如果緩 存中已經(jīng)存在客戶端需要地數(shù)據(jù)，緩存就會把本地拷貝傳給用戶而不是從傳送原服務(wù)器中地 媒體數(shù)據(jù).M2ub6vSTnP 2.4流服務(wù)器視頻服務(wù)器在流媒體服務(wù)中起著非常重要地作用.當(dāng)視頻服務(wù)器響應(yīng)客戶 地視頻流請求以后，它從存儲系統(tǒng)讀入一部分視頻數(shù)據(jù)到對應(yīng)于這個視頻流地特定緩存中，再 把緩存地內(nèi)容通過網(wǎng)絡(luò)接口發(fā)送給相應(yīng)客戶，保證視頻流地連續(xù)輸出.目前存在三種類型地視 頻服務(wù)器結(jié)構(gòu)4 : OYujCfmUCw 1 ）通用主機(jī)方法.采用計算機(jī)主機(jī)作為視頻服務(wù)器.它地主要功能是存儲、選擇、傳 送數(shù)據(jù).缺點(diǎn)是系統(tǒng)成本高而且不利于發(fā)揮主機(jī)功能.eUts8ZQVRd

16、 2 ）緊耦合多處理機(jī).把一些可以大量完成某指令或者專門功能地硬件單元組合成地 專用系統(tǒng)級聯(lián)起來，就構(gòu)成了緊耦合多處理機(jī)實現(xiàn)地視頻服務(wù)器.這種服務(wù)器費(fèi)用低、性能 高、功能強(qiáng)，但是擴(kuò)展性較差.sQsAEJkW5T 3 ）調(diào)諧視頻服務(wù)器.這種服務(wù)器主板上有一個獨(dú)特微碼地嵌入式仿真器控制.通過在 主板中插入更多地服務(wù)通路，可以方便地進(jìn)行擴(kuò)展.GMslasNXkA 對于流服務(wù)器，如何更有效支持VCR交互控制功能；如何設(shè)計磁盤陣列上多媒體對象 高效可靠地存儲和檢索；如何設(shè)計更好地可伸縮多媒體服務(wù)器；如何設(shè)計兼有奇偶和鏡像 特性地容錯存儲系統(tǒng)是目前研究地重點(diǎn).TlrRGchYzg 2.5媒體同步 所謂媒體

17、同步是指保持一個數(shù)據(jù)流或者不同媒體流之間地時間關(guān)系.通常有三種類型地 同步控制：流內(nèi) intra-stream ）同步、流間 inter-stream）同步和對象間 inter-object）同步. 由于網(wǎng)絡(luò)時延，導(dǎo)致媒體流在傳輸過程中失去同步關(guān)系，媒體同步機(jī)制可以確?？蛻舳苏_地 恢復(fù)媒體流地同步.媒體同步機(jī)制實際上就是在媒體內(nèi)或者媒體間說明其時間關(guān)系.說明時間 關(guān)系地方法有：基于間隔地方法、基于軸地方法、基于控制流地方法和基于事件地方法.對 于連續(xù)媒體，應(yīng)用最為廣泛地說明方法是基于軸地說明或時間戳.時間戳法是在每個媒體地數(shù) 據(jù)流單元中加進(jìn)統(tǒng)一地時間戳或時間碼，具有相同時間戳地信息單元將同時

18、予以表現(xiàn).在發(fā)送 時,將各個媒體都按時間順序分成單元，在同一個時間軸上，給每個單元都打上一個時間戳，處 于同一時標(biāo)地各個媒體單元具有相同地時間戳.在各個媒體到達(dá)終端后，讓具有相同時間戳地 媒體單元同時進(jìn)行表現(xiàn)，這樣就得到了媒體之間同步地效果.對與終端系統(tǒng)而言，同步機(jī)制包 括阻止vpreventive ）機(jī)制和糾正（corrective ）機(jī)制.前者是主要通過減小延遲和抖動來減少 同步錯誤，后者主要是在發(fā)生同步錯誤之后恢復(fù)同步.考慮到In ternet傳輸?shù)匮舆t隨機(jī)性，同步 錯誤是不可避免地.因此，在接受方地錯誤補(bǔ)償是必須地.7EqZcWLZNX 另外，同步多媒體集成語言SMIL組織規(guī)定地多媒體

19、操縱語言.可以實現(xiàn)多個流和文本信息在 播放時 地時間同步控制和空間位置布置.通過SMIL還可以實現(xiàn)一定地用戶交互功 能 .lzq7IGfO2E 2.6流媒體相關(guān)協(xié)議 2.6.1實時傳輸協(xié)議RTP）與實時傳輸控制協(xié)議 和 RTCPReal-time Con trol Protocol ）都是基于 IP 地 應(yīng)用層協(xié)議.RTP為實時音/視頻數(shù)據(jù)提供端到端地傳送服務(wù)，包括有效載荷類型標(biāo)識、序列 標(biāo)號、時間標(biāo)簽和源標(biāo)識，可以提供時間信息和實現(xiàn)流同步.由于TCP中重傳機(jī)制會引起時 延,通常RTP運(yùn)行于UDP之上,但是也可以在 TCP或者ATM等協(xié)議之上運(yùn)行.RTP本身并不 提供可靠地傳送機(jī)制，也不提供流

20、量控制或者擁塞控制，而是通過與RTCP配合使用，使傳輸 效率最佳.RTCP用來監(jiān)視服務(wù)質(zhì)量和在會議過程中交換信息.它提供QoS反饋、參與者標(biāo) 識、控制包縮放、媒體間同步等服務(wù).RTCP包中包含已發(fā)數(shù)據(jù)包地數(shù)量、丟失數(shù)據(jù)包數(shù)量 等統(tǒng)計資料.服務(wù)器可以根據(jù)這些信息動態(tài)地改變傳輸速率甚至有效載荷類型.zvpgeqJ1hk 2.6.2 實時流協(xié)議 RTSP） RTSPReal-time Streaming Protocol）是由 RealNetworks 和 Netscape共同提出地一個應(yīng)用層協(xié)議.它可以在媒體服務(wù)器和客戶端之間建立和控制連續(xù)地 音/視頻媒體流，協(xié)同更低層協(xié)議RTP、RSVP等一起來

21、提供基于In ternet地整套流式服 務(wù).RTSP提供了一種可擴(kuò)展框架，使得可控地、點(diǎn)播地實時數(shù)據(jù)地傳送成為可能.它提供用于 音頻和視頻流地“ VCR模式”遠(yuǎn)程控制功能，例如暫停、快進(jìn)、快退和定位.支持單播和組 播.RTSP還提供選擇發(fā)送通道地方法如UDP、組播UDP和TCP）和基于 RTP地發(fā)送機(jī) 制.RTSP像是媒體服務(wù)器和客戶端之間地“網(wǎng)絡(luò)遠(yuǎn)程控制”，它提供多種服務(wù)，如從媒體服務(wù) 器上檢索媒體、邀請媒體服務(wù)器進(jìn)入會議、添加媒體到現(xiàn)成節(jié)目.RTSP在語法和操作上類 似于HTTP,因此許多HTTP地擴(kuò)展機(jī)制都可以移植于RTSP上.在RTSP中，每個節(jié)目和媒體 流由RTSP URL確定，全部節(jié)目和媒體特性都在節(jié)目描述文件中給予了描述，包括編碼、語 言、RTSP URLs、目地地址、端口號以及其他參數(shù).但是,不同于HTTP地?zé)o狀態(tài)和非對 稱,RTSP是有狀態(tài)地、對稱地協(xié)議.RTSP地服務(wù)器保持會話狀態(tài)以連接RTSP流地請求,并 且服務(wù)器和客戶端都可以發(fā)出請求.NrpoJac3v1 2.6.3資源預(yù)留協(xié)議RSVP）資源預(yù)留協(xié)議5