MPEG4 面向網(wǎng)絡(luò)傳輸?shù)奶匦约皯?yīng)用_電子通信論文

1、MPEG4 面向網(wǎng)絡(luò)傳輸?shù)奶匦约皯?yīng)用_電子通信論文    2004年度河南省廣播電視優(yōu)秀科技論文二等獎(jiǎng)     摘 要：本文從MPEG-4編碼的復(fù)用基本流技術(shù) 、分級(jí)性、 容錯(cuò)性及 面向?qū)ο蟮木幋a特性，闡述了MPEG-4編碼有效的網(wǎng)絡(luò)傳輸性及相關(guān)應(yīng)用。     關(guān)鍵詞：復(fù)用 編碼分級(jí) 面向?qū)ο?容錯(cuò) 交互應(yīng)用 隨著傳統(tǒng)視頻行業(yè)的數(shù)字化，以及AV/IT的進(jìn)一步實(shí)施，在網(wǎng)絡(luò)上進(jìn)行視頻傳輸?shù)男枨笤絹?lái)越多。而目前， 網(wǎng)絡(luò)傳輸視頻面臨著以下問(wèn)題網(wǎng)絡(luò)資源（主要是帶寬）的不足，不可能為所有

2、用戶(hù)提供足夠的帶寬；視頻數(shù)據(jù)在傳輸過(guò)程中，網(wǎng)絡(luò)資源（如帶寬）、誤碼和丟包率等都是動(dòng)態(tài)變化的；網(wǎng)絡(luò)的異構(gòu)性和用戶(hù)的不同需求，使得網(wǎng)絡(luò)視頻應(yīng)用面臨著不同的服務(wù)質(zhì)量的需求。而 MPEG-4編碼針對(duì)這些問(wèn)題，均有有效的應(yīng)對(duì)策略，因此被廣泛應(yīng)用于視頻傳輸，特別是低碼率的視頻傳輸。     MPEG-4的特性包括：高質(zhì)量高壓縮率，可擴(kuò)展的碼率范圍，可分級(jí)性，差錯(cuò)復(fù)原性，內(nèi)容的交互性等。這些特性均支持了其面向網(wǎng)絡(luò)的傳輸性，以下就分別加以介紹。     一、復(fù)用基本流技術(shù)使 MPEG-4編碼更加適應(yīng)于不同特性寬范圍網(wǎng)絡(luò)  

3、;   復(fù)用即復(fù)合和同步與媒體對(duì)象相關(guān)的數(shù)據(jù)。 MPEG-4借助于用作定時(shí)和同步連續(xù)媒體MPEG-1和MPEG-2系統(tǒng)經(jīng)驗(yàn)，定義一個(gè)三層復(fù)用對(duì)策使其編碼更加適應(yīng)于不同特性寬范圍網(wǎng)絡(luò)和不同的應(yīng)用場(chǎng)合。這對(duì)于異構(gòu)網(wǎng)絡(luò)的視頻傳輸有著重要的意義。因?yàn)樵趥鬏斶^(guò)程中，視頻數(shù)據(jù)流應(yīng)與整個(gè)連接鏈路的可用帶寬相匹配，這樣可同時(shí)使網(wǎng)絡(luò)擁塞和包丟失率達(dá)到最小，獲得給定碼率下的最優(yōu)質(zhì)量。     這三層分別為同步層、靈活復(fù)用層、傳輸復(fù)用層。其中靈活復(fù)用層可提供不同特性的復(fù)用流，諸如平均比特率和接入單元的大小。傳輸復(fù)用層使復(fù)用流適應(yīng)于特殊網(wǎng)絡(luò)特性，便

4、于適應(yīng)不同網(wǎng)絡(luò)環(huán)境接口。在具體信號(hào)傳輸過(guò)程中，傳輸復(fù)用層使得復(fù)用流與特定的傳輸或存儲(chǔ)媒體相適配，而任選中間靈活復(fù)用層可提供幾個(gè)低比特率流組合，而不需要進(jìn)一步的包化或引入太多的冗余。對(duì)于常規(guī)的場(chǎng)景，比如一個(gè)常用活動(dòng)圖像的音頻加視頻，可跳過(guò)這靈活復(fù)用層，對(duì)于單一的音頻流和單一的視頻流可分別提供一個(gè)單一的傳輸復(fù)用流。     二、 MPEG-4視頻編碼可分級(jí)技術(shù)支持其面向傳輸?shù)?分層可擴(kuò)展性     所謂分級(jí)編碼，是將整個(gè)視頻流分為可逐級(jí)嵌入的若干層，不同復(fù)雜度的解碼器可根據(jù)自身能力，從同一數(shù)據(jù)流中抽出不同層進(jìn)行解碼，得

5、到不同質(zhì)量、不同時(shí)間分辨率、不同空間分辨率的視頻信號(hào)。使同一個(gè)數(shù)據(jù)流適應(yīng)不同特性的解碼器，提高靈活性和有效性。對(duì)于傳輸信道來(lái)說(shuō)，分層編碼可應(yīng)用于不同的網(wǎng)絡(luò)帶寬和網(wǎng)絡(luò)狀況，在速率起伏很大的 IP（Internet Protocol）網(wǎng)絡(luò)及具有不同傳輸特性的異構(gòu)網(wǎng)絡(luò)上有重要的意義。     MPEG-4通過(guò)視頻對(duì)象層（VOL，Video Object Layer）數(shù)據(jù)結(jié)構(gòu)來(lái)實(shí)現(xiàn)分級(jí)編碼?；痉旨?jí)工具包括時(shí)間分級(jí)（Temporal Scalability）和空間分級(jí)（Spatial Scalability），此外還支持這些基本分級(jí)工具的組合。每一種分級(jí)編碼都至

6、少有兩層VOL，低層稱(chēng)為基本層，其它為增強(qiáng)層?；緦犹峁┝艘曨l序列的基本信息，增強(qiáng)層提供了視頻序列更高的分辨率和細(xì)節(jié)?？臻g分級(jí)使得編碼數(shù)據(jù)流提供至少兩種空間分辨率的視頻信號(hào)，基本層提供了SDTV，增強(qiáng)層提供了HDTV。時(shí)間分級(jí)使得編碼數(shù)據(jù)流提供至少兩種幀速率的視頻圖像服務(wù)，基本層提供了隔行掃描HDTV，增強(qiáng)層提供逐行掃描HDTV。     三、容錯(cuò)技術(shù)保證了 MPEG-4傳輸后的視頻質(zhì)量     MPEG-4具有修正傳輸過(guò)程中產(chǎn)生錯(cuò)誤的特性，即容錯(cuò)性。抗誤碼工具包括再同步，數(shù)據(jù)恢復(fù)和誤差隱藏，且這些工具在MPEG-

7、4均得到了進(jìn)一步優(yōu)化。     由于其良好的容錯(cuò)機(jī)制，使得視頻流在信道傳輸后，解碼的質(zhì)量得到保證。這對(duì)于多媒體信息在信道下的傳輸有著重要的意義。由于信息經(jīng)信道傳輸后不可避免的會(huì)出現(xiàn)錯(cuò)誤，且被壓縮后的信息對(duì)錯(cuò)誤特別敏感，如果不加以處理，在接收端，多媒體的質(zhì)量將嚴(yán)重下降而不可用。尤其對(duì)于無(wú)線電傳播，由于電磁波傳播是擴(kuò)散的，地理環(huán)境復(fù)雜多變，且用戶(hù)位置處于移動(dòng)中，不可預(yù)測(cè)，其信息傳輸更為不穩(wěn)定。 MPEG-4的出現(xiàn)，促進(jìn)了含有視頻流內(nèi)容的移動(dòng)式產(chǎn)品的發(fā)展。     四、基于對(duì)象的編碼技術(shù)提高了壓縮效率及質(zhì)量并實(shí)現(xiàn)了交互性

8、     MPEG-4標(biāo)準(zhǔn)與 MPEG-1和 MPEG-2標(biāo)準(zhǔn)最根本的區(qū)別在于MPEG-4采用基于對(duì)象的編碼方法。此編碼方法實(shí)現(xiàn)了高效高質(zhì)量壓縮，使多媒體信息得以在低帶寬上傳輸。同時(shí)，基于對(duì)象和內(nèi)容的現(xiàn)代編碼，使得用戶(hù)與場(chǎng)景交互，便于操作和控制對(duì)象，滿(mǎn)足了多媒體應(yīng)用中人機(jī)交互的需求。     下面加以詳細(xì)說(shuō)明：     MPEG-4中所見(jiàn)的視音頻已不再是過(guò)去MPEG-1、MPEG-2中圖像幀的概念，而是一個(gè)個(gè)視聽(tīng)場(chǎng)景（AV場(chǎng)景），這些不同的AV場(chǎng)景由不同的AV對(duì)象組成。其對(duì)象

9、包括自然圖像、自然音頻，合成聲音、合成圖像以及帶有附加碼流的對(duì)象如流動(dòng)文本或用于表面模型活動(dòng)的流動(dòng)參數(shù)。     在視頻編碼上引入視頻對(duì)象平面（ VOP，Video Object Plane）、視頻對(duì)象（VO）的概念，視頻對(duì)象平面（VOP，Video Object Plane）是視頻對(duì)象（VO）在某一時(shí)刻的采樣。VOP是MPEG-4視頻編碼的核心概念。     進(jìn)行 MPEG-4編碼，首要任務(wù)就是把視頻圖像分割成不同對(duì)象或者把運(yùn)動(dòng)對(duì)象從背景中分離出來(lái)，然后針對(duì)不同對(duì)象采用相應(yīng)的編碼方法獨(dú)立進(jìn)行編碼，來(lái)實(shí)現(xiàn)高效高質(zhì)量

10、壓縮。如對(duì)3d對(duì)象使用3d動(dòng)畫(huà)適用的演算法，對(duì)前景VO壓縮編碼盡可能保留細(xì)節(jié)和平滑；而背景VO則采用高壓縮率的編碼策略，對(duì)于相同的背景只傳輸一次，減少信息量。     MPEG-4在對(duì)視頻圖像對(duì)象進(jìn)行編碼時(shí)，實(shí)際上是對(duì)一幅圖像以最簡(jiǎn)單的模型編碼方式進(jìn)行編碼，對(duì)象物被描述成具有矩形外觀的的單個(gè)視頻對(duì)象，這就是紋理編碼。而傳統(tǒng)編碼方式中的矩形圖在MPEG-4中被看作是VO的一種特例，這正體現(xiàn)了傳統(tǒng)編碼與基于內(nèi)容編碼在MPEG-4中的統(tǒng)一。     MPEG-4編碼中使用場(chǎng)景描述信息來(lái)說(shuō)明各對(duì)象在一個(gè)復(fù)雜多媒體場(chǎng)景中的組

11、合。     下面看一圖 MPEG-4 在接收端的系統(tǒng)結(jié)構(gòu)     在圖中接收端除了對(duì)各自對(duì)象進(jìn)行解碼外，還對(duì)場(chǎng)景描述信息進(jìn)行解碼。 MPEG-4的場(chǎng)景描述用來(lái)確定對(duì)象在時(shí)間和空間上的位置。它基本上采用VRML虛擬現(xiàn)實(shí)造型語(yǔ)言，這種語(yǔ)言規(guī)格用來(lái)描述包括3D材料、聲音和圖像的復(fù)合場(chǎng)景組合。場(chǎng)景描述像其他流動(dòng)數(shù)據(jù)一樣在一個(gè)基本流中傳輸，但處理的方式與其他信息不同，接收終端需使用此信息來(lái)建立場(chǎng)景結(jié)構(gòu)，對(duì)多個(gè)視頻對(duì)象及音頻對(duì)象進(jìn)行合成。重要的是在MPEG-4中，場(chǎng)景描述可以構(gòu)造和升級(jí)，從而實(shí)現(xiàn)在更高層次上的互動(dòng)性。

12、60;   為了更好的說(shuō)明基于對(duì)象的編碼方式對(duì)交互性的意義，這里列舉薩爾諾夫公司開(kāi)發(fā)的用于處理 MPEG-4 AV 的工具（下圖）。     該處理工具可實(shí)現(xiàn)       壓縮 /解壓縮不同的視覺(jué)對(duì)象為 MPEG4數(shù)據(jù)流       將視頻對(duì)象拖入窗口，同時(shí)可調(diào)整對(duì)象的大小、幀頻、碼率、透明度、層次       替換不同的背景     &

13、#160; 把自然的圖片與視頻對(duì)象與計(jì)算機(jī)合成的紋理和動(dòng)畫(huà)對(duì)象混合在一起       生成每一個(gè)視頻對(duì)象的原數(shù)據(jù)     借助這套處理工具，用戶(hù)可在更高的語(yǔ)義程度上交互使用數(shù)字視頻，其可被廣泛應(yīng)用于交互電視，數(shù)字演播室等領(lǐng)域。     五、 MPEG-4標(biāo)準(zhǔn)在專(zhuān)業(yè)視頻領(lǐng)域的應(yīng)用     MPEG-4標(biāo)準(zhǔn)的開(kāi)發(fā)目標(biāo)是實(shí)現(xiàn)多媒體業(yè)務(wù)在各個(gè)領(lǐng)域的應(yīng)用，涉及面非常廣泛，不同的應(yīng)用對(duì)應(yīng)的碼率、分辨率、質(zhì)量和服務(wù)也不同。為了滿(mǎn)足各種應(yīng)用的需求，MPEG-4標(biāo)準(zhǔn)相當(dāng)龐大，劃分為不同的部分與等級(jí)，或者說(shuō)它提供了分類(lèi)的方法。將整個(gè)標(biāo)準(zhǔn)劃分為一套子標(biāo)準(zhǔn)，利用這些子標(biāo)準(zhǔn)可以針對(duì)某些具體的應(yīng)用組成不同的方案。設(shè)備廠商在應(yīng)用MPEG-4標(biāo)準(zhǔn)進(jìn)行產(chǎn)品研發(fā)時(shí)，可根據(jù)應(yīng)用領(lǐng)域的不同，適當(dāng)選擇標(biāo)準(zhǔn)工具的子集。標(biāo)準(zhǔn)的每一個(gè)部分都分別有各自最適合的應(yīng)用場(chǎng)合。例如MPEG-4的簡(jiǎn)易型部分，是專(zhuān)門(mén)針對(duì)手持式產(chǎn)品中無(wú)線視頻發(fā)射應(yīng)用場(chǎng)合制訂的。     目前， MPEG-4標(biāo)準(zhǔn)被廣泛應(yīng)用于數(shù)字電視、實(shí)時(shí)多媒體監(jiān)控