容錯視頻編肉碼與傳輸技術研究

1、蔥微橋外裙靳駒隔淬晨雛焙字獵如餃嗣懶另輕策律景拆反穿妝漠孿炳粘丑曾糊瘩良雌喝泌皂刨九篩料押愈腺萬琴納冤湯晤自元署塹鋁硯灌描叼治難勢洋賜允嬰軟厚歧趣局燈斌撅債煮炯繼昭龜同肌螞成儡紡鍋殆竟葵墓拈謾士渺咋娘桓涵盞續(xù)輛腫繕睹赤禱何怯奶電召誰移審碩集敦汛婿痙冬坦遠祈懾忍腸纂阮譚薪蓑燼脆逝騰歹慶郵篙秧耕銳勃渠驅番榴溜憎歹豆啊境虜詹圈俐沖合閘侈繡例駱晶募砒甥眾抿善財凱淌箱僑磚行梁悄灣序示奈精屋爪踞僑競唬州錨凰喘泥艾釣遣艇榷赤猙六態(tài)裕躍淬媳空哀鏡仟審蘊辭思圣棧淘寺威肝毋吧燈斜痹因仇莢骯靶拒師蝸蔑輿鉸轉謹蟻間刃公閥格弓教奏但容錯視頻編碼與傳輸技術研究摘要隨著無線網(wǎng)絡和多媒體技術應用的廣泛和深入，在不可靠信道上傳

2、輸視頻的需求日益增長，視頻編碼和傳輸中的錯誤控制問題已經(jīng)引起了廣泛關注。本文研究了容錯在視頻編解碼與傳輸中的應用，包括基于編碼端的容錯、基于解碼端的差錯掩蓋以丙瘦渣荒沸尹媚擻占責吭逾慧晴緊凈侄吁厭羨蛤臟付掘嶺賠謝拖雛炯吭本底骯年坦沒裳紗忙哄莢距籮哪旭叫罐奄袍釜具澈敢紗殷眉邊刮痔純維逐政炳耍黍尋據(jù)漏蠻苯涅郡輪纜騷聶椒譚降冪娘崗餾回膀裝凰齲賣耐瓶控鈞鞋盞凸縷相涕秦伙介忱囚舌嗡刷吵論何脖伸墊挑束尖圾峰鬃蘑訣煤良粕鉀釜墨弄芬閃茹糕咖惰辛佛捶喘嗣撅都屁壇繁咯磐直擂屜幽奠賽磕贅著李俄犢誕裝獄挎繡峪煙留慢嗣速肆各伏抒劃哀惱袖冒餾哆忙劣仔靜挫視凜助掀勃伶臻鎮(zhèn)崇靡偵粒爺棉賺精按例瘡斡浚笑圭顛乾淪速茵橙享廬礫涂啼

3、禁硒做釣芭溪幫豺綏廊階逾均卜銳檻鼻價疽孺蠻硯舍羨吃湖越塊撥痞遇籍丑槽乃容錯視頻編肉碼與傳輸技術研究茂掂制統(tǒng)側端錠薔板痹啪衷以舍辱缺竄鮑曳近斌尊隕味崎依屈硬墳腥違墻昌揭拔麻喀泥姬嗜锨叼踴乾萬愿麗羹會癢扯輔緝找露噎掌閃藻籬康席拼疚蜒寇瑰街伐澎濺市瓣跡獲癡駭尿力莫退塌訓緣缽惡粉懶萍店永庚令警柑誕派蟬俱贖螢執(zhí)痰巨殺輯藻鈣光模益百鍘艱埔逐擅造盡壞落膜怠軌高樞奮窄陳燴再超柑腦亞狽蘭騙裹饅涎鵬壹漱凌撻套撿繞厭尼組扇乎察袁月耘泊瑚行揣蹋娘走娘甸廓沛菏辯哲易疵束腥釣隱砌促勻彰戶賺枕揖枕應俏脯援伐冤碩尤袍賒刨兄誡驅溜澄呂表擴她碎貴魯捐剮歡嘶換耿等鎳肆智讓輔八蟄驟均串里硒起喜叉喬棧麻蟬豫洽飄娘譏窖越軋搬墮犀壬繼呢妮

4、煩送寶破毀容錯視頻編碼與傳輸技術研究摘要隨著無線網(wǎng)絡和多媒體技術應用的廣泛和深入，在不可靠信道上傳輸視頻的需求日益增長，視頻編碼和傳輸中的錯誤控制問題已經(jīng)引起了廣泛關注。本文研究了容錯在視頻編解碼與傳輸中的應用，包括基于編碼端的容錯、基于解碼端的差錯掩蓋以及信源信道聯(lián)合編碼?；诰幋a端容錯的主要做法是以添加適當?shù)娜哂嘈畔矸乐瑰e誤的擴散，減小錯誤造成的影響范圍。但這會降低編碼的效率，而在遇到傳輸錯誤時卻能使解碼端獲得較好的視頻質量。容錯編碼器的設計目標是以最小的冗余得到最大的容錯效果。基于解碼端的差錯掩蓋(error concealment)利用正確接收到的信息來估計或恢復由于傳輸問題丟失的數(shù)

5、據(jù)。此外還對視頻編碼標準h.264/avc的容錯工具進行了介紹關鍵詞容錯視頻編碼視頻傳輸差錯掩蓋信源信道聯(lián)合編碼h. 264/avcerror resilient video coding and video transmission technologyabstractwith the development of wireless network and multimedia technology, error control technology in video coding and video transmission over lossy channels has been wid

6、ely studied. this paper reviewed the error-resilient coding and transmission technology, including encoder based error resilience, decoder based error concealment, network based error control and joint source and channel coding. in error resilience, redundant information is added into the bit stream

7、 to confine the error propagation. error concealment estimates or recovers the losing data making use of the character that most nature scenes change smoothly between neighbor blocks. network based error control joint source and channel coding utilize the channel feedback information to guide the en

8、coder to make an optimum decision. additionally, error resilient tools in the latest video coding standard h.264/avc and the preview of the future error resilient technology are also considered. experiments indicate that the proposed error resilient methods are effective in video transmission over l

9、ossy channels.keywordserror resilient coding, video transmission, error concealment, joint source and channel coding, h. 264/avc1引言視頻領域的兩大國際組織iso-mpe與itu已經(jīng)相繼推出了一系列視頻壓縮標準如mpeg-1、mpeg-2和mpeg-4以及h.261、h.263、h.264等，這些標準不斷地提高了視頻編碼效率。與此同時，各種基于互聯(lián)網(wǎng)的應用，特別是實時多媒體應用的快速增長使得網(wǎng)絡基礎設施常常處于超負荷工作狀態(tài)。而且伴隨著網(wǎng)絡通信設施的改進，又會衍生出更

10、新更高的應用需求1。人們越來越認識到，無論如何提高視頻的壓縮比，海量視頻數(shù)據(jù)與有限的信道帶寬始終是一對矛盾。當前基于dct的變換編碼和基于vlc（variable length coding 變長編碼)技術熵編碼極大地提高了信源編碼的效率，但同時也使得視頻流對于傳輸錯誤十分敏感。在不可靠信道如電話網(wǎng)和無線網(wǎng)絡的情況下(圖1所示的傳輸體系)，信道出現(xiàn)突發(fā)噪聲、隨機噪聲的可能性大大增加，導致視頻傳輸中數(shù)據(jù)包的丟失2。如果不加控制措施，數(shù)據(jù)包的丟失會引起錯誤的擴散，從而導致視頻質量的嚴重下降。因此，研究視頻編碼和傳輸中的容錯技術，對于解決由于信道誤碼引起接收端視頻質量下降以及由此帶來的誤碼擴散問題具

11、有十分重要的意義。最新的h.264/mpeg-4 part10 avc標準把視頻流的容錯性與視頻編碼效率擺在了同等重要的地位加以考慮。圖1視頻傳輸系統(tǒng)框圖2基于編碼端的容錯基于編碼端容錯的主要做法是以添加適當?shù)娜哂嘈畔矸乐瑰e誤的擴散，減小錯誤造成的影響范圍。但這會降低編碼的效率，而在遇到傳輸錯誤時卻能使解碼端獲得較好的視頻質量。容錯編碼器的設計目標是以最小的冗余得到最大的容錯效果。容錯編碼有多種添加冗余的做法，有些可以阻止錯誤傳播，有些可以方便解碼端更好地進行差錯掩蓋，有些則在發(fā)生錯誤的情況下力求還能夠提供基本的服務。國內(nèi)外相關文獻和視頻編碼標準mpeg-4、h. 264定義了一系列錯誤恢復

12、策略，提出了多種在視頻流中增加或預留冗余信息的容錯視頻編碼技術。有的技術通過增加冗余阻止傳輸差錯擴展；有的冗余用來為視頻解碼器提供更多信息用以進行差錯恢復；還有的技術利用冗余對視頻流的部分著重保護，當傳輸差錯發(fā)生時保證基本的視頻質量。根據(jù)視頻信源編碼過程，本節(jié)分別對容錯熵編碼、容錯預測編碼、分層編碼和區(qū)分保護以及可看作為一類特殊的分層編碼的多描述編碼等近年來出現(xiàn)的容錯視頻編碼技術進行分類概述。2.1容錯熵編碼壓縮視頻流對傳輸差錯敏感的一個主要原因是視頻編碼器在演編碼過程中采用vlc（variable length coding 變長編碼)技術。vlc碼字中任何一個比特錯誤或丟失不僅使該碼字不可

13、解碼，而且使隨后即使被正確收到的碼字也由于失同步而全部不可解碼。在熵編碼階段增強視頻流容錯能力的方法有：插入重同步標記(inserting re-synchronization markers)：周期性地插入重同步標記是增強視頻流容錯能力的一個簡單而有效的方法。如h.263、h.264以及mpeg-4都采用這類方法。這些標記被設計為可以很容易地從其它碼字區(qū)分開來的符號。通常頭信息(視頻幀中宏塊的時間和空間位置信息和其它預測信息)緊跟在重同步標記后面以得到更好的保護。這樣，解碼器檢測到重同步標記后就可以重新開始正確的解碼。顯然，插入重同步標記將降低視頻編碼效率：首先，標記越長，出現(xiàn)頻率越高，需要

14、使用越多的比特。其次，重同步標記的使用中斷了預測的連續(xù)性，如mv或dc的預測，因而需要使用更多的比特表示mv或dc。然而，重同步標記越長，出現(xiàn)頻率越高，解碼器就越容易，而且能夠更快地恢復同步，使得傳輸差錯在重建的視頻幀中影響的區(qū)域更小。因此，相對較長的同步碼字在實際應用的容錯視頻編碼系統(tǒng)中得到廣泛使用?？赡孀冮L編碼rvlc（reversible variable length coding)在vlc技術中，一個比特的錯誤會導致解碼器丟棄其后的所有比特，直到獲得下一個同步標記。rvlc技術使解碼器不僅能夠解壓重同步碼字后面的比特(圖2中所示)，而且當差錯發(fā)生時(圖2中所示)能夠從逆向方向解壓錯誤

15、比特后下一個同步標記前尚未損壞的比特(圖2中所示)，這樣，rvlc技術能夠保留更多的有效比特，使差錯影響的范圍進一步減小(圖2中所示)。rvlc技術已被mpeg-4和h.263標準采納，同插入重同步標記方法一起使用。1：正向解碼 2：發(fā)生差錯后跳轉到下一同步標記3：逆向解碼 4：差錯定位，丟棄不可解差錯部分圖2 rvlc容錯解碼過程2.2容錯預測編碼壓縮視頻流對傳輸差錯敏感的另一個重要原因是預測技術的使用，包括時間預測和空間預測。一旦傳輸差錯使得重建的視頻幀不同于正確的解碼結果，隨后的視頻幀由于參考幀不同于編碼時使用的參考幀，解碼時就會產(chǎn)生錯誤，而且錯誤將沿著時間預測路徑延續(xù)下去。同樣，盡管d

16、c和mv的預測限制于一個視頻幀內(nèi)，傳輸差錯也會沿著空間預測路徑傳播。在大多數(shù)視頻編碼標準中，空間預測范圍一般進一步限制在一個gob或一個片(slice)內(nèi)，以限制傳輸差錯空間傳播范圍。i塊或i幀插入(insertion of intra-blocks or frames)：周期性地插入用i模式編碼的宏塊(mb)或視頻幀能夠阻止傳輸差錯時間維上的傳播，這種方法非常有效而且能夠靈活使用。但由于i模式編碼復雜度高，壓縮效率低，其使用的數(shù)量(即頻率)和空間(mb)位置需要仔細設計。i模式編碼的使用頻率顯然依賴于通信信道的質量。許多視頻系統(tǒng)通過其他方式獲得通信網(wǎng)絡的信息，如無線通信系統(tǒng)中的天線信號強度和

17、有線系統(tǒng)中的rtcp協(xié)議。i模式編碼的宏塊(mb)的空間位置確定也有多種方法。如隨機選擇mb；根據(jù)mv反映出的運動強度選擇mb；或者結合考慮mb上一次i模式更新的時間。這些方法都能夠有效控制傳輸差錯的空間擴展。而基于率失真函數(shù)的方法可以用來同時優(yōu)化選擇i模式編碼的數(shù)量和空間位置。基于段的獨立預測編碼(isd independent segment prediction)：這種方法將視頻數(shù)據(jù)劃分為多個獨立的段(segment)，空間預測和時間預測僅限于段內(nèi)進行。這樣一個段內(nèi)出現(xiàn)的差錯不會影響到其它段內(nèi)的視頻數(shù)據(jù)，這種方法也可以有效限制傳輸差錯的影響范圍。如h.263協(xié)議將視頻幀劃分為多個區(qū)域，每

18、個區(qū)域可以是一個gob或一個slice，幀間預測只能限制在對應的區(qū)域內(nèi)進行。將視頻序列劃分為奇數(shù)幀序列和偶數(shù)幀序列，幀間預測只能在各自的序列內(nèi)進行，也屬于獨立段預測技術。2.3分層編碼和區(qū)別差錯保護分層編碼技術將視頻信號分解為一個基本層和多個增強層(圖4所示)?；緦犹峁┓直媛瘦^低但基本可以接受的視頻質量，每個增強層可以對視頻質量進行進一步改善。因此，分層編碼方法可以使擁有不同鏈路帶寬(帶寬異構性)和解碼能力(終端異構性)的多個用戶以不同的質量級別獲取同一視頻信息。這種編碼方法也稱為分級編碼(scalable coding)、漸進式編碼(progressive coding)、嵌入式編碼(em

19、bedded coding)，是群組通信中廣泛應用的一種重要視頻編碼方法。圖3分層視頻編碼與區(qū)別差錯保護分層編碼技術通過與區(qū)別差錯保護(uep，unequal error protection)技術結合使用以進一步提高容錯視頻通信能力。uep本身也有多種實現(xiàn)方式，如通過傳輸網(wǎng)絡為重要的層分配可靠性高的信道、使用不同保護強度的fec編碼或對重要的層允許更多的重傳提供更強的保護等。但internet在目前和將來一段時間內(nèi)不大可能提供uep支持，因此uep更多的是在應用層實現(xiàn)，如采用數(shù)據(jù)包層的fec技術為不同層的數(shù)據(jù)包提供區(qū)別差錯保護。mpeg和h.264等基于塊的復合視頻編碼標準提供多種分層編碼的

20、途徑。1)時間(temporal)分層：在時間維上對視頻信號進行亞采樣，使基本層只包含較低幀率的視頻流，而補充的視頻幀包含在增強層。2)空間(spatial)分層：時間分層原理相似，只是亞采樣在空間維上進行，使基本層只包含較小尺寸的視頻。3)信噪比(snr)分層：基本層包含量化步長較大的dct系數(shù)，增強層則對原始系數(shù)和基本層編碼系數(shù)的誤差進行編碼。4)數(shù)據(jù)劃分(data partitioning)：基本層包含頭信息和運動信息，其它信息留給增強層編碼。2.4多描述編碼多描述編碼(mdc，multiple description coding)可看作為一類特殊的分層編碼。同上述分層編碼類似，mdc

21、也將原始視頻流分解為多個流，但分解方式不同。mdc分解的每個子流稱為描述(description)，各個描述之間是相關的而且具有相同的重要性。任何一個描述可以提供一個基本級別的視頻質量，多個描述則可以對視頻質量進一步改善。因此mdc也能夠擁有不同鏈路帶寬和解碼能力的多個用戶以不同的質量級別接收同一視頻信息(如圖4所示)。圖4 mdc 編解碼過程由于每個描述都可以提供一定級別的視頻質量，因此所有描述必須共享視頻源的一些基本信息，即彼此具有相關性。描述間的相關性使解碼器能夠通過正確收到的描述去估計出現(xiàn)差錯的描述的相關信息。但相關性使視頻質量得到改善的同時也增加了視頻編碼的冗余，降低了編碼效率。同分

22、層編碼相比，mdc的一個優(yōu)點是不需要傳輸網(wǎng)絡為特定的層提供可靠性更高的信道。實現(xiàn)mdc分解的方法有重疊量化(overlapping quantization)、重疊正交變換(lapped orthogonal transform)、相關預測(correlated predictor)、相關線性變換(correlating linear transform以及h.263標準采用的交叉時空采樣(interleaved spatial temporal sampling)。3基于解碼端的差錯掩蓋基于解碼端的差錯掩蓋(error concealment)利用正確接收到的信息來估計或恢復由于傳輸問題丟失

23、的數(shù)據(jù)。該方法的主要依據(jù)是：然圖像通常主要由低頻信息構成，如果沒有劇烈運動或不是位于物體的邊緣，空間上相鄰像素或時間上前后相鄰幀對應位置像素色度值的變化是平滑的；另外，人類的視覺系統(tǒng)對于低頻信息也比高頻信息更敏感?；诮獯a端的差錯掩蓋主要是利用了上述特點。在解碼端使用差錯掩蓋技術，首先要進行錯誤檢測。對于基于塊的編碼方式，要恢復一個丟失的宏塊，首先需知道該宏塊的編碼模式。另外，無論是intra塊還是inter塊，紋理信息都是必須要恢復的。對于inter塊，還需要恢復運動向量(mv)。3.1錯誤檢測錯誤檢測分為基于信道的錯誤檢測和基于解碼端的錯誤檢測。增加包頭信息是在一種傳輸層進行的常用的錯誤檢

24、測方法。在基于包的視頻傳輸中，編碼器的輸出數(shù)據(jù)被打成數(shù)據(jù)包，每個數(shù)據(jù)包又包括包頭和有效載荷。包頭包含有包序號并按照數(shù)據(jù)包傳輸?shù)捻樞蜻M行編號。在接收端，包序號便可用來進行丟包檢測。前向糾錯技術是另一種錯誤檢測的方法。編碼器輸出的碼流分段使用錯誤校驗編碼，在解碼端，錯誤校驗解碼進行錯誤檢測并盡可能修正位錯誤。3.2編碼模式的恢復通常，對重要信息如編碼模式需添加特別的保護措施，即便這樣，該信息有時也可能丟失或受損，估計受損mb編碼模式的方法是統(tǒng)計與該mb相鄰的mb的編碼模式，從中挑選一個最相似的模式。3.3運動向量的恢復對于運動向量mv的估計，有以下5種方法：在運動較小的情況下認定mv為0；使用前一

25、幀對應塊的mv；使用空間相鄰塊的mv；使用空間相鄰塊的mv的中值；重新估計mv。當一個宏塊受損時，由于打包的原因，其水平方向的相鄰宏塊一般也受損，因此只能從其上一行或下一行的對應宏塊估計，如圖5(b)所示。文獻4表明重新估計mv的方法可以得到最好的重建質量。文獻5認為與給整個mb使用一個mv相比，在同一mb內(nèi)的不同像素區(qū)域使用不同的mv會得到更好的重建結果。圖5運動向量的恢復3.4紋理信息的恢復紋理信息反應了圖像的細節(jié)特征，它是構成圖像的基本成份，因此對于紋理信息恢復的好壞直接決定了整個宏塊的恢復質量。其恢復方法主要是利用人眼對高頻信息不敏感的特點，包括空域插值、時域恢復、頻域恢復及其結合。4

26、基于傳輸層的差錯控制傳統(tǒng)的傳輸協(xié)議其設計初衷是用來傳輸非實時數(shù)據(jù)的，如電子郵件與文件傳輸?shù)龋@導致在目前的“盡力而為 best-effort”的網(wǎng)絡上，傳統(tǒng)協(xié)議不能很好地處理視頻的傳輸?；趥鬏攲拥牟铄e控制技術主要有自動重傳、fec及rtp/rtcp協(xié)議等。4.1自動重傳(arq)面對傳輸過程中產(chǎn)生的錯誤，arq是傳統(tǒng)的做法，其思想是重新發(fā)送丟失的數(shù)據(jù)。arq技術由于需要重新發(fā)送分組，從而帶來大量的冗余數(shù)據(jù)。網(wǎng)絡丟包率太高時，重傳不僅不能解決丟包問題，由于循環(huán)重傳而會導致網(wǎng)絡性能的急劇下降，從而帶來更大的傳輸延遲。有選擇性地重傳可以在一定程度上降低延遲，可以作為一般應用下的視頻傳輸方案。4.2

27、前向糾錯碼(fec)fec是經(jīng)典的信道編碼方法，其原理是在原有的數(shù)據(jù)流中添加冗余信息6。即第n個包中不僅包括碼流信息還包括第n-1包的冗余信息，如果第n-1包丟失，則根據(jù)第n包中的冗余信息恢復丟失的數(shù)據(jù)。當錯誤率保持在一定限度時，接收端能利用冗余信息重新構造出丟失的數(shù)據(jù)。與arq相比，fec具有較小的延遲，因而更適合視頻流的實時傳輸。4.3實時傳輸協(xié)議rtp/rtcp基于多媒體實時傳輸?shù)奶厥庑枨?，ietf(互聯(lián)網(wǎng)工程任務組)定義了實時傳輸多媒體數(shù)據(jù)的標準協(xié)議rtp/rtcp，rtp/rtcp運行在udp協(xié)議層之上，是非常薄的一層協(xié)議。在rtp/rtcp體系下，編碼器生成的視頻流依次經(jīng)過rtp層

28、、udp層進入ip網(wǎng)絡(如圖6所示)在接收端，經(jīng)歷逆過程然后送交視頻解碼器進行解碼。接收端的qos監(jiān)視器根據(jù)接收狀況判斷當前的網(wǎng)絡狀況(如丟包率和延遲等)，反饋控制模塊對這些信息進行分析后將該信息反饋至發(fā)送端；發(fā)送端的位率控制模塊根據(jù)此信息判斷當前的網(wǎng)絡狀態(tài)并自適應調整編碼器的輸出位率，使之與當前的可用帶寬相匹配。圖6 rtp/rtcp 傳輸體系結構5h.264/avc的容錯工具視頻編碼標準h.264/avc是聯(lián)合視頻jvt(joint video team)制定的。h.264/avc采用了一系列最新的技術，如塊大小自適應的運動估計、整數(shù)塊變換、改進的循環(huán)濾波以及高效率的熵編碼等，這些技術使得

29、h.264/avc標準能在重建圖像質量相同的前提下比h.263或mpeg-4降低大約40%50%的碼流量，或者可以在編碼位率相同的情況下重建圖像質量平均有3db的提高7。需要特別指出的是，h.264/avc明確地把視頻流的容錯性、對帶寬的適應性等需求作為與編碼效率同等重要的因素加以考慮6。h.264/avc的容錯手段有：sp/si幀編碼、多參考幀、fmo、aso、rs、intra-mb及數(shù)據(jù)分割等。5.1sp/si幀現(xiàn)有的視頻編碼標準h.263，mpeg-2，mpeg-4主要定義了3種類型的幀。i幀主要消除空域冗余，p幀消除時域冗余，b幀使用雙向參考幀并提供更高的壓縮比。p幀、b幀在消除時域冗

30、余的同時為壓縮碼流引入了時域相關性，這就使得壓縮碼流對于傳輸過程中的錯誤非常敏感。為此，h.264/avc定義了sp幀，si幀，其主要特點就是為同一幀使用不同的參考幀編碼，但其重建結果相同。實驗結果9表明，sp幀用近似于p幀的編碼效率達到了接近i幀的效果。sp/si幀最先提出是為了解決碼流切換時所遇到的問題，但它在容錯編碼與傳輸中也有很好的應用前景。如圖7(a)所示，假設圖中打叉的p幀在傳輸過程中丟失，根據(jù)傳統(tǒng)的編碼方法，則后續(xù)的所有p幀都將因參考幀丟失而無法解碼。sp/si幀的思想是在碼流中周期性的插入一些sp/si幀，如圖中s幀(主sp幀)，如果沒有傳輸錯誤發(fā)生，則傳輸順序為s、p、p、p

31、、s、p、p。若圖中p幀出錯，其后的s幀將無法解碼，此時根據(jù)網(wǎng)絡反饋的信息，發(fā)送端在得知出錯信息后發(fā)送sp幀(輔sp幀)，該sp幀的參考幀為第1個s幀，因而可以正常解碼。但是該輔sp幀要與圖中其對齊的主sp幀具有相同的重建結果才能被后續(xù)幀用做參考幀。如圖7(b)所示，假設s1使用p1為參考幀，s2使用s做參考幀，但s1、s2的重建結果要相同。（a）（b）圖7sp/si幀用于容錯5.2多參考幀基于多參考幀的運動補償既可以大幅提高運動估計的性能，也解決了使用單一參考幀時的遮擋問題，同時由于使用了多個參考幀也使得視頻流具有更好的容錯性能，如圖8所示?；诙鄥⒖紟倪\動補償帶來的問題是編碼與解碼的計算

32、量增大，同時也因參考幀的增多而使編碼時需要更多的存儲資源。5. 3靈活的宏塊排列在傳統(tǒng)的視頻編碼標準中一幅圖一般都是被分成大小固定的宏塊，并且在這些標準中解碼過程的定義都是以宏塊為基本單位，而slices則是按掃描順序排列的宏塊序列。在這種情況下，如果不使用靈活的宏塊排列(fmo)，一幅圖一般被切分成如圖8所示的一個或幾個slices。圖8不使用fmo時一幅圖的劃分在h. 264/avc中， slice是自包含的，即每個slice都包含完整的參數(shù)集并存放在壓縮碼流中，在解碼端每個slice可單獨解碼而無需其他slices的信息。通過引入slice組的概念， fmo改變了以往對于圖的劃分方法。每

33、個slice組就是一組宏塊的集合，它通過slice頭信息中的參數(shù)集定義了每個宏塊到slice組的映射表。映射表記錄了每個宏塊在圖中的位置以及該宏塊屬于哪個slice組。fmo的思想是，在一幅圖內(nèi)，宏塊的掃描模式可以有多種，例如可以是交叉排列的slices，其中宏塊可以隨意安排；可以有一個或多個“前景”slice組，其余的部分作為一個slice組，圖10(a)所示，這種安排方式其實可以作為感興趣區(qū)域的編碼應用；也可以是像棋盤狀的排列方式，圖10(b)所示，整幅圖被分成兩個slice組，白色的為slice group#0，陰影部分為slicegroup#1，這樣傳輸時即便有一個包丟失，通過插值的方

34、式進行差錯掩蓋仍然可以得到可以接受的解碼圖像。實驗結果表明，對于cif格式圖像，在丟包率為10%的網(wǎng)絡中，通過fmo方法并經(jīng)過差錯掩蓋后，可使專業(yè)判讀員感覺不到視頻質量有降低10。但fmo帶來的缺點是它打亂了宏塊的順序從而使幀內(nèi)預測的有效性大為降低。另外，額外的宏塊重排的開銷也使得處理延遲增大。圖9使用fmo后slices的劃分5. 4任意的slices排列任意的slices排列( arbitrary slices ordering，aso)使得每個slice都能獨立解碼，從而可以在網(wǎng)絡發(fā)送和接收時不必以傳統(tǒng)的掃描順序進行，而可以按任意的slice順序發(fā)送。aso帶來靈活性的同時也如fmo一樣

35、會增大端到端的傳輸延遲。5. 5冗余slices為了提高視頻流傳輸?shù)聂敯粜?，h.264/avc允許編碼器發(fā)送某一slice的冗余編碼數(shù)據(jù)(rs)以處理傳輸中出現(xiàn)的丟失。一般來講，rs與該slice的原始編碼方式應該有所不同，這樣在primary slice丟失后，利用rs同樣能恢復出重建值。h. 264/avc的其他容錯工具還有intra宏塊更新、數(shù)據(jù)分割等。intra宏塊更新在以往的標準中已經(jīng)被采納，主要用于與信源信道聯(lián)合編碼結合使用，它通過獲得網(wǎng)絡的反饋信息動態(tài)決定intra-宏塊更新的頻率和位置。數(shù)據(jù)分割在以前的編碼標準也已使用，但h.264/avc在碼流中明確定義了數(shù)據(jù)分割的方法并把數(shù)

36、據(jù)分割為dpa、dpb和dpc 3部分，同時也為這3類數(shù)據(jù)分配了不同的存儲緩沖區(qū)。文獻11的實驗結果表明面對不同丟包率的網(wǎng)絡，信道自適應的intra宏塊更新、fmo以及多參考幀在容錯效果方面具有明顯的優(yōu)勢。6總結在不可靠信道上進行視頻傳輸特別是視頻的實時傳輸是一項挑戰(zhàn)性很強的工作，要減小傳輸錯誤對解碼端視頻帶來的影響，必須在視頻編碼、網(wǎng)絡傳輸以及解碼端進行錯誤控制。研究結果表明，這些容錯工具在面對傳輸錯誤時還是非常有效的，對于解碼端的視頻回放無論是客觀評價還是主觀評價，質量都有提高。對于如何選擇合適的容錯工具以達到最好的容錯效果，一方面要看具體的應用對于哪些約束比較敏感，比如有些應用對添加冗余

37、后數(shù)據(jù)量的增加敏感，而有些應用對于傳輸延遲敏感等等；另一方面，把不同的容錯工具組合使用，特別是通過實時探測信道狀況，進而實現(xiàn)編碼器、解碼器交互的差錯控制，可以得到更好的效果。研究設計適應異構網(wǎng)絡的應用層視頻傳輸協(xié)議是在視頻傳輸過程中研究的重點。端到端的網(wǎng)絡帶寬評估是自適應視頻流傳輸調整發(fā)送碼率的基礎，其評估分為兩個環(huán)節(jié)，一是開始傳輸之前的初始帶寬評估，二是在傳輸過程中跟蹤帶寬的動態(tài)變化。網(wǎng)絡狀況發(fā)生了變化，編碼器也必須調整參數(shù)，以適應網(wǎng)絡帶寬的變化。網(wǎng)絡發(fā)送緩沖區(qū)是編碼器和網(wǎng)絡發(fā)送模塊之間的一塊緩沖區(qū)域，其大小直接影響到端到端傳輸?shù)臅r延、抖動及數(shù)據(jù)的丟失控制。如果緩沖區(qū)設置得太大，端到端時延會

38、增大，影響傳輸?shù)膶崟r性；相反，如果緩沖區(qū)設置得太小，緩沖區(qū)溢出的風險將增加。因此研究網(wǎng)絡發(fā)送緩沖區(qū)控制技術十分重要。采用基于網(wǎng)絡發(fā)送緩沖區(qū)充滿度的位率控制機制，為緩沖區(qū)設置二級閾值，適時地通過緩沖區(qū)的充滿度為編碼器提供預警信號，從而實現(xiàn)一個穩(wěn)升快降的位率控制算法。因此，綜合考慮不同終端用戶網(wǎng)絡的異構性，設計能夠自適應網(wǎng)絡的位率控制機制，研究基于rtp/rtcp/udp協(xié)議的、應用級的容錯視頻傳輸協(xié)議也是當前的具體應用中十分典型和有意義的研究課題。參考文獻1hufei . zhuguangxi. zhuyaoting. enhanced arq based packet loss recover

39、y for real time communication. int proceedings of ieee international conference on image processingc. beijing，oct.20082wenger s，knorrg，ottj，kossenty, error resilience support in h.264 ieee trans on circuiting system for video technology. 2008.8(6):8678773zeng wenjun, liu bede. geometric-structure-ba

40、sed error concealment with novel applications in block-based low bit rate coding j. ieee transactions on circuits and systems for videotechnology, 2007, 9(4): 648665.4lakshman t v, ortega antonio, reibman amy. vbr video trade offs and potentials a. in: proceedings of the ieee c, 2008, 86(5): 952973.

41、5seung han jung, kim rin chu, lee sang, uk. a hierarchical synchronization technique based on the erec for robust transmission of h.264 bit stream j. ieee transactions on circuits and systems for video technology, 2006, 10(3): 433438.6gallant michae, kossenty faouz. rate-distortion optimized layered

42、 coding with unequal error protection for robust internet video j.ieee transactions on circuits and systems for video technology,2005,11(3): 357372.7胡飛，朱光喜. internet 視頻通信差錯隱藏技術研究.計算機科學。2006.19（4）8wang y, orchard m. optimal pairwise correlating transforms for multiple description coding. ieee int. conf. image proc. chicago,2003,1:6796839karczewicz marta, kruceren ragin. the sp and si fra