多媒體信息處理技術

1、北京交通大學電子信息學院北京交通大學電子信息學院1第第5章：多媒體信息傳輸中章：多媒體信息傳輸中的差錯控制技術的差錯控制技術盧燕飛盧燕飛北京交通大學電子信息學院北京交通大學電子信息學院2第第1節(jié)：差錯控制概述節(jié)：差錯控制概述n多媒體應用中錯誤的類型多媒體應用中錯誤的類型ApplicationError CharacteristicsVideophone over PSTNFew bit errors and packet lossVideoconferencing over ISDNPractically error free (BER 10-8)Digital TelevisionAlmos

2、t error free (after FEC)Video streaming over the InternetPacket loss of 0-30%Wireless video (cell phone)BER up to 10-3, Burst errorsn(The above are very rough numbers. BER = bit error rate)北京交通大學電子信息學院北京交通大學電子信息學院3 n目的:q克服由于分組交換網絡中丟包或者無線鏈路中突發(fā)錯誤對業(yè)務造成的影響n 差錯控制的方法:q重傳：Retransmissionq前向糾錯：Forward Error

3、Correction (FEC)q錯誤掩蓋：Error concealmentq容錯視頻編碼：Error-resilient video coding信道編碼信道編碼信源編碼信源編碼北京交通大學電子信息學院北京交通大學電子信息學院41. 重傳重傳n要求：發(fā)端和收端之間必須有反饋信道n 方法：qReceiver tells sender which packets were received/lost and sender resends lost packetsn 優(yōu)點：q只重傳丟失的包，有效利用帶寬；q 容易適應信道條件的變化；n 缺點：q對于實時業(yè)務有 容忍限制（Extra latency

4、） ，大致等于round-trip-time (RTT)q 對于沒有反饋信道的應用不可用，比如e.g. broadcast, multicast；q 隨著RTT的增加，傳輸效率降低；北京交通大學電子信息學院北京交通大學電子信息學院5重傳（續(xù)）重傳（續(xù)）n其它特點:q重傳的延遲限制:p重傳的數據包必須及時達到；q基于優(yōu)先策略的重傳:p Retransmit important packets before unimportant packetspExamples of coded video data with different importance:p Different frame typ

5、es:n I-frame: Most importantn P-frame: Medium importancen B-frame: Minimum importance (can be discarded)p Different layers in a scalable coder:n Base layer: Most importantn Enhancement layer 1: Medium importancen Enhancement layer 2: Minimum importance北京交通大學電子信息學院北京交通大學電子信息學院6重傳的時間限制重傳的時間限制重傳的數據包不能超

6、過此延時重傳的數據包不能超過此延時北京交通大學電子信息學院北京交通大學電子信息學院72. Forward Error Correction (FEC)nFEC的目的:q 利用增加的冗余，來實現(xiàn)對錯誤的恢復。q常用的方法：各種差錯控制編碼n Reed-Solomon Code: RS(N, K) code with s-bit symbolsq Invented in 1960 at MIT Lincoln Labq Input: K s-bit symbolsq Output: N s-bit symbols (i.e., N-K s-bit parity symbols)q Error co

7、rrection capability:p If error locations are unknown: Up to (N-K) / 2 symbol errors.p If errors locations are known (erasure): Up to (N-K) symbol errors.n (One symbol error: One or more bits of a symbol have errors).q Very suitable for burst errors: storage (CD, DVD), satellite commq Example: RS(255

8、, 223) with 8-bit symbolsp N = 255, K = 223p N K = 32p Correction capability: up to 16 symbol errors or 32 erasure errors北京交通大學電子信息學院北京交通大學電子信息學院8FEC技術的發(fā)展技術的發(fā)展n不等差錯防護：Unequal error protection (UEP):qMore (Less) protections for more (less) important data.北京交通大學電子信息學院北京交通大學電子信息學院9FEC技術的特點技術的特點n優(yōu)點：q直接進

9、行糾錯nFEC的問題:qLoss of compression efficiencyqDelay:p解碼的時候：必須一次差錯編碼的所有數據包都到達后，才能開始使用；p 編碼時，必須完成一次完整的差錯控制編碼后，數據包才可以發(fā)送；北京交通大學電子信息學院北京交通大學電子信息學院103 . 錯誤掩蓋技術的實例錯誤掩蓋技術的實例有時也稱為：有時也稱為：0冗余技術冗余技術北京交通大學電子信息學院北京交通大學電子信息學院114. 容錯視頻編碼技術容錯視頻編碼技術n目的： q設計相應視頻壓縮算法和壓縮比特流，可以實現(xiàn)對錯誤適應；q也就是在錯誤存在的情況下解碼，使得影響最小；n壓縮視頻中易受差錯影響的主要是

10、以下兩方面：qVLCqPrediction北京交通大學電子信息學院北京交通大學電子信息學院12第第2節(jié)：錯誤掩蓋技術（節(jié)：錯誤掩蓋技術（Error Concealment）n1.錯誤掩蓋技術的基本特征q目的：p對錯誤信息進行估計，一般掩蓋錯誤發(fā)生的事實；q錯誤掩蓋技術在Decoder上使用，不會降低系統(tǒng)有效性；q實現(xiàn)依據：p視頻的表現(xiàn)是其空間和時間特性的一個綜合體現(xiàn)；p人的視聽系統(tǒng)對某些錯誤不是很敏感；q實現(xiàn)方法：p利 用 正 確 接 受 到 的 數 據 ， 進 行 一 些 時 間 / 空 間 上 的 內 插（spatial/temporal interpolation） ，來對丟失數據進行估

11、計；北京交通大學電子信息學院北京交通大學電子信息學院132.錯誤掩蓋技術中的內插技術錯誤掩蓋技術中的內插技術n分析前提：q假設發(fā)生一個宏塊 (16x16 block of pixels)數據的 錯誤。n三 種 類 型 的 內 插 技 術 來 實 現(xiàn) e r r o r concealment:q空間內插：Spatial interpolationq時間內插：Temporal interpolation (freeze frame)q基 于 運 動 補 償 的 時 間 內 插 ： M o t i o n -compensated temporal interpolation北京交通大學電子信息學

12、院北京交通大學電子信息學院14空間內插空間內插:n根據周圍的像素值（正確）來推斷出錯誤的像素數據；n完全正確的估計很困難，但是可以正確的估計出它的平均值，這也是非常有幫助的。北京交通大學電子信息學院北京交通大學電子信息學院15時間內插時間內插n把前幀圖像相同位置的像素拷貝過來作為恢復數據，也就是對幀的凍結；n當這部分內容不動時有效，當運動時會出現(xiàn)一些問題；北京交通大學電子信息學院北京交通大學電子信息學院16加入運動估計的時間內插加入運動估計的時間內插n利用之前的幀采用運動估計的技術來估計出丟失的塊n運動估計的過程中可以利用 相鄰的MV，或者通過計算得到的新的MV北京交通大學電子信息學院北京交通

13、大學電子信息學院17討論討論n通常數據的丟失會超過一個macroblockq例如： lose a row of macroblocksor an entire framen通常的應用會是一種綜合的應用：空間/時間內插同時使用；n基于MC的時間內插技術可以獲得較好的效果，前提是有準確的MVn有許多經典的算法存在nError concealment技術用在 decoderq一些新的錯誤掩蓋算法可以作為與標準兼容的增強部分，加入到解碼器中；北京交通大學電子信息學院北京交通大學電子信息學院18第第3節(jié)：容錯視頻編碼技術節(jié)：容錯視頻編碼技術n1. 容錯編碼概述：n目標：q設計一種視頻壓縮算法和壓縮后的比

14、特流結構使得它具有更好的容錯特性。n原因：壓縮視頻容易受到錯誤的攻擊n舉例：qError in VLCqError in prediction 通過修改圖像文件數據實例說明容錯的概念通過修改圖像文件數據實例說明容錯的概念北京交通大學電子信息學院北京交通大學電子信息學院19n針對容錯編碼技術的討論，主要從一下兩個方面展開：q錯誤導致的基本問題是什么？q解決這些問題的方法是什么？北京交通大學電子信息學院北京交通大學電子信息學院202. 差錯導致的問題差錯導致的問題n前提：q對于傳統(tǒng)的MPEG-like視頻編碼系統(tǒng)使用MC-prediction, Block-DCT, runlength and H

15、uffman codingn兩種主要的問題：qLoss of bitstream synchronization：解碼器不知道比特對應的什么參數p例如：error in Huffman codewordqIncorrect state and error propagation： Decoders state is different from encoders, leading to incorrect predictions and error propagationp例如：error in MC-prediction or DC-coefficient prediction北京交通大學電

16、子信息學院北京交通大學電子信息學院213. Basic Error-Induced Problems:Loss of Bitstream Synchronizationn失去比特流同步的錯誤：導致解碼器不能識別數據的對應參數qExample: Error in Huffman codeword or other variable length code (VLC)pSingle bit error can lead to significant subsequent lossnNotes:q定長編碼(FLC)不會出現(xiàn)這樣的問題，因為碼字的開始和結束是已知的p數據的丟失只是限制在單個碼字；q但是

17、FLC不能提供好的壓縮性能；qVLC可以提供很好的熵編碼效果，廣泛使用；北京交通大學電子信息學院北京交通大學電子信息學院22方法方法1：加入重新同步標記：加入重新同步標記nBitstream 同步的問題n目的：建立一種可以恢復同步的機制n方法：Use resyncmarkersqa) 設計一個與其它碼字不同的標記，用它把碼字串聯(lián)起來，而不引起混亂；qb)信息丟失后，遇到新標記之后又可以恢復同步，重新解碼北京交通大學電子信息學院北京交通大學電子信息學院23問題討論問題討論n同步標記放在哪里？q1.放置在比特流的一些重要位置（strategic locations）例如：beginning of

18、frame, slice, etc. (MPEG-1/2, H.261/3)p標記的位置針對與編碼塊相對固定，而相對與比特是可變的；p運動性強的區(qū)域出現(xiàn)錯誤的概率會增加；q2.周期性的放置resyncmarkers (MPEG-4)pResyncevery fixed # of bits, variable # of blockspAdvantages:n Active areas less likely to be corruptedn Simplifies search for resyncmarkersn Supports network packetization北京交通大學電子信息學

19、院北京交通大學電子信息學院24方法方法2：Reversible variable length codes (RVLC):n傳統(tǒng)的VLC解碼只能按照前向來完成；nRVLC這種方法可以從backward direction來實現(xiàn)解碼；n實現(xiàn)方法：q如果檢查到錯誤，跳到下一個resync標記，然后開始反向解碼，這樣可以部分的恢復失步的數據（否則這部分數據都將被遺棄）北京交通大學電子信息學院北京交通大學電子信息學院25方法方法3：Data partitioningn依據依據：離resync標記越近的比特的準確度要比遠離標記的比特高n實現(xiàn)思路實現(xiàn)思路: 把重要的信息(MVs, shape info,

20、DC coeffs)緊跟在resync標記之后，而重要性其次的信息(AC coeffs)放在后面n效果效果：與常規(guī)的方法相比，這時的數據以MB為基礎交織，有利于容錯；北京交通大學電子信息學院北京交通大學電子信息學院26總結：總結：Overcoming Loss of Bitstream Synchronizationn方法的種類：qResyncmarkers at strategic locationsqResyncmarkers at periodic locationsqReversible VLCs(RVLCs)qData partitioningn基本思路q隔離錯誤信息q實現(xiàn)快速的 r

21、esynchronization 北京交通大學電子信息學院北京交通大學電子信息學院274. Incorrect State and Error Propagation n解碼器端的錯誤狀態(tài)和差錯擴散q錯誤會導致在解碼器端重構的幀狀態(tài)錯誤；q由于解碼幀和編碼幀的差異，會導致不正確的預測，從而導致誤差的擴散；北京交通大學電子信息學院北京交通大學電子信息學院28主要解決方法主要解決方法n目的：限制誤差擴散的影響q例如：reinitialize prediction loopnApproaches:q全部采用 I-framep可以消除誤差擴散，但是壓縮效果大大降低q周期性的采用 I-frames, 比

22、如： MPEG GOP結構p例如：: I-frame every 15 framesp可以把差錯擴散限制在1個 GOP范圍p會對視頻壓縮效率產生影響 (inappropriate for very low bit rate video, e.g. wireless video or video over the Internet)北京交通大學電子信息學院北京交通大學電子信息學院29方法方法1：在幀中采用部分的：在幀中采用部分的intra-coding n部分的含義：在幀中某些單個的MB采用intra-codingn實現(xiàn)q1.Periodic intra-coding of all MBsp 1

23、/N of the MBs in each frame are intra-coded in a predefined order; after N frames all MBs have been intra-codedq2.Preemptive intra-coding based on estimated vulnerability to errorspOptimize intra/inter mode decisions based on a channel loss model北京交通大學電子信息學院北京交通大學電子信息學院30n采用intra-coding方法的優(yōu)點：q有效的限制錯

24、誤的擴散q編碼器不增加復雜度，解碼器更簡單；n缺點：qintra coding 需要更高的比特率，限制了它的使用；q進一步優(yōu)化需要準確地了解信道地特性；北京交通大學電子信息學院北京交通大學電子信息學院31方法方法2：Point-to-point with back-channeln應用前提：Point-to-point communication with a back-channelq例如： video phone, video conferencingnDecoder 檢測到錯誤后通知編碼器:q重新初始預測 (使用 I-frame)p特點：簡單、直接p代價： intra coding需要更

25、高 bit rate q選擇一個合適的幀作為下次預測的參考pEncoder & decoder store multiple previously coded framespEncoder chooses which previously coded frame to use as reference for prediction (only use correctly received frames)pTwo basic modes of operations: ACK, NACK 北京交通大學電子信息學院北京交通大學電子信息學院32ACK moden特點：Encoder 只使用ac

26、k確認的幀作為預測參考幀q優(yōu)點：可以最小化差錯擴散；q缺點：可能會使用一些 “ o l d ” frames 導致不好的壓縮性能；北京交通大學電子信息學院北京交通大學電子信息學院33小結：小結：Point-to-point with back-channeln優(yōu)點：q利用反饋特性可以達到很好的容錯效果qNewPred in MPEG-4, Reference Picture Selection in H.263n缺點：需要有可靠的反饋信道，同時要求有更小的RTD (round trip delay )q隨著RTD時間的增加，效果會降低；q對于廣播、組播、沒有反向信道的點對點業(yè)務不適用；北京交通

27、大學電子信息學院北京交通大學電子信息學院345.其他容錯編碼技術其他容錯編碼技術nScalable video coding:q視頻編碼分成： （a base layer）+ （one or more enhancement layers）pExamples: Temporal, spatial, SNR (quality) scalabilityq視頻數據具有了優(yōu)先級別；q不同的優(yōu)先級有利于實現(xiàn)可靠的視頻傳輸；例如：p unequal error protectionp prioritized retransmissionqScalable coding對于支持差異服務的網絡具有很好的適應；

28、北京交通大學電子信息學院北京交通大學電子信息學院35n伸縮編碼用于容錯的問題q目前的互聯(lián)網是 best-effort:p不支持 QoSp所有的包具有相同的丟失概率；q另外，base layer的重要性也限制了應用的推廣p如果基本層出現(xiàn)錯誤，整個視頻都可能出現(xiàn)問題；伸縮編碼和 best-effort Internet的不匹配之處:伸縮編碼產生的多層比特流具有不同的重要性；Best-effort Internet 對這些比特流相同應對；北京交通大學電子信息學院北京交通大學電子信息學院366. 多描述視頻編碼n多描述視頻編碼：Multiple description (MD) video codin

29、gqCode video into a number of descriptions, each of roughly equal importancenMD編碼的屬性:qReceiving either bitstream leads to good quality videoqReceiving both bitstreams leads to highest quality video北京交通大學電子信息學院北京交通大學電子信息學院37傳統(tǒng)的單描述編碼和多描述編碼比較n當多個錯誤出現(xiàn)時，MD屬性還是不夠；q只要不同描述不是同時出錯，狀態(tài)可以根據不同的描述進行恢復；北京交通大學電子信息學院北京交通大學電子信息學院38MD編碼的錯誤恢復編碼的錯誤恢復n特點：提高對錯誤的恢復能力q其他