數(shù)字電視原理第5章-視頻壓縮編碼標準-課件

1、5.1 視頻壓縮編碼標準的發(fā)展歷程 5.2 H.261標準 5.3 JPEG標準 5.4 MPEG-1標準5.5 MPEG-2標準 5.6 H.263建議 5.7 MPEG-4標準 5.8 H.264標準 習(xí)題 第5章 視頻壓縮編碼標準 5.1 視頻壓縮編碼標準的發(fā)展歷程視頻壓縮編碼標準的制定工作主要是由國際標準化組織(ISO/IEC)和國際電信聯(lián)盟(ITU) 完成的。到目前為止，由上述兩個國際組織制定了MPEG-1、MPEG-2、MPEG-4(2) 以及MPEG-4 (10)和H.261、 H.262、H.263、H.263+、H.263+、H.264等有關(guān)視頻壓縮編碼的國際標準。表5.1.

2、1 按時間順序給出了各種視頻壓縮編碼標準。圖5.1.1表示出了視頻壓縮編碼標準的發(fā)展歷程，其中橫虛線以上表示由ITU制定的壓縮編碼標準，橫虛線以下表示由ISO/IEC制定的標準，壓在橫虛線上的方框表示由ISO/IEC與ITU聯(lián)合制定的壓縮編碼標準。圖 5.1.1 視頻壓縮編碼標準的發(fā)展歷程由表5.1.1和圖5.1.1可見，圖像壓縮編碼標準可分為兩大系列：MPEG-X和H.26X。MPEG-X是由國際標準化組織(ISO)和國際電工委員會(IEC)提出的標準，H.26X 是由國際電信聯(lián)盟 (ITU)標準委員會提出的，它們在數(shù)據(jù)格式和輸出碼率之間有如表5.1.2所示的對應(yīng)關(guān)系。1. ISO/IEC頒

3、布的標準國際標準化組織(International Organization for Standardization，ISO)是目前世界上最大、最具權(quán)威性的國際標準化專門機構(gòu)。國際電工委員會(International Electrotechnical Commission，IEC)是世界上最早的國際性電工標準化機構(gòu)。MPEG-1是由ISO和IEC共同委員會中的MPEG組織于1992年制定的。它最初用于數(shù)字信息存儲體上活動圖像及其伴音的編碼，其數(shù)碼率為1.5 Mb/s，圖像采用CIF(Common Intermediate Format)格式(352288像素或352240像素)，每秒30幀，

4、兩路立體聲伴音的質(zhì)量接近CD音質(zhì)，該標準廣泛應(yīng)用于VCD。MPEG-2是由ISO的活動圖像專家組和ITU的第15研究組于1994年共同制定的，在ITU的標準中，被稱為H.262。MPEG-2作為計算機可處理的數(shù)據(jù)格式，主要應(yīng)用于數(shù)字存儲媒體、視頻廣播和通信領(lǐng)域，它的數(shù)碼率為240 Mb/s。隨著用戶對音頻和視頻等寬帶業(yè)務(wù)的需求和寬帶網(wǎng)絡(luò)的迅速發(fā)展，MPEG-2的視頻流逐漸被用戶接受，VOD(Video On Demand，視頻點播)視頻流典型速率將達到36 Mb/s。 另外，HDTV (High Definition Television ，高清晰度電視)的出現(xiàn)，是視頻業(yè)務(wù)發(fā)展的另一個高級階段

5、。MPEG組織于1999年1月正式公布了MPEG-4(1)版本，1999年12月又公布了MPEG-4(2)版本。MPEG組織的初衷是制定一個針對視頻會議、視頻電話的超低比特率(64 kb/s以下)編碼的標準，并打算采用第二代壓縮編碼算法，以支持甚低數(shù)碼率 (Very Low Bit Rate)的應(yīng)用。但在制定過程中，MPEG組織深深感到人們對多媒體信息特別是對視頻信息的需求由播放型轉(zhuǎn)向了基于內(nèi)容的訪問、檢索和操作，所以修改了計劃，制定了現(xiàn)在的MPEG-4 。MPEG-7和MPEG-21不是針對視頻壓縮的標準。MPEG-7旨在解決對多媒體信息描述的標準問題，并將該描述與所描述的內(nèi)容相聯(lián)系，以實現(xiàn)

6、快速、有效的檢索。MPEG-21的目標是定義一個交互式多媒體框架，跨越大范圍內(nèi)不同的網(wǎng)絡(luò)和設(shè)備，使用戶能夠透明而廣泛地使用多媒體資源。H.264 /AVC標準是當(dāng)前國際上最新的圖像編碼標準。它被ITU命名為H.264，ISO/IEC則把此標準叫做國際標準1449610(MPEG-4(10)高級圖像編碼(AVC)。制定此標準的主要目的就在于增強圖像的壓縮效率和改善圖像數(shù)據(jù)在網(wǎng)絡(luò)中的傳輸。H.264標準在當(dāng)前圖像標準中壓縮效率是最高的，它比H.263標準提高將近一倍。本章首先介紹H.264標準的制定背景，然后講述標準的應(yīng)用范圍和技術(shù)特點，最后簡述整個標準的編碼流程，這樣可更好地理解解碼過程。2.

7、ITU頒布的標準國際電信聯(lián)盟(International Telecommunication Union，ITU)是聯(lián)合國的一個專門機構(gòu)，是國際電信界最權(quán)威的標準修訂組織。1972年12月，電信標準化部、無線電通信部和電信發(fā)展部承擔(dān)著ITU的實質(zhì)性標準制定工作。其中，電信標準化部門由原來的國際電報電話咨詢委員會(CCITT)和國際無線電咨詢委員會(CCIR)的標準化部門合并而成，其主要職責(zé)是實現(xiàn)國際電信聯(lián)盟有關(guān)電信標準化的目標，使全世界的電信標準化。H.261是國際電報電話咨詢委員會(CCITT)制定的第一個視頻編碼標準，它的數(shù)碼率是P64 kb/s，主要應(yīng)用于ISDN (Integrated

8、 Services Digital Network)、ATM(Asynchronous Transfer Mode)等寬帶信道上實時的傳輸聲音和圖像信息，不適合在PSTN(Public Switched Telephone Network) 和移動通信網(wǎng)等帶寬有限的網(wǎng)絡(luò)上應(yīng)用。 H.262也相當(dāng)于MPEG-2，它是由ITU與ISO/IEC聯(lián)合開發(fā)的，目前這個標準已經(jīng)成功地應(yīng)用在DVD(數(shù)字化視頻光盤)、數(shù)字廣播、數(shù)字電視等諸多領(lǐng)域。為了滿足低速率視頻通信的應(yīng)用需要，ITU又推出了適于在速率低于64 kb/s的信道上傳輸?shù)腍.263視頻編碼標準。H.263算法所用的基本結(jié)構(gòu)來自H.261，并在H

9、.261的基礎(chǔ)上做了許多重要改進。1998年，ITU推出的H.263+是H.263的第二版，它在前一版的基礎(chǔ)上提供了12個新的可選模式和其它特征，進一步提高了壓縮編碼性能。ITU在對H.263標準進行不斷的改進和完善的過程中制定了近期目標和遠期目標。近期目標是H.263+(H.263第三版，2000年制定)，而遠期目標就是于1998年開始制定的H.26L標準。2001年，ISO的活動圖像專家組(MPEG)和ITU的視頻編碼專家組(VCEG)組成聯(lián)合視頻專家組(JVT)共同推進視頻壓縮技術(shù)的發(fā)展，在2001年9月JVT的第一次會議上制定了以H.26L為基礎(chǔ)的H.264標準草案和測試模型TML-9

10、 (Test Model Long Team Number 9)。2003年3月，JVT形成了最終標準草案，分別提交ITU和ISO/IEC，其中該標準在ITU標準中被稱為H.264，在ISO/IEC標準中被稱為MPEG-4的第10部分先進視頻編碼(AVC)。3. 超高清晰度成像(HRI)建議(ITU-R BT.1201)ITU-R BT.1201 建議書提出了超高清晰度成像(HRI)格式和規(guī)范建議。該建議的提出主要考慮到如下因素： (1) 超高清晰度圖像能夠在諸如計算機圖形、印刷、醫(yī)療、電影及電視等領(lǐng)域里作為未來的圖像系統(tǒng)使用; (2) 世界各國正在進行有關(guān)超高清晰度圖像的研究和應(yīng)用試驗; (

11、3) 為了經(jīng)濟地實現(xiàn)超高清晰度圖像系統(tǒng)，應(yīng)該建立世界通用標準; (4) 超高清晰度圖像信號傳送時，數(shù)據(jù)壓縮技術(shù)起著重要作用。HRI典型空間分辨率的級別的建議如表5.1.3所示。4. 我國制定的AVS標準我國是ISO/IEC組織的正式成員國，國家信標委下屬的多媒體分委員會與ISO/IEC JTC1/SC29直接對口。從2000年5月開始，我國科研單位開始跟蹤并參與JVT標準的制定工作，目前已有多項技術(shù)提案遞交到JVT標準，有些技術(shù)已經(jīng)被JVT標準所接收?；谖覈鴮＜叶嗄陞⑴cMPEG國際標準制定的經(jīng)驗，2002年6月成立的“數(shù)字音/視頻編、解碼技術(shù)標準工作組”聯(lián)合國內(nèi)從事數(shù)字音/視頻編、解碼技術(shù)研

12、發(fā)的科研機構(gòu)和企業(yè)，提出了我國自主的數(shù)字音/視頻編、解碼技術(shù)標準AVS(Audio Video coding Standard)。于2003年年底完成的AVS 1.0標準具有四個特點：(1) 性能高，在性能上比最新的國際標準H.264略高，比MPEG-2高兩倍以上; (2) 復(fù)雜度低，算法的復(fù)雜度比H.264低; (3) 實現(xiàn)成本低，軟件和硬件實現(xiàn)成本都比H.264低; (4) 專利授權(quán)費用低。AVS工作組希望以此技術(shù)標準為契機，提高我國音/視頻芯片、整機和軟/硬件系統(tǒng)的核心競爭力，為我國數(shù)字電視等AV產(chǎn)業(yè)的跨越式發(fā)展提供重要的技術(shù)支撐。5.2 H.261標準1984年國際電報電話咨詢委員會的

13、第15研究組建立了一個專家組專門研究電視電話的編碼問題，所用的電話網(wǎng)絡(luò)為綜合業(yè)務(wù)數(shù)據(jù)網(wǎng)絡(luò)ISDN，當(dāng)時的目標是推薦一個圖像編碼標準，其傳輸速率為m384 kb/s，m=1，2，3，4，5。這里384 kb/s在ISDN中稱為H0通道。另有基本通道B的速率為64 kb/s，6B384 kb/s。5H0=30B=1920 kb/s為窄帶ISBN的最高速率。后來因為以384 kb/s速率作為起始點偏高，廣泛性受限制，另外跨度也太大，靈活性受影響，所以改為P64 kb/s，P=1,2,30。最后又把P擴展到32，因為3264 kb/s=2084kb/s，其中2084=211,基本上等于2 Mb/s，實

14、際上已超過了窄帶ISDN的最高速率1920 kb/s，最高速率也稱通道容量。經(jīng)過5年以上的精心研究和努力，終于在1990年12月完成和批準了CCITT推薦書H.261，即“采用P64 kb/s的聲像業(yè)務(wù)的圖像編解碼”，H.261簡稱P64。由于H.261標準是用于電視電話和電視會議，因此推薦的圖像編碼算法必須是實時處理的，并且要求最小的延遲時間(因為圖像必須和語音密切配合，否則必須延遲語音時間)。當(dāng)P取1或2時，速率只能達到128 kb/s，由于速率較低，只能傳清晰度不太高的圖像，因此適合于面對面的電視電話。當(dāng)P6時，速率大于或等于384 kb/s，則速率較高，可以傳輸清晰度尚好的圖像，所以適

15、用于電視會議。5.2.1 圖像格式圖像縱橫比和每幀圖像的縱、橫像素數(shù)是圖像的基本格式，并且由此可以推算像素的縱橫比。為了使現(xiàn)行各種電視制式，即PAL、NTSC、SECAM制的圖像比較容易地轉(zhuǎn)換為電視電話的圖像格式，從而便于相互交換，并且速率又較低，H.261采用通用中間格式CIF。CIF規(guī)定圖像亮度分量Y的橫向像素為352個，縱向像素為288個。圖像色度分量Cb、Cr的縱、橫像素數(shù)均為亮度分量的一半。另外，圖像尺寸的縱橫比為34，與常規(guī)模擬電視屏幕尺寸比例一致。由此可以推算像素的縱橫比為像素縱橫比=縱:橫= 可見，像素縱橫比為1112，接近于方形。亮度分量Y的像素數(shù)為色度分量Cb或Cr像素數(shù)的

16、4倍，而Y分量像素的面積等于色度分量Cb或Cr像素的面積，可見，色度分量的清晰度比亮度分量的清晰度低，這對整個圖像清晰度基本無影響，因為人眼對色度的分辨率本來就低，所以可以利用這種心理視覺冗余度來減少色度像素數(shù)。亮度分量的縱向像素為288個，實際上相當(dāng)于288行掃描線，這是考慮到當(dāng)前兩種電視制式為625行25幀和525行30幀，都是隔行掃描和每幀為2場，所以兩種制式的場掃描行數(shù)為6252和5252，而288掃描行就是由這兩種場掃描行數(shù)轉(zhuǎn)換來的，即取這兩種場掃描行數(shù)的平均值： (5.2.1)這樣比較容易實現(xiàn)CIF與這兩種電視制式之間的相互轉(zhuǎn)換。由于編碼時采用88像素塊作為基本單元，因此圖像的縱、

17、橫像素數(shù)均應(yīng)是8的整數(shù)倍，即352844，288836，176822，1448=18，所以亮度分量和色度分量的88塊數(shù)分別應(yīng)為4436，2218，即亮度分量的塊數(shù)為各色度分量塊數(shù)的4倍，故四個亮度分量塊和兩個色度分量塊共六塊反映的是同一個像區(qū)，可以組成一組，稱之為宏塊，用MB表示，這樣有利于一起編碼。將每行模擬亮度信號轉(zhuǎn)換成數(shù)字信號時，需要對亮度信號抽樣，考慮到縱向清晰度為288行，比較低，所以橫向清晰度也不需要比縱向清晰度高，故將抽樣頻率定為 6.75 MHz。 對于625行25幀制式，其行頻為6252515 625 Hz，抽樣頻率為行頻的432倍，即 6.75 MHz15 625432 H

18、z。對于525行30幀制式，實際上是30 0001001幀，接近于29.97 幀，其行頻為52530 000/100115 734.266 Hz，抽樣頻率為行頻的429倍，即下式成立: (5.2.2)抽樣頻率取為電視制式的行頻的整數(shù)倍，有利于長時間連續(xù)抽樣時縱、橫像素同步，同時抽樣頻率也比較容易發(fā)生。另外，色度信號的抽樣頻率為亮度信號抽樣頻率的一半，即3.375 MHz。對于625行25幀制式，行周期為64 s，其中顯示區(qū)時間約為54 s，所以顯示區(qū)像素數(shù)為顯示區(qū)像素數(shù)= (5.2.3)從顯示區(qū)中同步地取出352個像素即可。顯示區(qū)時間抽樣周期對于525行30幀制式，行周期為63.555 s，其

19、中顯示區(qū)時間約為53 s，所以顯示區(qū)像素數(shù)為顯示區(qū)像素數(shù)53 s6.75 MHz357.75同樣地，從顯示區(qū)中同步地取出352個像素即可。 當(dāng)電視電話在ISDN網(wǎng)中傳輸時，若P取1或2，則最高速率為128 kb/s，上述CIF規(guī)定的像素仍然太多，因此取CIF規(guī)定的縱、橫像素數(shù)的一半，稱為QCIF(其中Q為Quarter, 即1/4)，此時亮度信號的橫向像素數(shù)為176，縱向像素數(shù)為144。色度信號Cb、Cr的橫向像素數(shù)為88，縱向像素數(shù)為72。QCIF規(guī)格為最低要求，所有電視電話都應(yīng)該達到此規(guī)格，而CIF規(guī)格則為任選。在像素數(shù)減少的同時，顯示面積也相應(yīng)減少，例如取圖像屏幕對角線長34英寸為宜。一

20、些廠家采用QCIF格式在現(xiàn)行電話網(wǎng)中傳輸電視電話，由于現(xiàn)行電話網(wǎng)可以傳輸?shù)乃俾试?0 kb/s以下，遠比64 kb/s低，因此要采取降低幀頻等措施。在ISDN中傳輸電視電話和電視會議時幀頻應(yīng)取30 Hz。綜上所述，H.261標準的圖像格式如表5.2.1所示。另按CCIR-601規(guī)定量化后色度信號峰峰值為224等級電平，最低電平為16，最高電平為240，亮度信號Y量化后的電平有220級電平，亮度信號最高電平為235，最低電平(黑電平)為16，其亮度信號和色差信號的碼電平分配見第1章。 下面舉例說明圖像壓縮比CR的計算方法。例5.2.1 若采用CIF圖像格式，幀頻取30幀/秒，求在速率為384 k

21、b/s的網(wǎng)絡(luò)中傳輸時應(yīng)有的壓縮比CR。解 壓縮前的速率為352288+2(176144)像素/幀30幀/秒8位/像素=36495.36kb/sCR= = (5.2.4)此壓縮比較高，需要采用較多措施后才能達到。上面的例子采用簡化的計算方法，在實際編碼時要加入輔助信息，使應(yīng)有的壓縮比更高些。壓縮前速率壓縮后速率5.2.2 信源編碼器方框圖圖5.2.1所示為信源編碼器方框圖。圖中圖像輸入實際上是以宏塊MB為單位輸入的，MB中包含亮度信號Y的4個88像素方塊，色度信號Cb、Cr的各一個88像素方塊，共6個88像素方塊。下面分段討論信源編碼器方框圖。圖5.2.1與第4章的圖 4.1.3 實質(zhì)上完全一樣

22、，只不過這里更細化了。圖 5.2.1 信源編碼器方框1. 幀內(nèi)、幀間編碼模式 電視電話的幀頻為30幀/秒。相鄰幀由于其內(nèi)容漸變而有很強的相關(guān)性，所以允許每兩幀傳送圖像之間可以有3幀不傳。每次場景更換后，第1幀一定要傳，所以要對第1幀進行幀內(nèi)編碼，所傳的這幀稱為幀內(nèi)幀，用I(即Intraframe的縮寫)表示。圖5.2.2中的第5幀為預(yù)測幀，用P表示，它是由第1幀和第5幀本身經(jīng)過預(yù)測編碼而得的。P幀本身也可以作為下一個P幀預(yù)測編碼的基礎(chǔ)。圖5.2.2中的B幀稱為雙向內(nèi)插幀，它是由鄰近的I、P幀或P、P幀計算所得的。由此可知，I幀和P幀是產(chǎn)生全部B幀的基礎(chǔ)。通常每12幀或15幀圖像中傳1幀I幀，每

23、3幀或4幀圖像中傳1幀P幀。換場景后第1幀為I幀。圖5.2.2中計算第2幀(B)中每個像素時，可用公式，計算第3幀(B)時，可用公式 ，依次類推可得其它B幀的計算公式。上述形成P幀和B幀的方法均稱為幀間編碼。圖5.2.1中左側(cè)的兩個單刀雙擲開關(guān)由編碼控制器(CC)控制，用于幀內(nèi)、幀間編碼選擇，圖示為幀間編碼，當(dāng)開關(guān)指向上方時為幀內(nèi)編碼。圖 5.2.2 幀內(nèi)、幀間編碼模式計算2. DCT變換 圖5.2.1中方框T為變換，實際上當(dāng)前都用離散余弦變換(DCT)將二維空間像素值變換成二維空間頻域系數(shù)，通常88像素塊作為基本變換單元，每一像素用8 bit量化后，在0255級電平中，再向下平移幅度的一半，

24、即減128，亮度和色度信號也做同樣處理，但色度公式中已經(jīng)向上平移128，故在此只是恢復(fù)原樣而已，原因是色度信號經(jīng)常有正有負，而亮度信號均為正值，平移后使數(shù)據(jù)處在零電平附近，這樣可以降低傳輸速率。DCT變換原理和變換公式請參考第4章，這里不再重復(fù)敘述。3. 量化這部分的內(nèi)容可參考4.3.6節(jié)的H.264標準中的量化公式。4. 運動補償 圖5.2.1的方框P中，包含幀存儲、運動補償和可變延時。這里的運動補償是用于幀間編碼的。下面分段討論。1) 幀內(nèi)、幀間判據(jù) 為了自動決定輸入的宏塊MB應(yīng)采用幀內(nèi)還是幀間編碼，應(yīng)該先找到判據(jù)，其方法是先將前幀圖像儲存在幀存儲器，后幀圖像來臨時，比較前、后兩幀圖像的相

25、關(guān)性，若相關(guān)性弱則采用幀內(nèi)編碼，若相關(guān)性強則采用幀間編碼，這里的判據(jù)是用于每一宏塊MB的。設(shè)前幀宏塊的亮度信號像素值用P(x，y)表示，后幀宏塊的亮度像素值用C(x，y)表示。前幀宏塊的亮度信號方差用代號VAROR表示，其值由下式?jīng)Q定: (5.2.5) 在宏塊內(nèi)亮度信號有4個88方塊(或1616方塊)，共有256像素。VAROR實際上反映了前幀圖像的反差強弱。前、后幀因時間差而引起像素差，用時間預(yù)測變動VAR表示，其值由下式?jīng)Q定:(5.2.6)此式就是前、后幀對應(yīng)像素之差的均方值。VAR也說明前、 后幀像素值變動所導(dǎo)致的平均能量變動。此處像素值在0255范圍內(nèi)。VAR值越小，則相關(guān)性越大，但是

26、還要考慮圖像反差，反差大的圖像，VAR一般也相應(yīng)增大。 根據(jù)VAROR和VAR的值，可以定出下述三條幀內(nèi)、幀間編碼模式的判據(jù): (1) 當(dāng)VAR64時，為幀間模式。 (2) 當(dāng)VAR64，VARORVAR時，為幀間模式。 (3) 當(dāng)VAR64，VARVAROR時，為幀內(nèi)模式。 這三條判據(jù)可以用圖5.2.3來表示。若是幀內(nèi)編碼，則對該宏塊MB進行DCT變換和量化等。若為幀間編碼，則該宏塊屬于P幀，要進行運動估計等編碼，若采取不傳，則該宏塊屬于B幀。所以要預(yù)先編制程序才能進行操作，而上述判據(jù)只是程序中的一部分。 上述判據(jù)是一些廠家采用的，但不屬于H.261標準，因為也可以有其它判據(jù)。圖 5.2.3

27、 幀內(nèi)、幀間編碼模式的判據(jù)2) 運動估計和運動矢量在幀間編碼時，需要傳前、后幀宏塊MB的差值，此差值一般地說不是對應(yīng)像素的差值C(x，y)P(x，y)，而是在前幀內(nèi)，對應(yīng)于后幀宏塊MB位置的附近區(qū)域中，搜索最匹配的MB，也就是尋找最相似的MB，也可能找到完全相同的MB，這時差值為零，即不需要傳MB的差值數(shù)據(jù)，只需要傳表示前、后幀位置差別的信號，亦即運動矢量MV，其表達式如下: (5.2.7)式中： min表示搜索最小值(Minimum); H、 V表示水平和垂直方向搜索像素數(shù)，最大搜索范圍均為15+15像素。也有廠家只搜索一半，即8+7像素，這是在前幀亮度信號中搜索的。后幀亮度信號的MB內(nèi)有1

28、616個像素，但是相應(yīng)的色度塊只有88個像素，所以所得的運動矢量坐標H、V應(yīng)除2，商的小數(shù)部分可丟掉，之后在色度信號中執(zhí)行。式(5.2.7)中的MV(H，V)除了表示所找到的最小差值外，其中H和V表示前幀中匹配宏塊MB的位置，即相對于后幀水平方向向右移動H個像素，垂直方向向下移動V個像素，若為負值則反向。上述操作稱為運動估計，運動估計的目的是找到運動矢量。 在前幀中通過運動估計找到最匹配的MB后，則需要傳送前、后幀匹配宏塊間像素差值矩陣MBxy，即MBxy=C(x，y)P(x+H，y+V) (5.2.8)式中，MBxy的x指水平方向向右16個像素差值，y指垂直方向向下16個像素差值，共有161

29、6=256個像素差值。若原來各幀像素值范圍為128127，由于相減則改為255255，即為9 bit。除了上述256個亮度差值外，另有色度信號Cb、 Cr各64個差值，共計384個差值。這里所討論的實際上是如何傳圖5.2.2中的P幀，即預(yù)測幀，其內(nèi)有396個宏塊MB，按上述方法求得的這些宏塊的差值均稱為預(yù)測誤差，每一宏塊的預(yù)測誤差都需要經(jīng)過DCT的量化等編碼操作后再傳輸。在上述操作過程中，首先是由運動估計找到運動矢量，而后計算預(yù)測誤差，這是幀間編碼中對P幀編碼的基本過程。此操作過程可稱為運動預(yù)測或運動補償，即不傳P幀信息，只傳“預(yù)測誤差”信息，或只傳“補償”信息。事實上這些“預(yù)測誤差”或“補償

30、”信息是遠少于P幀信息的，這是利用了與鄰近全幀圖像的相關(guān)性進行預(yù)測的結(jié)果，即補償了只利用分塊時間相關(guān)性的不足。5. 環(huán)路濾波器環(huán)路濾波器又稱為二維空間濾波器，它屬于低通濾波器，其功能是消除高頻噪波。當(dāng)使用幀間模式和運動補償時，通常采用環(huán)路濾波器，環(huán)路濾波器接在運動補償環(huán)路內(nèi)。它作用在88像素塊上，用于消除邊緣贗像。圖5.2.4(a)為88像素塊，其中把像素分為A、B、C、D四類，各類像素所用的濾波系數(shù)不同，如圖5.2.4(b)所示。為求88方塊的系數(shù)，首先對88像素值乘比例因子116，之后再對四類像素乘相應(yīng)的系數(shù)，其結(jié)果如圖5.2.4(c)所示，由于系數(shù)值較大，故再除16(也可以根據(jù)情況除其它

31、的數(shù)，如8、4等)得圖5.2.4(d)所示的系數(shù)，最后，各像素值只需乘圖5.2.4(d)中相應(yīng)的系數(shù)即可。圖 5.2.4 環(huán)路濾波器的系數(shù)(a) 88塊中各類像素; (b) 各類濾波器系數(shù); (c) 中間系數(shù); (d) 最后系數(shù)下面舉例說明計算圖5.2.4(c)中間值的步驟。以圖5.2.4(a)中左上角像素A為例，首先A乘1/16，再乘圖5.2.4(b)中A的濾波系數(shù)16。在對右側(cè)的B像素操作時，左側(cè)的A應(yīng)乘系數(shù)4，這是因為圖5.2.4(b)中的B系數(shù)中心為8，兩旁為4。當(dāng)對A下側(cè)的C操作時，上方的A也應(yīng)乘系數(shù)4。在對A右下方斜角的D操作時，按照圖5.2.4(b)中的D系數(shù)方塊，A應(yīng)乘1，所以

32、結(jié)果為A(1/16)16441=A16，即圖5.2.4(c)中A處的值為16。依次類推，可得各像素應(yīng)乘的系數(shù)如圖5.2.4(c)所示，最后圖5.2.4(c)中的值均除16得圖5.2.4(d) 所示的最后系數(shù)。由此可見，邊緣系數(shù)高，中間系數(shù)低，即邊緣預(yù)加重。在解碼器中也有環(huán)路濾波器，其作用是邊緣去加重，使信號恢復(fù)原狀，同時將混入的邊緣噪波壓低，所以此環(huán)路濾波器能消除邊緣高頻噪波。 這里介紹的四類像素濾波系數(shù)、比例因子等，并非H.261標準，因為這些系數(shù)可根據(jù)不同情況而更改。6. 幀內(nèi)、幀間模式的信號走向1) 幀內(nèi)模式 圖5.2.1中，當(dāng)編碼控制(CC)選擇幀內(nèi)模式時，圖中左方兩個單刀雙擲開關(guān)撥在

33、上方，此時輸入宏塊MB像素數(shù)據(jù)，MB經(jīng)過開關(guān)輸入DCT變換方框T(進行T以前，MB數(shù)據(jù)已經(jīng)經(jīng)過電平下移128)，每次變換只能是一個88數(shù)據(jù)塊，輸出DCT系數(shù)(也可稱頻率系數(shù)或變換系數(shù))，進入量化器Q。一個MB對應(yīng)一個量化步長，此量化步長由后續(xù)的傳輸緩沖存儲器根據(jù)存儲余量決定后告知CC，再由CC傳給量化器Q和反量化器Q-1。經(jīng)量化后的數(shù)據(jù)，一路從信源編碼器輸出，進入后續(xù)的圖像復(fù)用編碼器，另一路進入反饋環(huán)路中的反量化器Q-1，經(jīng)反量化后到反變換器T-1，經(jīng)反DCT變換后，恢復(fù)原來圖像數(shù)據(jù)，再經(jīng)過加法器后(此時加法器無加法作用)，進入方框P中的幀存儲器，直到全幀圖像存完。2) 幀間模式 當(dāng)采用幀間模

34、式時，圖5.2.1中左方兩開關(guān)撥在圖示位置，此時方框P內(nèi)幀存儲器中已存有前幀圖像數(shù)據(jù)，當(dāng)后幀中的宏塊MB到來時要經(jīng)過下列步驟： (1) 由送到方框P中的模式判據(jù)公式?jīng)Q定應(yīng)采取的模式，若判定結(jié)果是幀間模式，則進入第(2)步，否則按上段幀內(nèi)模式進行。 (2) 根據(jù)運動估計公式，在后幀MB所對應(yīng)的前幀MB的15個像素范圍內(nèi)搜索最匹配的亮度塊，即4個88亮度數(shù)據(jù)塊，找到最佳前幀匹配數(shù)據(jù)塊后，即得到運動矢量的兩個分量H和V，此時H和V可輸出到后續(xù)的圖像復(fù)用編碼器中供編碼輸出。由運動矢量所確定的前幀4個88亮度數(shù)據(jù)塊和2個88色度數(shù)據(jù)塊，按圖5.2.5中所述順序，從方框P的幀存儲器中逐塊輸出數(shù)據(jù)P(x+H

35、，y+V)，每塊數(shù)據(jù)通過環(huán)路濾波器乘濾波系數(shù)后記為PF(x+H，y+V)，之后再分兩路，一路向上到減法器(參見圖5.2.1)，與后幀數(shù)據(jù)塊C(x，y)相減后得差值，宏塊(包含6塊88數(shù)據(jù)塊)數(shù)據(jù)差值記為下式：MBxy=C(x，y)-PF(x+H，y+V) (5.2.9)這就是宏塊預(yù)測誤差。此宏塊數(shù)據(jù)經(jīng)過下開關(guān)進入DCT變換和量化器，輸出后分成兩路，一路到圖像復(fù)用編碼器，另一路向下進入反饋回路，經(jīng)過反量化、反DCT變換后，進入加法器。由環(huán)路濾波器輸出的另一路數(shù)據(jù)PF(x+H，y+V)向右經(jīng)過下開關(guān)后，與預(yù)測誤差C(x，y)PF(x+H，y+V)在加法器中相加后，得到后幀數(shù)據(jù)C(x，y)存在幀存儲

36、器中。由此下去直到后幀全幀數(shù)據(jù)存完，往后則開始下一幀的操作。圖 5.2.5 亮度、色度數(shù)據(jù)方框P中有可變延遲功能，由于運動估計操作時間不等以及環(huán)路濾波器也有延遲，因此，前幀數(shù)據(jù)與后幀數(shù)據(jù)相減時，以及在與預(yù)測誤差相加時，均需要對準時間，故有可變延遲的需要。 由上述分析可知，信源編碼器應(yīng)該輸出的信號有下述幾種： (1) 幀內(nèi)、幀間量化DCT系數(shù); (2) 幀內(nèi)、幀間模式選擇信號; (3) 幀內(nèi)、幀間各宏塊量化步長; (4) 圖像數(shù)據(jù)傳輸與否指示信號(指B幀或預(yù)測誤差為零時不傳); (5) 幀間模式各宏塊的運動矢量; (6) 環(huán)路濾波器是否使用指示信號。 綜上所述，信源編碼電路功能非常靈活： 可以跳

37、幀; 可以逐個宏塊決定幀內(nèi)或幀間模式; 每幀均可儲存后與下幀比較作出模式判定; 幀存儲器在存儲3幀以上的情況下，可以進行第1、5幀之間的預(yù)測誤差計算; P幀內(nèi)，部分宏塊可以采用幀內(nèi)模式; 任何時候場景突變后，可以抓住第1幀進行幀內(nèi)編碼。由此可見，信源編碼給編程人員留下了最大限度發(fā)揮能力的余地。5.2.3 信源解碼器方框圖 當(dāng)編碼后的各種信號傳到解碼器后，解碼器如何使用這些信號，可參見圖5.2.6。1. 幀內(nèi)模式在幀內(nèi)模式時，編碼器送來的宏塊MB量化DCT系數(shù)被送入去量化器Q1，同時該塊MB的量化步長q也被送入去量化器Q1，于是按照基本公式F(u，v)=2qQ(u，v)可得DCT系數(shù)F(u，v)

38、，經(jīng)反DCT變換T1后所得的像素值f(x，y)(帶撇號表示與原值略有差別)被送入加法器。當(dāng)幀內(nèi)解碼時，圖5.2.6中所示的單刀雙擲開關(guān)撥在上方，故加法器左邊無信號送入。加法器輸出兩路圖像數(shù)據(jù)，一路供輸出，另一路到幀存儲器，供幀間解碼時使用。圖5.2.6實質(zhì)上與圖4.1.3完全相同，此處只不過更加細化了。圖 5.2.6 信源解碼器方框圖2. 幀間模式 在幀間模式時，編碼器提供的量化DCT預(yù)測誤差和量化步長一起被送入去量化器Q-1，去量化后的信號再經(jīng)過反DCT變換T-1后得到預(yù)測誤差C(x，y)PF(x+H，y+V)，此時與該MB相應(yīng)的運動矢量坐標H和V被送入幀存儲器，將前幀匹配信號P(x+H，y

39、+V)從幀存儲器取出送入環(huán)路濾波器，乘濾波系數(shù)后得PF(x+H，y+V)。在幀間模式時，圖5.2.6中所示的單刀雙擲開關(guān)撥在下方，則PF(x+H，y+V)經(jīng)過開關(guān)后到達加法器，與預(yù)測誤差相加后得C(x，y)，即后幀像素值。加法器輸出分兩路，一路輸出，另一路進入幀存儲器儲存，此時存入的是P幀(預(yù)測幀)，以供備用，因為它可能是下一個P幀的前幀。5.2.4 圖像復(fù)用和解復(fù)用1. 圖像數(shù)據(jù)的層次 為了有秩序地傳輸每幀圖像數(shù)據(jù)，可把一幀圖像數(shù)據(jù)分成4個層次，即數(shù)據(jù)塊層、宏塊層、塊組層和幀層。 (1) 數(shù)據(jù)塊層用B表示。一個數(shù)據(jù)塊包含88個像素，亮度和色度信號均以此數(shù)據(jù)塊作為基本編碼單元。 (2) 宏塊層

40、用MB表示。一個宏塊包含4個亮度數(shù)據(jù)塊和2個色度數(shù)據(jù)塊(Cb、Cr各1個)，因此MB內(nèi)共有6個數(shù)據(jù)塊，其先后順序如圖5.2.5所示。在宏塊中Y、Cb、Cr描述同一像區(qū)。 (3) 塊組層用GOB表示。一個塊組包含33個宏塊，縱向有3行，每行有11個，其先后次序如圖5.2.7所示。圖 5.2.7 塊組GOB中宏塊MB安排順序(4) 按照CIF格式，每幀圖像包含的各層次情況如下： 1幀CIF圖像=12GOB=1233 MB=3966 B2376 B=1584B(Y)+396B(Cb)+396B(Cr)=152 064像素一幀圖像中12塊組GOB的排列順序如圖5.2.8所示。若為QCIF格式，則像素只

41、有CIF格式像素的1/4，所以每幀QCIF圖像只有3塊組，其安排順序如圖5.2.8所示。 圖像數(shù)據(jù)按上述層次安排和傳輸，有利于圖像數(shù)據(jù)交換和設(shè)備兼容。圖 5.2.8 塊組GOB安排順序2. 圖像復(fù)用圖像復(fù)用把上述層次的數(shù)據(jù)按一定方式連接起來，構(gòu)成一幀數(shù)據(jù)流。一幀數(shù)據(jù)的安排方式如圖5.2.9所示，圖中共有4行，以下分行敘述。圖 5.2.9 圖像復(fù)用構(gòu)成一幀數(shù)據(jù)流(1) 第一行表示包含一幀數(shù)據(jù)。以幀頭數(shù)據(jù)開始，其后有12塊組數(shù)據(jù)。幀頭包含的內(nèi)容有幀開始碼、幀計數(shù)碼、幀類型信息碼(如幀格式CIF或QCIF等)、備用插入信息碼。 (2) 第二行為塊組GOB數(shù)據(jù)，以塊組頭開始，其后有33宏塊數(shù)據(jù)。塊組(

42、GOB)頭包含塊組開始碼、塊組編號碼、塊組量化步長(用于整塊組，直到有宏塊變更量化步長)、備用插入信息碼。 (3) 第三行為宏塊數(shù)據(jù)，以宏塊頭開始，其后有6塊數(shù)據(jù)塊。宏塊(MB)頭包含宏塊地址碼MBA(H.261提供MBA編碼表)、類型信息(包括幀內(nèi)、幀間、運動補償、濾波器是否使用，H.261提供宏塊信息編碼表)、宏塊量化步長(一直用到再次變更)、運動矢量數(shù)據(jù)MVD(H.261提供MVD編碼表)、編碼塊圖樣CBP(用于說明各塊數(shù)據(jù)中的數(shù)據(jù)數(shù))。宏塊中6塊數(shù)據(jù)的編號由下式給出的數(shù)表示，即31P1+16P2+8P3+4P4+2P5+P6用Pn1，其它為零所得的數(shù)代表第n塊。例如，對于第3塊，可用P

43、31，其它為零所得的數(shù)8來表示，同時第3塊中的數(shù)據(jù)數(shù)由H.261提供的CBP編碼表中的碼字表示。 (4) 第四行表明數(shù)據(jù)塊B中的數(shù)據(jù)安排，即變換系數(shù)TCOEFF的安排，每塊有88個數(shù)據(jù)，呈方塊形，左上角為直流系數(shù)，其它均為交流系數(shù)，左下角為最高頻率交流系數(shù)，對應(yīng)圖像信號的最高頻率。由于視覺對低頻信號敏感，以及高頻系數(shù)較多為零，故采用Zig-Zag 掃描將數(shù)據(jù)排列成串。 將這串?dāng)?shù)據(jù)分組，凡是零和零后面的一個數(shù)據(jù)組成一組。前面的一串零稱為游程，用 RUN表示，后面的數(shù)據(jù)稱為量值，用LEVEL表示。對常見的組，H.261提供了TCOEFF編碼表。對少見的游程，量值用(RUN，LEVEL)表示，H.2

44、61也提供了TCOEFF編碼表。幀間編碼的第一個系數(shù)是直流差，按上述交流系數(shù)方式編碼。 幀內(nèi)直流系數(shù)編碼時，先按步長8量化(即除8)，再用8 bit固定長度編碼。另外，若為全黑88數(shù)據(jù)塊，則用00010000代表; 若為全白88數(shù)據(jù)塊，則用11101011代表。例如，直流值為24，經(jīng)步長8量化后得3，按8位編碼得00000011。若直流值為1024，要特別編碼，先除8得128，按8位編碼得10000000，但按規(guī)定此碼字不用，改用255的碼字11111111代替128。上述幀內(nèi)直流系數(shù)的編碼，可查H.261提供的編碼表。每一數(shù)據(jù)塊最后一個量值結(jié)束后，應(yīng)該用數(shù)據(jù)塊結(jié)束符號EOB作為結(jié)束，EOB的

45、編碼為10，可由H.261的TCOEFF編碼表查得。3. 傳輸緩沖器設(shè)置緩沖器的目的是為了協(xié)調(diào)編碼輸出速率和傳輸網(wǎng)絡(luò)速率，以便充分利用網(wǎng)絡(luò)的傳輸速率。當(dāng)編碼輸出速率過高時，緩沖器用做存儲器，同時通知編碼器提高量化步長，從而降低速率; 當(dāng)編碼器輸出速率過低時，緩沖器根據(jù)存儲余量通知編碼器降低量化步長，從而使速率提高。為了確定傳輸緩沖器容量，首先要根據(jù)假設(shè)基準解碼器HRD的情況，作出與解碼器相適應(yīng)的規(guī)定。 (1) HRD與編碼器應(yīng)有統(tǒng)一的時鐘頻率、相同的圖像幀格式(如CIF和幀頻)以及同步操作。 (2) HRD內(nèi)的緩沖容量是B+256 kb，其中B按下式計算:(5.2.10)式中：分母30為幀頻;

46、 Rmax是最高圖像數(shù)據(jù)傳輸速率，即網(wǎng)絡(luò)的速率，所以RmaxP64 kb/s。例如，P=12，則Rmax=1264 kb/s=768 kb/s，由此得(5.2.11)因此B的含義是每幀bit的4倍。本例中HRD的存儲量為102.4kb+256 kb358.4 kb。圖 5.2.10 傳輸緩沖器容量編碼器中的傳輸緩沖器存儲量與HRD中的一樣，即B+256 kb。因B中包含4幀圖像數(shù)據(jù)的存儲量，所以此緩沖器通常保持進一幀，存一幀，出一幀的狀態(tài)。如圖5.2.10所示，B中有4幀容量，當(dāng)?shù)谝粠敵鰰r，則第三幀輸入，此時第二幀存著不動。值得注意的是，一幀圖像數(shù)據(jù)包含的位數(shù)應(yīng)該和圖5.2.9中的位數(shù)一致，

47、即包括了許多輔助信息。當(dāng)經(jīng)過傳輸編碼器再加進糾錯碼和同步碼后，并且?guī)l為30 Hz時，應(yīng)該基本符合網(wǎng)絡(luò)傳輸速率P64 kb/s。4. 傳輸編碼圖5.2.11中有傳輸編碼器方框，用于在傳輸前進行糾錯編碼，目的是當(dāng)圖像碼字在傳輸中出現(xiàn)誤差時，則在解碼器中給予糾正。這里使用的糾錯碼為BCH碼。BCH碼是循環(huán)冗余校驗碼，而循環(huán)冗余校驗碼又是線性碼的一個子集。這里，具體用的碼長n=511位，其中信息碼元k=493位，校驗碼元 nk=18位。具體安排見圖5.2.11。圖5.2.11中第一行表示一個幀群，共包含8幀，這里的一幀不是一幀圖像而是一群碼字，共512位。每幀有幀頭，8幀的幀頭為S1S8(如圖5.2

48、.11所示)，各幀頭的碼位規(guī)定如下： (S1 S2 S3 S4 S5 S6 S7 S8)(00011011)，這里的幀頭用做同步信號，每個幀頭僅一位，所以包括同步信號的幀有512位，即28。 圖5.2.11中第二行為第一幀內(nèi)的碼位安排。圖 5.2.11 糾錯幀安排圖5.2.11中第三行和第四行表示數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)中的第一位稱為填滿指示Fi。當(dāng)Fi為1時，表明其后有492位數(shù)據(jù); 當(dāng)Fi為0時，表明后面無數(shù)據(jù)，此時，492位數(shù)據(jù)應(yīng)該全部取1，并且后面的18位校驗碼取(011011010100011011)。 當(dāng)傳輸緩沖器送來每幀圖像數(shù)據(jù)時，則把這一連串的數(shù)據(jù)分為每492位為一組，加上一位Fi碼后成

49、為493位，把這組數(shù)據(jù)送入BCH編碼器，經(jīng)編碼后輸出511位，加上一位同步信號后成為512位，即構(gòu)成一同步幀。 18位校驗碼是根據(jù)生成多項式g(x)=(x9+x4+1)(x9+x6+x4+x3+1) (5.2.12)和數(shù)據(jù)多項式f(x)=v0+v1x+v2x2+v492x492 (vi=0或1，i=1，2，493)(5.2.13)按照BCH編碼規(guī)則形成的，此編碼任務(wù)可以由一塊集成電路完成。 BCH碼的碼長n、信息碼元k和糾錯能力t之間符合如下關(guān)系:(5.2.14)式中，m為大于3的正整數(shù)。現(xiàn)在n511=29-1，所以由式(5.2.14)可知m9，又由nk189t 知t2，即可以糾正2位誤差，所

50、以，每一同步幀的512位到達解碼器后，由BCH解碼器解出信息碼元493位。如果發(fā)現(xiàn)2位或2位以下的錯誤，則可以自動糾正; 若發(fā)生3位錯誤，便會產(chǎn)生誤碼，但是發(fā)生3位錯誤的概率是極小的。5.3 JPEG標準JPEG用于連續(xù)變化的靜止圖像，所謂連續(xù)變化，是指灰度等級和顏色兩方面的連續(xù)變化。JPEG包含兩種基本壓縮方法，各有不同的操作模式。第一種是有損壓縮，它是以DCT (Discrete Cosine Transform)為基礎(chǔ)的壓縮方法。第二種為無損壓縮，又稱預(yù)測壓縮方法。最常使用的是第一種，即DCT壓縮方法，也稱為基線順序編解碼(Baseline Sequential Codec)方法，由于這

51、種方法的優(yōu)點是先進、有效、簡單和易于操作，因此已成為廣泛應(yīng)用的最重要的方法。JPEG編碼壓縮算法與H.261的幀內(nèi)模式相同。JPEG系統(tǒng)可選用逐漸浮現(xiàn)重建 (Progressive build-up)方式，即重建圖像可以整幅由粗到細顯示。JPEG標準數(shù)據(jù)壓縮是在本幀內(nèi)進行的，與前、后幀無關(guān)。它也可以用于活動圖像中，只不過壓縮方法只限于幀內(nèi)進行，不作運動補償和幀間差運算。這種用于活動圖像的壓縮技術(shù)稱做M-JPEG(Motion-JPEG)，可用于電視臺節(jié)目編輯中。5.3.1 基于DCT的編碼器和解碼器圖5.3.1為基于DCT的編、解碼器方框簡圖。圖中輸入端為源圖像數(shù)據(jù)，分成88像素塊(Block

52、s)數(shù)據(jù)后才能輸入正向DCT(即FDCT)。量化器所需的專用數(shù)據(jù)表由下方輸入。熵編碼器所需的專用數(shù)據(jù)表也由下方輸入。輸出的壓縮圖像數(shù)據(jù)可以寄存，也可以直接送到解碼器中。輸入解碼器的數(shù)據(jù)中，除了壓縮圖像數(shù)據(jù)外，還包含重建圖像所必需的專用數(shù)據(jù)表等數(shù)據(jù)。經(jīng)過熵解碼器、去量化器和反向DCT(即IDCT)后，得到重建的圖像數(shù)據(jù)。圖 5.3.1 基于DCT的編、解碼器方框簡圖(a) 編碼器; (b) 解碼器下面談?wù)凧PEG標準中的像素問題。以NTSC制為例，它的視頻最高頻率為4.2 MHz，故抽樣頻率可取8.49 MHz。NTSC制的行頻，所以行周期，每行的顯示時間td=0.835tH，即td=0.835

53、63.5556=53.069 s (5.3.1)若設(shè)抽樣頻率fs=9.045 MHz，則td時間內(nèi)的抽樣數(shù)N為N=fstd=9.045 MHz53.069 s=480 (5.3.2)抽樣數(shù)N也就是一行顯示區(qū)(或稱有效像素區(qū))中的像素數(shù)。在JPEG標準中，通常一個像素對應(yīng)于一個字節(jié)，也就是用8 bit量化，即有28256個灰度等級，因此一個像素的電壓可以用0255等級來表示。對于特殊要求的圖像(如醫(yī)學(xué)圖像)，則一個像素可用12 bit量化，即用94095等級來表示。一個像素還有形狀，稱為縱橫比，按JPEG標準規(guī)定像素縱橫比為11，也就是像素為方格子。例如，上述 NTSC 制中一行像素為480，若

54、像素縱橫比為11，圖像尺寸縱橫比為34，則一幀圖像應(yīng)有的行數(shù)為4803/4360行?，F(xiàn)在NTSC制一幀圖像為525行，其中包含兩場，若扣除兩場的場消隱所需的74行(也可以少扣除一些行)，余下的451行轉(zhuǎn)換到360行，則需要并行。按360/4510.8，則每10行需要并成8行，這就是圖像光柵處理中常用的光柵轉(zhuǎn)換或掃描轉(zhuǎn)換。 在其它圖像處理中也可以不采用方格子像素，這時像素縱橫比可以由圖像尺寸縱橫比和縱、橫方向像素數(shù)來決定。例如，對于一幀高清晰度圖像，其圖像尺寸縱橫比為916，縱向像素為960，橫向像素為1440，則像素的縱橫比可由下式?jīng)Q定：縱橫比 (5.3.3)由此可見其像素的縱橫比約為2732

55、。5.3.2 離散余弦變換和DCT系數(shù)量化JPEG標準是將二維空間的圖像數(shù)據(jù)用離散余弦變換(DCT)公式變換到二維頻域成為二維頻率系數(shù)。變換后的系數(shù)經(jīng)量化矩陣量化，量化過程請參考4.3.6節(jié)直流(DC) 系數(shù)量化過程。對DCT變換后的直流系數(shù)(DC)的處理可參考圖4.3.6所示的處理方式。5.3.3 熵編碼器熵編碼也稱無損編碼或無誤差編碼，即對DC和AC系數(shù)進行編碼和解碼后，DC和AC系數(shù)恢復(fù)原值。熵編碼分為兩個步驟：其一為中間熵編碼; 其二是可變長度熵編碼。5.3.4 數(shù)據(jù)交換格式靜像數(shù)據(jù)經(jīng)編碼后，得到壓縮數(shù)據(jù)流，即方框8輸出的可變長度熵編碼數(shù)據(jù)流。為了便于交換和儲存，需要有統(tǒng)一的交換格式，

56、同時也便于解碼器解碼。圖5.3.2所示為數(shù)據(jù)交換格式，圖中包含一幀圖像的壓縮數(shù)據(jù)。以下按圖5.3.2中的4行分行敘述。(1) 第一行為壓縮圖像數(shù)據(jù)。圖中SOI表示圖像開始。中間方框表示一幀圖像數(shù)據(jù)。最后的EOI表示圖像結(jié)束。SOI和EOI均稱為標記符號，各占2字節(jié)(Byte)。(2) 第二行說明幀內(nèi)包含的數(shù)據(jù)內(nèi)容。首先是表雜項，其中表即為數(shù)據(jù)表，如量化表、霍夫曼DC和AC表等，雜項即為其它必要的信息。第二行的幀頭表示幀頭信息，包含所選方法(如基線DCT方法等)、抽樣精度、量化位數(shù)、源圖像行數(shù)、每行抽樣數(shù)、各分量圖像尺寸比例、各分量圖像排隊次序和分別選用何種量化表等。掃描1表示掃描數(shù)據(jù)1，由圖中

57、第三行闡述。在此幀內(nèi)最少包含2數(shù)組內(nèi)容，即幀頭和掃描1。(3) 第三行的掃描頭(Scan Header)包含掃描起始信息、分量圖像號碼、該分量圖像的 參數(shù)、熵編碼表選擇等內(nèi)容。ECS0(Entropy Coded Segment)表示第0段熵編碼，由第四行說明。RST0(Restart Marker)為重新開始的標記，可以在熵編碼段之間插入，但最多插入8個，按07 標號。(4) 第四行用于說明初始和結(jié)束的熵編碼段。各編碼段內(nèi)包含若干個最小編碼單元MCU，各MCU內(nèi)有一組按次序排列的分量圖像數(shù)據(jù)，即壓縮后的數(shù)據(jù)，或稱熵編碼數(shù)據(jù)。關(guān)于數(shù)據(jù)交換格式的詳細資料，請參閱JPEG標準文件。圖 5.3.2

58、數(shù)據(jù)交換格式5.4 MPEG-1標準 MPEG是活動圖像專家組(Moving Picture Expert Group)的英文縮寫。它是國際標準化組織(ISO)和國際電工委員會(IEC)聯(lián)合技術(shù)委員會1(JTC1)的第 29分委員會(S29)的第11工作組(WG11), 其全稱是 WG l l of SI 29 of ISO/IEC JTC1。MPEG的任務(wù)是開發(fā)運動圖像及其聲音的數(shù)字編碼標準,成立于 1988年。 專家組最初的任務(wù)有三個：實現(xiàn) 1.5 Mb/s、10 Mb/s、 40Mb/s的壓縮編碼標準，即MPEG-1、 MPEG-2、 MPEG-3。但因為 MPEG-2的功能已使 MPE

59、G-3為多余，所以 MPEG-3于 1993年 7月撤消。MPEG-4項目是 1991年 5月建議，并于 1993年 7月確認，其目標是甚低數(shù)碼率的音頻/視頻壓縮編碼(數(shù)碼率低于 28.8 kb/s，但實際范圍比這要寬得多)。下面介紹MPEG-1標準。隨著數(shù)字音頻和數(shù)字視頻技術(shù)的廣泛應(yīng)用，ISO的活動圖像專家組(MPEG)在1991年11月提出了ISO/IEC 11172標準的建議草案，通稱MPEG-1標準。該標準于1992年11月被通過，1993年 8月公布。MPEG-1標準適用于數(shù)碼率在 1.5 Mb/s左右的應(yīng)用環(huán)境，也就是為CD-ROM、光盤的視頻存儲和放像所制定的。5.4.1 MPE

60、G-1標準的內(nèi)容ISO/IEC 11172 包括三大部分：(1) ISO/IEC 11172-1： 第一部分，系統(tǒng)。(2) ISO/IEC 11172-2： 第二部分，視頻。(3) ISO/IEC 11172-3： 第三部分，音頻。 MPEG-1標準可以處理各種類型的活動圖像，其基本算法對于壓縮水平方向 352個像素、豎直方向 288個像素的空間分辨力，每秒 24/25/30幅畫面的運動圖像有很好的效果。在MPEG-1標準中的一幀圖像的概念不同于電視中幀的概念，前者一定是逐行掃描的圖像，如果待處理信號是隔行掃描的圖像，則編碼前必須將其轉(zhuǎn)換成逐行掃描的格式。MPEG-1標準提供了一些錄像機的功能