信息論與編碼 第5章(3)

1、2022-4-221信源編碼信源編碼 第第5 5章（第章（第3講）講）2022-4-222p信息通過信道傳輸?shù)叫潘薜倪^程即為信息通過信道傳輸?shù)叫潘薜倪^程即為通信通信。要做到。要做到既不失真又快速地通信，需要解決兩個問題：既不失真又快速地通信，需要解決兩個問題：n在不失真或允許一定失真條件下，在不失真或允許一定失真條件下，如何提高信息如何提高信息傳輸速度傳輸速度-這是本章要討論的這是本章要討論的信源編碼信源編碼問題問題.n在信道受到干擾的情況下，在信道受到干擾的情況下，如何增加信號的抗干如何增加信號的抗干擾能力，同時又使得信息傳輸率最大擾能力，同時又使得信息傳輸率最大-這是下這是下章要討論的章要

2、討論的信道編碼信道編碼問題問題.2022-4-223p信源編碼：信源編碼：n無失真信源編碼無失真信源編碼第一極限定理第一極限定理 可逆編碼可逆編碼的基礎(chǔ)，只適用于的基礎(chǔ)，只適用于離散信源離散信源，主要用，主要用于文字、數(shù)據(jù)信源的壓縮。于文字、數(shù)據(jù)信源的壓縮。n限失真信源編碼限失真信源編碼第三極限定理第三極限定理 只適用于只適用于連續(xù)信源連續(xù)信源，主要用于圖像、語音信源，主要用于圖像、語音信源的壓縮的壓縮p信道編碼信道編碼 第二極限定理第二極限定理2022-4-224p一般來說，一般來說，抗干擾能抗干擾能與與信息傳輸率信息傳輸率二者相互矛盾。二者相互矛盾。然而編碼定理已從理論上證明，至少存在某種

3、最佳然而編碼定理已從理論上證明，至少存在某種最佳的編碼能夠解決上述矛盾，做到既可靠又有效地傳的編碼能夠解決上述矛盾，做到既可靠又有效地傳輸信息。輸信息。p信源雖然多種多樣，但無論是哪種類型的信源，信信源雖然多種多樣，但無論是哪種類型的信源，信源符號之間總存在源符號之間總存在相關(guān)性相關(guān)性和和分布的不均勻性分布的不均勻性，使得，使得信源存在信源存在冗余度冗余度。信源編碼的目的就是要。信源編碼的目的就是要減少冗余，減少冗余，提高編碼效率提高編碼效率。2022-4-225p信源編碼的信源編碼的基本途徑基本途徑有兩個有兩個:n一是編碼后使序列中的各個符號之間盡可能地一是編碼后使序列中的各個符號之間盡可能

4、地 互相獨立，即互相獨立，即解除相關(guān)性解除相關(guān)性-方法包括預(yù)測編方法包括預(yù)測編 碼和變換編碼碼和變換編碼.n二是使編碼后各個符號出現(xiàn)的概率盡可能相等，二是使編碼后各個符號出現(xiàn)的概率盡可能相等，即即均勻化分布均勻化分布-方法主要是統(tǒng)計編碼方法主要是統(tǒng)計編碼.2022-4-226p本章主要介紹信源編碼的基本思路與主要方法，以本章主要介紹信源編碼的基本思路與主要方法，以無失真編碼為主，期望通過本章學(xué)習(xí)能建立起信源無失真編碼為主，期望通過本章學(xué)習(xí)能建立起信源壓縮編碼的基本概念。壓縮編碼的基本概念。2022-4-2275.15.1 編碼的定義編碼的定義5.25.2 無失真信源編碼無失真信源編碼5.3 5

5、.3 限限失真信源編碼失真信源編碼5.4 5.4 常用常用信源編碼方法簡介信源編碼方法簡介主主 要要 內(nèi)內(nèi) 容容2022-4-2285.2.3 5.2.3 最佳變長編碼最佳變長編碼p最佳碼最佳碼：n對于某一信源和某一碼符號集來說對于某一信源和某一碼符號集來說,若有一唯一可若有一唯一可譯碼譯碼,其其平均碼長平均碼長小于所有其他唯一可譯碼的平均小于所有其他唯一可譯碼的平均長度。長度。p方法：方法：將概率大的信源符號編以短的碼字。概率小將概率大的信源符號編以短的碼字。概率小的符號編以長的碼字，這樣使得平均碼字長度最短。的符號編以長的碼字，這樣使得平均碼字長度最短。p主要有：主要有：n香農(nóng)香農(nóng)（Sha

6、nnon）n費諾費諾（Fano）n哈夫曼哈夫曼（Huffma ）2022-4-229香農(nóng)編碼香農(nóng)編碼p香農(nóng)第一定理指出了香農(nóng)第一定理指出了平均碼長平均碼長與與信源信源之間的關(guān)系之間的關(guān)系,同同時也指出了可以通過編碼使平均碼長達到時也指出了可以通過編碼使平均碼長達到極限值極限值,這這是一個很重要的極限定理。是一個很重要的極限定理。p香農(nóng)第一定理指出香農(nóng)第一定理指出,選擇每個碼字的長度選擇每個碼字的長度Ki滿足下式：滿足下式： )(1logiixpK或或: log2 p(xi) Ki 1log2 p(xi)p就可以得到這種碼。就可以得到這種碼。p這種編碼方法稱為這種編碼方法稱為 取整取整2022-

7、4-2210p二進制香農(nóng)碼的二進制香農(nóng)碼的編碼步驟編碼步驟如下：如下：將信源符號按概率從大到小的順序排列將信源符號按概率從大到小的順序排列, p(a1) p(a2) p(an)確定滿足下列不等式的整數(shù)確定滿足下列不等式的整數(shù)Ki , log2 p(ai) Ki 0(i=1,2, ,n)p信源符號的信源符號的為為p顯然顯然 P1= 0; P2= p1 ; P3= p1+p2 ; p而且而且 pr = Pr+1 Pr11riirpP2022-4-2239p累積概率累積概率Pr+1和和Pr都是小于都是小于1的正數(shù)的正數(shù),可用可用0,1區(qū)間內(nèi)的區(qū)間內(nèi)的兩個兩個點點來表示來表示;P1p1P2P3P41p

8、2p30ppr就是這兩點間的小區(qū)間的就是這兩點間的小區(qū)間的長度長度,如圖如圖:p當當A=0,1二元信源二元信源時：時： P(0)= 0 ; P(1) = p(0) P(0)P(1)01p(0)p(1)2022-4-2240p計算二元無記憶信源序列的計算二元無記憶信源序列的p初始時：在初始時：在0,1)區(qū)間內(nèi)由區(qū)間內(nèi)由P(1)劃分成二個子區(qū)間劃分成二個子區(qū)間0, P1 )和和P1 ,1) , P(1) = p(0) 。n子區(qū)間子區(qū)間0, P1 )的的寬度寬度為為A(0)= p(0) ,對應(yīng)于信源符號對應(yīng)于信源符號“0”；n子區(qū)間子區(qū)間P1 ,1)的的寬度寬度為為A(1)= p(1) ,對應(yīng)于信源

9、符號對應(yīng)于信源符號“1”;n若輸入符號序列的第若輸入符號序列的第一一個符號為個符號為S =“0”,落入落入0, P1 )區(qū)區(qū)間間,得得 P (S =“0”)= P(0) = 0； 算術(shù)編碼算術(shù)編碼2022-4-2241p若輸入第若輸入第二二個符號為個符號為“1”,S =“01”,nS =“01”所對應(yīng)的區(qū)間是在區(qū)間所對應(yīng)的區(qū)間是在區(qū)間0, P(1) )中進行分割；中進行分割；p符號序列符號序列“00”對應(yīng)的區(qū)間寬度為對應(yīng)的區(qū)間寬度為 A(00)=A(0) p(0)=p(0)p(0)= p(00)；n對應(yīng)的區(qū)間為對應(yīng)的區(qū)間為0,P(S =“01”)。p符號序列符號序列“01”對應(yīng)的區(qū)間寬度為對應(yīng)

10、的區(qū)間寬度為 A(01) =A(0) p(1)= p(0)p(1)= p(01) = A(0)A(00)；n對應(yīng)的區(qū)間為對應(yīng)的區(qū)間為P(S =“01”),P(1)。: P(S =“01”)=p(00)= p(0)p(0)2022-4-2242P(0)0P(1)1p(0)p設(shè)輸入符號序列設(shè)輸入符號序列S = 011p(1)P(0)P(1)p(00)P(01)p(01)P(01)P(1)P(011)p(010)p(011)pp(0)= p(00)+p(01)pp(01)= p(010)+p(011)pP(0)= 0pP(01)= p(00)pP(011)= P(01)+p(010)2022-4-2

11、243p011S1, S=01p輸入序列輸入序列S1=“011”對應(yīng)的區(qū)間是對區(qū)間對應(yīng)的區(qū)間是對區(qū)間P(S), P (1)進行分割進行分割 p序列序列S0=“010”對應(yīng)的區(qū)間寬度為對應(yīng)的區(qū)間寬度為 A(S =“010”)=A(S=“01”)p(0)=A(S) p(0)n其對應(yīng)的區(qū)間為其對應(yīng)的區(qū)間為P(S), P(S)+ A(S) p(0)；p序列序列S1=“011”對應(yīng)的區(qū)間寬度為對應(yīng)的區(qū)間寬度為 A(S=“011”)=A(S)p(1) =A(S =“01”)A(S =“010”)= A(S)A(S0)n其對應(yīng)的區(qū)間為其對應(yīng)的區(qū)間為P(S)+ A(S) p(0),P(1)；2022-4-22

12、44P(0)0P(1)1p(0)p(1)P(0)P(1)p(00)P(S) S=01p(01)P(S)P(1)P(S1)p(010)p(011)p當前面輸入符號序列為當前面輸入符號序列為S,若接著輸入一個若接著輸入一個“0”, : P(S 0)= P(S)n對應(yīng)對應(yīng)區(qū)間寬度區(qū)間寬度為：為： A(S0)=A(S)p(0)p若接著輸入的一個符號是若接著輸入的一個符號是“1”，: P(S1)= P(S) + A(S)p(0)n對應(yīng)對應(yīng)區(qū)間寬度區(qū)間寬度為：為： A(S1) = A(S)p(1) =A(S)A(S0) 信源符號0的區(qū)間寬度A(0)= p(0)符號1的區(qū)間寬度A(1)=p(1)符號“00”

13、區(qū)間寬度A(00)=p(00)信源符號“01”區(qū)間寬度A(01)=p(01)=A(0)-A(00)2022-4-2245p符號序列對應(yīng)的區(qū)間寬度符號序列對應(yīng)的區(qū)間寬度 A(S=“0”) = p(0) A(S=“1”) = 1A(S=“0”)=p(1) A(S=“00”) = p(00) = A(0) p(0) = p(0) p(0) A(S=“01”) = A(S=“0”)A(S=“00”) = p(01)= A(0) p(1) = p(0) p(1) A(S=“10”) = p(10)=A(1) p(0) = p(1) p(0) A(S=“11”) = A(S=“1”)A(S=“10”) =

14、p(11)=A(S=“1”)p(1)=p(1) p(1) A(S=“010”) = A(S=“01”) p(0)=p(01) p(0)p(010) A(S=“011”) = A(S=“01”)A(S=“010”) = A(S=“01”)p(1)= p(01) p(1)= p(011)p信源符號序列信源符號序列S所對應(yīng)所對應(yīng)區(qū)間的寬度區(qū)間的寬度等于符號序列等于符號序列S的的概率概率p(S)。算術(shù)編碼算術(shù)編碼2022-4-2246算術(shù)編碼算術(shù)編碼p二元二元信源符號序列的信源符號序列的累積概率遞推公式累積概率遞推公式1 , 0)()(),(rPSpSPrSPrnSr表示前面信源符號序列為表示前面信源

15、符號序列為S,接著再輸入符號為接著再輸入符號為r P(0)=0， P(1) = p(0) P(S0)= P(S) P(S1)= P(S) + p(S) p(0)p信源符號序列所對應(yīng)區(qū)間的信源符號序列所對應(yīng)區(qū)間的寬度寬度遞推公式遞推公式1 , 0)()(),(),(rrpSprSprSA2022-4-2247p例：已輸入二元符號序列為例：已輸入二元符號序列為S=“011”,接著再輸入符號為接著再輸入符號為“1”,p得序列累積概率為：得序列累積概率為： P(S1)=P(0111)=P(S=“011”)+p(011)p(0) =P(S=“01”)+p(01)p(0)+p(011)p(0) =P(S=

16、“0”)+p(0)p(0)+p(01)p(0)+p(011)p(0) =0 +p(00)+p(010)+p(0110) 對應(yīng)的區(qū)間寬度為對應(yīng)的區(qū)間寬度為 A(S1)=p(S=“011”) p(1)= p(011) p(1)= p(0111)2022-4-2248算術(shù)編碼p一般多元信源序列的累積概率遞推公式一般多元信源序列的累積概率遞推公式rrPSpSPaSP)()(),()()(),(),(rrrapSpaSpaSAp序列的概率公式序列的概率公式rrpSpaSp)(),(2022-4-2249算術(shù)編碼p實際應(yīng)用中實際應(yīng)用中,采用累積概率采用累積概率P(S)表示碼字表示碼字C(S),符號概率符號

17、概率p(S)表示狀態(tài)區(qū)間表示狀態(tài)區(qū)間A(S),則有：則有： C(S,r) = C(S)+A(S)Pr A(S,r) = A(S) pr p實際編碼時實際編碼時,只需兩個存儲器只需兩個存儲器,起始時可令起始時可令: A() =1, C() = 0p每輸入一個信源符號每輸入一個信源符號,存儲器存儲器C和和A 就按照上式更新一次就按照上式更新一次,直至信源符號輸入完畢直至信源符號輸入完畢,就可將存儲器就可將存儲器C的內(nèi)容作為該序的內(nèi)容作為該序列的碼字輸出。列的碼字輸出。 2022-4-2250算術(shù)編碼p在編碼過程中在編碼過程中,每輸入一個符號要進行乘法和加法運算每輸入一個符號要進行乘法和加法運算,所

18、以稱為所以稱為。p通過關(guān)于信源符號序列的累積概率的計算通過關(guān)于信源符號序列的累積概率的計算,把區(qū)間分割成把區(qū)間分割成許多小區(qū)間許多小區(qū)間,不同的信源符號序列對應(yīng)不同的區(qū)間為不同的信源符號序列對應(yīng)不同的區(qū)間為P(S), P(S) + p(S) ?？扇⌒^(qū)間內(nèi)的一點來代表?？扇⌒^(qū)間內(nèi)的一點來代表這序列。這序列。2022-4-2251算術(shù)編碼p編碼方法：編碼方法：n將符號序列的將符號序列的寫成二進位的小數(shù)，取小數(shù)點寫成二進位的小數(shù)，取小數(shù)點后后L位位,若后面有尾數(shù)若后面有尾數(shù),就進位到第就進位到第L位位,這樣得到的一個這樣得到的一個數(shù)數(shù)C,并使并使L滿足滿足)(1logSpL取整LLSP.0)(2

19、022-4-22527)(1logSpL例例：設(shè)二元無記憶信源：設(shè)二元無記憶信源S=0,1,其其p(0)=1/4,p(1)=3/4。對二元序列對二元序列11111100做算術(shù)編碼。做算術(shù)編碼。P(S) = p(00000000) + p(00000001) + p(00000010) + + p(11111011) = 1 p(11111111) p(11111110) p(11111101) p(11111100) = 1 p(111111) = 1(3/4)6= 0.110100100111得得 C = 0.1101010 S的碼字為的碼字為 1101010解：解：p(S=11111100

20、) = p2(0)p6(1) = (1/4)2 (3/4)62022-4-2253) 1 ()() 1() 1()0()()0()0()0()()() 1()()0(pppApppAppPPPPSSSSSSSSSSS+=p(1)=3/4=(0.11)2p(11)=(3/4)2=(0.1001)2+=p(0)=(1/4)=2-2p(S)p(0)p(S)右移2位2022-4-22545.4.3 5.4.3 預(yù)測編碼預(yù)測編碼p預(yù)測編碼是數(shù)據(jù)壓縮三大經(jīng)典技術(shù)（統(tǒng)計編碼、預(yù)測編碼、預(yù)測編碼是數(shù)據(jù)壓縮三大經(jīng)典技術(shù)（統(tǒng)計編碼、預(yù)測編碼、變換編碼）之一，它是建立在信源數(shù)據(jù)相關(guān)性之上的。由變換編碼）之一，它是建

21、立在信源數(shù)據(jù)相關(guān)性之上的。由信息理論可知，對于相關(guān)性很強的信源，條件熵可遠小于信息理論可知，對于相關(guān)性很強的信源，條件熵可遠小于無條件熵，因此人們常采用盡量解除相關(guān)性的辦法，使信無條件熵，因此人們常采用盡量解除相關(guān)性的辦法，使信源輸出轉(zhuǎn)化為獨立序列，以利于進一步壓縮碼率。源輸出轉(zhuǎn)化為獨立序列，以利于進一步壓縮碼率。p常用的解除相關(guān)性的措施是預(yù)測和變換，其實質(zhì)都是進行常用的解除相關(guān)性的措施是預(yù)測和變換，其實質(zhì)都是進行序列的一種映射。一般來說，預(yù)測編碼有可能完全解除序序列的一種映射。一般來說，預(yù)測編碼有可能完全解除序列的相關(guān)性，但必需確知序列的概率特性；變換編碼一般列的相關(guān)性，但必需確知序列的概率

22、特性；變換編碼一般只解除矢量內(nèi)部的相關(guān)性，但它可有許多可供選擇的變換只解除矢量內(nèi)部的相關(guān)性，但它可有許多可供選擇的變換方法，以適應(yīng)不同的信源特性。下面介紹預(yù)測編碼的一般方法，以適應(yīng)不同的信源特性。下面介紹預(yù)測編碼的一般理論與方法。理論與方法。2022-4-2255p預(yù)測編碼的預(yù)測編碼的基本思想基本思想是通過提取與每個信源符號有關(guān)的新是通過提取與每個信源符號有關(guān)的新信息，并對這些新信息進行編碼來信息，并對這些新信息進行編碼來消除信源符號之間的相消除信源符號之間的相關(guān)性關(guān)性。實際中常用的新信息為信源符號的當前值與預(yù)測值。實際中常用的新信息為信源符號的當前值與預(yù)測值的差值，這里正是由于信源符號間存在

23、相關(guān)性，所以才使的差值，這里正是由于信源符號間存在相關(guān)性，所以才使預(yù)測成為可能，對于獨立信源，預(yù)測就沒有可能。預(yù)測成為可能，對于獨立信源，預(yù)測就沒有可能。p預(yù)測的理論基礎(chǔ)主要是預(yù)測的理論基礎(chǔ)主要是估計理論估計理論。所謂估計就是用實驗數(shù)。所謂估計就是用實驗數(shù)據(jù)組成一個統(tǒng)計量作為某一物理量的估值或預(yù)測值。若估據(jù)組成一個統(tǒng)計量作為某一物理量的估值或預(yù)測值。若估值的數(shù)學(xué)期望等于原來的物理量，就稱這種估計為值的數(shù)學(xué)期望等于原來的物理量，就稱這種估計為無偏估無偏估計計；若估值與原物理量之間的；若估值與原物理量之間的均方誤差最小均方誤差最小，就稱之為，就稱之為最最佳估計佳估計，基于這種方法進行預(yù)測，就稱為最

24、小均方誤差預(yù)，基于這種方法進行預(yù)測，就稱為最小均方誤差預(yù)測，所以也就認為這種預(yù)測是最佳的。測，所以也就認為這種預(yù)測是最佳的。p要實現(xiàn)最佳預(yù)測就是要找到計算預(yù)測值的要實現(xiàn)最佳預(yù)測就是要找到計算預(yù)測值的預(yù)測函數(shù)預(yù)測函數(shù)。2022-4-2256p設(shè)有信源序列設(shè)有信源序列 ，k階預(yù)測就是由階預(yù)測就是由 的前的前k個數(shù)據(jù)來個數(shù)據(jù)來預(yù)測預(yù)測 。 可令預(yù)測值為：可令預(yù)測值為： 式中式中 是待定的預(yù)測函數(shù)。要使預(yù)測值具有是待定的預(yù)測函數(shù)。要使預(yù)測值具有最小均方誤差最小均方誤差，必，必須確知須確知k個變量的聯(lián)合概率密度函數(shù)個變量的聯(lián)合概率密度函數(shù) ，這在一般情況，這在一般情況下較難得到，因而常用比較簡單的下較難

25、得到，因而常用比較簡單的線性預(yù)測線性預(yù)測方法。方法。p線性預(yù)測是取預(yù)測函數(shù)為各已知信源符號的線性函數(shù)，即取線性預(yù)測是取預(yù)測函數(shù)為各已知信源符號的線性函數(shù)，即取 的預(yù)測值為：的預(yù)測值為： 其中其中 為預(yù)測系數(shù)。為預(yù)測系數(shù)。 21,rkrrsss rsrs12(,)rrrrksf sss ( )f21,rkrrsss rs1kririisa s ia2022-4-2257p最簡單的預(yù)測是令最簡單的預(yù)測是令 稱為前值預(yù)測，常用的差值預(yù)測就屬于這類。稱為前值預(yù)測，常用的差值預(yù)測就屬于這類。p利用預(yù)測值來編碼的方法可分為兩類：利用預(yù)測值來編碼的方法可分為兩類：p 一類是對實際值與預(yù)測值之差進行編碼，也叫

26、一類是對實際值與預(yù)測值之差進行編碼，也叫差值預(yù)差值預(yù)測編碼測編碼。p 另一類方法是根據(jù)差值的大小，決定是否需傳送該信另一類方法是根據(jù)差值的大小，決定是否需傳送該信源符號。例如，可規(guī)定某一閾值源符號。例如，可規(guī)定某一閾值T，當差值小于，當差值小于T時可時可不傳送，對于相關(guān)性很強的信源序列，常有很長一串符不傳送，對于相關(guān)性很強的信源序列，常有很長一串符號的差值可以不傳送，此時只需傳送這串符號的個數(shù)，號的差值可以不傳送，此時只需傳送這串符號的個數(shù)，這樣能大量壓縮碼率。這類方法一般是按信宿要求來設(shè)這樣能大量壓縮碼率。這類方法一般是按信宿要求來設(shè)計的，也就是壓縮碼率引起的失真應(yīng)能滿足信宿需求。計的，也就

27、是壓縮碼率引起的失真應(yīng)能滿足信宿需求。1rrss 2022-4-2258p下面簡單介紹差值預(yù)測編碼系統(tǒng)。如果信源的相關(guān)性很強，下面簡單介紹差值預(yù)測編碼系統(tǒng)。如果信源的相關(guān)性很強，則采用差值編碼可得較高的壓縮率。由于相關(guān)性很強的信則采用差值編碼可得較高的壓縮率。由于相關(guān)性很強的信源可較精確地預(yù)測待編碼的值，使得這個差值的方差將遠源可較精確地預(yù)測待編碼的值，使得這個差值的方差將遠小于原來的信源取值，所以在同樣失真要求下，量化級數(shù)小于原來的信源取值，所以在同樣失真要求下，量化級數(shù)可大大減少，從而較顯著地壓縮碼率?？纱蟠鬁p少，從而較顯著地壓縮碼率。p差值預(yù)測編碼系統(tǒng)的框圖如下圖所示，在編碼端主要由一差

28、值預(yù)測編碼系統(tǒng)的框圖如下圖所示，在編碼端主要由一個符號編碼器和一個預(yù)測器組成，在解碼端主要由一個符個符號編碼器和一個預(yù)測器組成，在解碼端主要由一個符號解碼器和一個預(yù)測器組成。號解碼器和一個預(yù)測器組成。2022-4-2259編碼器解碼器2022-4-2260p當輸入信源序列逐個進入編碼器時，預(yù)測器根據(jù)若干個當輸入信源序列逐個進入編碼器時，預(yù)測器根據(jù)若干個過去的輸入產(chǎn)生對當前輸入像素的估計值。預(yù)測器的輸過去的輸入產(chǎn)生對當前輸入像素的估計值。預(yù)測器的輸出舍入成最近的整數(shù)，并被用來計算預(yù)測誤差：出舍入成最近的整數(shù)，并被用來計算預(yù)測誤差：p在解碼器中根據(jù)接收到的變長碼字重建在解碼器中根據(jù)接收到的變長碼字

29、重建 ，并執(zhí)行下，并執(zhí)行下列操作：列操作： p而而 可通過式可通過式 進行預(yù)測得到。進行預(yù)測得到。rrress rerrrses rs 1kririisa s 2022-4-2261p差值編碼的特點：差值編碼的特點： 在差值編碼中所能取得的壓縮率與預(yù)測誤差序列所產(chǎn)在差值編碼中所能取得的壓縮率與預(yù)測誤差序列所產(chǎn)生的熵的減少量直接有關(guān)。生的熵的減少量直接有關(guān)。 通過預(yù)測可消除相關(guān)，所以預(yù)測誤差的概率分布一般通過預(yù)測可消除相關(guān)，所以預(yù)測誤差的概率分布一般在零點附近有一個高峰，并且與輸入信源分布相比其方在零點附近有一個高峰，并且與輸入信源分布相比其方差較小。差較小。p預(yù)測編碼的基本類型預(yù)測編碼的基本類

30、型nDPCM（差分脈碼調(diào)制）（差分脈碼調(diào)制）nPCM型型n噪聲反饋編碼噪聲反饋編碼(NFC)n預(yù)測誤差門限型預(yù)測誤差門限型2022-4-22625.4.4 變變 換換 編編 碼碼 p眾所周知，信源序列往往具有很強的相關(guān)性，要提高信眾所周知，信源序列往往具有很強的相關(guān)性，要提高信源的效率首先要解除信源的相關(guān)性。解除相關(guān)性可以在源的效率首先要解除信源的相關(guān)性。解除相關(guān)性可以在時域上進行時域上進行( (這就是上節(jié)中介紹的預(yù)測編碼這就是上節(jié)中介紹的預(yù)測編碼) )，也可以在，也可以在頻域，甚至在頻域，甚至在廣義頻域內(nèi)進行，這就是要在本節(jié)中介紹廣義頻域內(nèi)進行，這就是要在本節(jié)中介紹的的域變換編碼域變換編碼。

31、 p在信號分析中，對連續(xù)的模擬信號，如果它是周期性的在信號分析中，對連續(xù)的模擬信號，如果它是周期性的, ,則可采用傅氏級數(shù)展開，若是非周期性的則可采用傅氏級數(shù)展開，若是非周期性的, ,則可采用傅氏則可采用傅氏積分積分( (變換變換) )來表示，但無論是級數(shù)還是積分來表示，但無論是級數(shù)還是積分, ,都屬于一類都屬于一類正交變換，是從時域展開成頻域的變換。同理正交變換，是從時域展開成頻域的變換。同理, ,對離散的對離散的數(shù)據(jù)序列信號也可引入同樣的離散傅氏變換。而且，還數(shù)據(jù)序列信號也可引入同樣的離散傅氏變換。而且，還可以進一步將其推廣為廣義的頻域可以進一步將其推廣為廣義的頻域變換。變換。 2022-

32、4-2263p上一節(jié)討論的在空間和時間域上壓縮信源數(shù)據(jù)冗余量的預(yù)測上一節(jié)討論的在空間和時間域上壓縮信源數(shù)據(jù)冗余量的預(yù)測編碼的最大特點是直觀、簡潔、易于實現(xiàn)，特別是容易設(shè)計編碼的最大特點是直觀、簡潔、易于實現(xiàn)，特別是容易設(shè)計出具有實時性的硬件結(jié)構(gòu)。但是預(yù)測編碼的出具有實時性的硬件結(jié)構(gòu)。但是預(yù)測編碼的不足在于壓縮能不足在于壓縮能力有限力有限。具有更高壓縮能力的方法和目前最為成熟的方法是。具有更高壓縮能力的方法和目前最為成熟的方法是變換編碼變換編碼，特別是，特別是正交變換編碼方法正交變換編碼方法和目前和目前尚處于研究階段尚處于研究階段的的小波變換編碼小波變換編碼，這兩種方法都具有很強的數(shù)據(jù)壓縮能力。

33、，這兩種方法都具有很強的數(shù)據(jù)壓縮能力。 p變換編碼的基本原理就是將原來在空間域上描述的信號，通變換編碼的基本原理就是將原來在空間域上描述的信號，通過一種數(shù)學(xué)變換過一種數(shù)學(xué)變換( (例如，傅里葉變換、正交變換等例如，傅里葉變換、正交變換等) )變換到變變換到變換域換域( (如頻率域、正交矢量空間如頻率域、正交矢量空間) )中進行描述。簡單地講，即中進行描述。簡單地講，即把信號由空間域變換到變換域中，用變換系數(shù)來描述。這些把信號由空間域變換到變換域中，用變換系數(shù)來描述。這些變換系數(shù)之間的相關(guān)性明顯下降，并且能量常變換系數(shù)之間的相關(guān)性明顯下降，并且能量常常集常集中于低頻中于低頻或低序系數(shù)區(qū)域中，這樣

34、就容易實現(xiàn)碼率的壓縮，而且還大或低序系數(shù)區(qū)域中，這樣就容易實現(xiàn)碼率的壓縮，而且還大大降低了實現(xiàn)的難度。大降低了實現(xiàn)的難度。2022-4-22645.4.5 其它限失真信源編碼其它限失真信源編碼 p標量量化標量量化: : 連續(xù)信源限失真編碼的主要方法是量化，就是連續(xù)信源限失真編碼的主要方法是量化，就是把連續(xù)的樣值離散化為某些量化級數(shù)，所以量化也可稱為數(shù)把連續(xù)的樣值離散化為某些量化級數(shù)，所以量化也可稱為數(shù)字化。量化后的信號也可稱為數(shù)字信號，這種轉(zhuǎn)換必將引入字化。量化后的信號也可稱為數(shù)字信號，這種轉(zhuǎn)換必將引入失真，量化時必須使這些失真最小。常用的量化方法有標量失真，量化時必須使這些失真最小。常用的量

35、化方法有標量量化和矢量量化兩種，所謂標量量化是指每次只量化和矢量量化兩種，所謂標量量化是指每次只量化一個模量化一個模擬樣本值，故又叫做零記憶量化。擬樣本值，故又叫做零記憶量化。p矢量量化矢量量化: : 要想得到性能好的編碼，僅采用標量量化是不可要想得到性能好的編碼，僅采用標量量化是不可能的。在最佳編碼中，如將離散信源的多個符號進行聯(lián)合編能的。在最佳編碼中，如將離散信源的多個符號進行聯(lián)合編碼可提高效率，這對連續(xù)信源也是如此。當把多個信源符號碼可提高效率，這對連續(xù)信源也是如此。當把多個信源符號聯(lián)合起來形成多維矢量，再對矢量進行標量量化時，自由度聯(lián)合起來形成多維矢量，再對矢量進行標量量化時，自由度將

36、更大，同樣的失真下，量化級數(shù)可進一步減少，碼率將更大，同樣的失真下，量化級數(shù)可進一步減少，碼率可進可進一步壓縮。這種量化叫做矢量量化。一步壓縮。這種量化叫做矢量量化。 2022-4-2265p語音壓縮編碼語音壓縮編碼n語音壓縮編碼可分為語音壓縮編碼可分為波形編碼、參量編碼和混合編碼波形編碼、參量編碼和混合編碼三大類型。三大類型。n 波形編碼波形編碼的目的是在接收端恢復(fù)發(fā)端原語音的波形，并以波形的目的是在接收端恢復(fù)發(fā)端原語音的波形，并以波形的保真度即自然度為主要度量指標。的保真度即自然度為主要度量指標。n參量編碼參量編碼不同于波形編碼，它主要跟蹤波形產(chǎn)生的過程，并且不同于波形編碼，它主要跟蹤波形

37、產(chǎn)生的過程，并且僅傳送反映波形變化的主要參量，在接收端根據(jù)語音產(chǎn)生過程，僅傳送反映波形變化的主要參量，在接收端根據(jù)語音產(chǎn)生過程，利用這些參量恢復(fù)語音。它又稱為聲碼器，其主要度量指標是利用這些參量恢復(fù)語音。它又稱為聲碼器，其主要度量指標是可懂度?？啥取混合編碼混合編碼則介于波形編碼與參量編碼之間，即在參量編碼的基則介于波形編碼與參量編碼之間，即在參量編碼的基礎(chǔ)上，引入了波形編碼的特征，以達到改善自然度的目的，因礎(chǔ)上，引入了波形編碼的特征，以達到改善自然度的目的，因此，它一般也稱混合編碼為軟聲碼器。由于語音信源是屬于連此，它一般也稱混合編碼為軟聲碼器。由于語音信源是屬于連續(xù)的限失真信源續(xù)的限失

38、真信源,可以根據(jù)可以根據(jù)R(D)函數(shù)理論探討波形編碼的理論壓函數(shù)理論探討波形編碼的理論壓縮極限。縮極限。 2022-4-2266圖像壓縮編碼圖像壓縮編碼p在在20世紀世紀90年代，計算機技術(shù)、微電子技術(shù)和通信技術(shù)得到年代，計算機技術(shù)、微電子技術(shù)和通信技術(shù)得到迅猛發(fā)展。多媒體計算機、多媒體數(shù)據(jù)庫、多媒體通信、多迅猛發(fā)展。多媒體計算機、多媒體數(shù)據(jù)庫、多媒體通信、多媒體表現(xiàn)技術(shù)等多媒體研究領(lǐng)域也成為計算機和通信發(fā)展中媒體表現(xiàn)技術(shù)等多媒體研究領(lǐng)域也成為計算機和通信發(fā)展中的一個重要研究熱點。其中面臨最大的問題是數(shù)據(jù)量巨大的的一個重要研究熱點。其中面臨最大的問題是數(shù)據(jù)量巨大的“爆炸爆炸”。文件、表格、工程

39、圖紙等二值圖像的數(shù)據(jù)已較大。文件、表格、工程圖紙等二值圖像的數(shù)據(jù)已較大。p但相比之下，但相比之下，語音信號、靜止灰值圖像、彩色靜止圖像電視語音信號、靜止灰值圖像、彩色靜止圖像電視圖像、高清晰電視圖像圖像、高清晰電視圖像等的數(shù)據(jù)量更是巨大。特別是高清晰等的數(shù)據(jù)量更是巨大。特別是高清晰電視圖像。一般電視圖像的數(shù)據(jù)量要比語音的數(shù)據(jù)量大上千電視圖像。一般電視圖像的數(shù)據(jù)量要比語音的數(shù)據(jù)量大上千倍。因此，研究有效的倍。因此，研究有效的數(shù)據(jù)壓縮和解壓縮數(shù)據(jù)壓縮和解壓縮的技術(shù)成為重要的、的技術(shù)成為重要的、關(guān)鍵的研究方向。信息率失真理論從理論上指出，解決這種關(guān)鍵的研究方向。信息率失真理論從理論上指出，解決這種問

40、題的途徑是存在的、可能的。問題的途徑是存在的、可能的。2022-4-2267p靜止圖像壓縮編碼靜止圖像壓縮編碼n新聞圖片、醫(yī)療圖片、衛(wèi)星圖片以及圖像文獻資料新聞圖片、醫(yī)療圖片、衛(wèi)星圖片以及圖像文獻資料等均屬于靜止圖像。這類靜止圖片的壓縮，對傳輸?shù)染鶎儆陟o止圖像。這類靜止圖片的壓縮，對傳輸和存儲都具有重要的應(yīng)用價值。和存儲都具有重要的應(yīng)用價值。靜止圖像壓縮編碼靜止圖像壓縮編碼一般可劃分為一般可劃分為無失真編碼與限失真編碼無失真編碼與限失真編碼兩大類。對兩大類。對無失真編碼一般采用霍夫曼編碼或者算術(shù)編碼。限無失真編碼一般采用霍夫曼編碼或者算術(shù)編碼。限失真編碼主要有：幀內(nèi)、幀間的預(yù)測編碼；二維變失真

41、編碼主要有：幀內(nèi)、幀間的預(yù)測編碼；二維變換編碼：換編碼：KLT、DFT、DCT、HRT、SLT等等，以等等，以及子帶編碼、分層編碼、輪廓編碼、分形編碼、小及子帶編碼、分層編碼、輪廓編碼、分形編碼、小波變換等等，但主要以預(yù)測編碼和正交變換編碼為波變換等等，但主要以預(yù)測編碼和正交變換編碼為主主,JPEG標準是用于多個灰度及色度連續(xù)變化的靜標準是用于多個灰度及色度連續(xù)變化的靜止圖像編碼的國際標準。止圖像編碼的國際標準。 2022-4-2268p活動圖像壓縮編碼活動圖像壓縮編碼n 廣播電視、會議電視和可視電話等運動圖像信號，廣播電視、會議電視和可視電話等運動圖像信號，除幀內(nèi)像素間有相關(guān)性而外，幀與幀之

42、間也有很強除幀內(nèi)像素間有相關(guān)性而外，幀與幀之間也有很強的相關(guān)性，所以對這類信號的處理常用的相關(guān)性，所以對這類信號的處理常用幀間預(yù)測技幀間預(yù)測技術(shù)術(shù)。幀間預(yù)測不僅要利用本行的前幾個樣值和前幾。幀間預(yù)測不僅要利用本行的前幾個樣值和前幾行的相鄰取樣值，而且要利用上一幀或前幾幀的取行的相鄰取樣值，而且要利用上一幀或前幾幀的取樣值來估計當前幀內(nèi)的像素值，因此幀間預(yù)測是一樣值來估計當前幀內(nèi)的像素值，因此幀間預(yù)測是一種三維預(yù)測方法。它在幀內(nèi)預(yù)測種三維預(yù)測方法。它在幀內(nèi)預(yù)測的基礎(chǔ)上，再利用的基礎(chǔ)上，再利用幀間的時間相關(guān)性進一步消除圖像信號的冗余度，幀間的時間相關(guān)性進一步消除圖像信號的冗余度，提高壓縮比。提高壓

43、縮比。 2022-4-2269p視頻壓縮編碼視頻壓縮編碼n電視信號具有很強的相關(guān)性和巨大的數(shù)據(jù)量，因此電視電視信號具有很強的相關(guān)性和巨大的數(shù)據(jù)量，因此電視信號需要進行數(shù)據(jù)壓縮，數(shù)字電視和高分辨率的電視信號需要進行數(shù)據(jù)壓縮，數(shù)字電視和高分辨率的電視（HDTV)將是將是21世紀人類使用的主要電視系統(tǒng)，這是由世紀人類使用的主要電視系統(tǒng)，這是由于數(shù)字電視比模擬電視具有很多突出優(yōu)點而決定的。于數(shù)字電視比模擬電視具有很多突出優(yōu)點而決定的。n數(shù)字圖像的質(zhì)量遠高于模擬電視圖像。例如數(shù)字圖像的質(zhì)量遠高于模擬電視圖像。例如,數(shù)字電視信數(shù)字電視信號的抗噪聲干擾及克服非線性失真都明顯地優(yōu)于模擬電號的抗噪聲干擾及克服非

44、線性失真都明顯地優(yōu)于模擬電視信號，能克服高樓大廈對電波反射所造成的重影問題。視信號，能克服高樓大廈對電波反射所造成的重影問題。數(shù)字電視信號經(jīng)過多次中繼再生。數(shù)字電視廣播數(shù)字電視信號經(jīng)過多次中繼再生。數(shù)字電視廣播,在廣闊在廣闊范圍內(nèi)具有同等優(yōu)良的圖像質(zhì)量。數(shù)字電視可以實現(xiàn)模范圍內(nèi)具有同等優(yōu)良的圖像質(zhì)量。數(shù)字電視可以實現(xiàn)模擬電視難于實現(xiàn)的復(fù)雜的電視信號處理和加工，如數(shù)字擬電視難于實現(xiàn)的復(fù)雜的電視信號處理和加工，如數(shù)字視頻特技效果。數(shù)字電視能克服全球各種模擬電視制式視頻特技效果。數(shù)字電視能克服全球各種模擬電視制式難于統(tǒng)一的問題，實現(xiàn)不同電視制式的自動轉(zhuǎn)換等。難于統(tǒng)一的問題，實現(xiàn)不同電視制式的自動轉(zhuǎn)換等。2022-4-2270p 數(shù)字電視信號易于實現(xiàn)計算機控制和自動化操作、管理，數(shù)字電視信號易于實現(xiàn)計算機控制和自動化操作、管理，易于實現(xiàn)廣播電視與計算機網(wǎng)絡(luò)和電話網(wǎng)的三網(wǎng)合一，為多易于實現(xiàn)廣播電視與計算機網(wǎng)絡(luò)和電話網(wǎng)的三網(wǎng)合一，為多媒體信息的傳輸、存儲、同步、交互和融合創(chuàng)造條件。數(shù)字媒體信息的傳輸、存儲、同步、交互和融合創(chuàng)造條件。數(shù)字電視系統(tǒng)采用大規(guī)模數(shù)字集成電路，大大提高了電視設(shè)備的電視系統(tǒng)采用大規(guī)模數(shù)字集成電路，大大提高了電視設(shè)備的穩(wěn)定性、可靠性。電視信號數(shù)字化后也存在