信息率失真理論及其應(yīng)用 11.1 (2)

1、1 信息率失真理論不僅被應(yīng)用于信息傳輸來解決信源的壓信息率失真理論不僅被應(yīng)用于信息傳輸來解決信源的壓縮編碼問題，也被應(yīng)用于縮編碼問題，也被應(yīng)用于質(zhì)量檢測(cè)和科學(xué)管理質(zhì)量檢測(cè)和科學(xué)管理中。中。 例例4.6某印刷電路板（某印刷電路板（PCB）加工廠的產(chǎn)品合格率約為）加工廠的產(chǎn)品合格率約為98%。一塊好的。一塊好的PCB板出廠價(jià)約為板出廠價(jià)約為100元，但如果客戶元，但如果客戶發(fā)現(xiàn)一塊不合格的板子可向廠方索賠發(fā)現(xiàn)一塊不合格的板子可向廠方索賠10 000元。已知廠元。已知廠方檢驗(yàn)員檢驗(yàn)的正確率約為方檢驗(yàn)員檢驗(yàn)的正確率約為95%，試用信息率失真理論，試用信息率失真理論來分析檢驗(yàn)的作用并作比較。假設(shè)合格品出

2、廠、廢品報(bào)來分析檢驗(yàn)的作用并作比較。假設(shè)合格品出廠、廢品報(bào)廢都不造成損失。廢都不造成損失。解解根據(jù)題意，可將根據(jù)題意，可將PCB產(chǎn)品作為一信源，且有產(chǎn)品作為一信源，且有 信源空間：信源空間： 好（合格）好（合格） 廢（廢品）廢（廢品） P(好好)=0.98 P(廢廢)=0.024.3信息率失真函數(shù)與信息價(jià)值信息率失真函數(shù)與信息價(jià)值2 選擇失真函數(shù)選擇失真函數(shù)為為 d(好，好好，好)=0 d(廢，廢廢，廢)=0 d(好，廢好，廢)=100 d(廢，好廢，好)=10 000 將產(chǎn)品檢驗(yàn)分成將產(chǎn)品檢驗(yàn)分成4種情況種情況：全部產(chǎn)品都當(dāng)合格品，全部：全部產(chǎn)品都當(dāng)合格品，全部產(chǎn)品都當(dāng)廢品，完美的檢驗(yàn)和允許

3、出錯(cuò)的檢驗(yàn)。產(chǎn)品都當(dāng)廢品，完美的檢驗(yàn)和允許出錯(cuò)的檢驗(yàn)。 情況情況1全部產(chǎn)品不經(jīng)檢驗(yàn)而出廠全部產(chǎn)品不經(jīng)檢驗(yàn)而出廠都當(dāng)合格品都當(dāng)合格品 把這一過程看作是一個(gè)把這一過程看作是一個(gè)“信道信道”，其，其“傳遞概率傳遞概率”為為 P(好好/好好)=1 P(廢廢/好好)=0P(好好/廢廢)=1P(廢廢/廢廢)=0 信道矩陣為信道矩陣為廢好廢好0101 信息率失真函數(shù)與信息價(jià)值信息率失真函數(shù)與信息價(jià)值3 這種情況的平均損失，即平均失真度，為這種情況的平均損失，即平均失真度，為 =P(好好) P(好好/好好) d(好好,好好)+ P(好好) P(廢廢/好好) d(好好,廢廢) +P(廢廢) P(好好/廢話廢話)

4、 d(廢廢,好好)+ P(廢廢) P(廢廢/廢廢) d(廢廢, 廢廢) =0.02 1 10 000=200元元/塊塊 即這種情況即這種情況每銷售出去一塊每銷售出去一塊PCB板板，加工廠，加工廠將要另外承擔(dān)將要另外承擔(dān)可能損失可能損失200元的風(fēng)險(xiǎn)元的風(fēng)險(xiǎn)。考慮到每塊銷售?？紤]到每塊銷售100元，實(shí)際上是元，實(shí)際上是每賣出一塊可能要實(shí)際凈損失每賣出一塊可能要實(shí)際凈損失100元元。 情況情況2全部產(chǎn)品不經(jīng)檢驗(yàn)全部報(bào)廢全部產(chǎn)品不經(jīng)檢驗(yàn)全部報(bào)廢都當(dāng)廢品都當(dāng)廢品 信道傳輸概率為信道傳輸概率為P(好好/好好)=0 P(廢廢/好好)=1 P (好好/廢廢)=0 P (廢廢/廢廢)=1 信道矩陣為信道矩陣為

5、),b)d(aaP(b)P(aDjiijiji/廢好廢好1010信息率失真函數(shù)與信息價(jià)值信息率失真函數(shù)與信息價(jià)值4 平均失真度為平均失真度為 =P(好好) P(好好/好好) d(好好,好好)+ P(好好) P(廢廢/好好) d(好好,廢廢) +P(廢廢) P(好好/廢廢) d(廢廢,好好)+ P(廢廢) P(廢廢/廢廢) d(廢廢, 廢廢) =0.98 1 10 0=98元元/塊塊 即即每生產(chǎn)一塊每生產(chǎn)一塊PCB板，加工廠將有損失板，加工廠將有損失98元的風(fēng)險(xiǎn)元的風(fēng)險(xiǎn)。因。因?yàn)榘褳榘?8本來可以賣本來可以賣100元一塊的板子也報(bào)廢了。元一塊的板子也報(bào)廢了。 比較情況比較情況1、2可知，可知，做

6、出全部報(bào)廢決定造成的損失，要做出全部報(bào)廢決定造成的損失，要小于做出全部出廠決定所造成的損失小于做出全部出廠決定所造成的損失。不做任何檢驗(yàn)，。不做任何檢驗(yàn)，在全部出廠和全部報(bào)廢兩者之間抉擇，選擇后者的損失在全部出廠和全部報(bào)廢兩者之間抉擇，選擇后者的損失反而小。因此，有反而小。因此，有 ； 產(chǎn)品未進(jìn)行質(zhì)量管理，相當(dāng)于信源沒有輸出任何信息量。產(chǎn)品未進(jìn)行質(zhì)量管理，相當(dāng)于信源沒有輸出任何信息量。),b)d(aaP(b)P(aDjiijiji/max98D0)(maxDR信息率失真函數(shù)與信息價(jià)值信息率失真函數(shù)與信息價(jià)值5 情況情況3正確無誤地判斷合格品和廢品正確無誤地判斷合格品和廢品完美的檢驗(yàn)完美的檢驗(yàn)

7、相當(dāng)于相當(dāng)于無噪信道無噪信道情況，信道矩陣情況，信道矩陣 平均失真度為平均失真度為 即這種情況即這種情況不會(huì)另外造成損失不會(huì)另外造成損失。 下面探討每一比特信息量的價(jià)值。為此先求該信源的熵，下面探討每一比特信息量的價(jià)值。為此先求該信源的熵，有：有：H(X)=R(0)=0.98lb20.980.02lb20.02=0.142 比特比特/塊塊 該式說明，如果從每塊該式說明，如果從每塊PCB板上獲取板上獲取0.142比特的信息比特的信息量，就可以避免一切細(xì)小的損失。量，就可以避免一切細(xì)小的損失。 可能造成的最大損失為可能造成的最大損失為 98元元/塊，所以塊，所以0.142比特信息量比特信息量的最大

8、價(jià)值為的最大價(jià)值為98元，則每一比特信息的最大價(jià)值為元，則每一比特信息的最大價(jià)值為廢好廢好10010D 比特元/ 14.690142. 098 信息率失真函數(shù)與信息價(jià)值信息率失真函數(shù)與信息價(jià)值6 情況情況4 檢測(cè)時(shí)允許有一定的錯(cuò)誤檢測(cè)時(shí)允許有一定的錯(cuò)誤非完美的檢驗(yàn)非完美的檢驗(yàn) 依題意檢驗(yàn)的依題意檢驗(yàn)的正確率約為正確率約為95%，則信道的傳輸概率為，則信道的傳輸概率為 P(好好/好好)=0.95 P(廢廢/好好)=0.05 P(好好/廢廢)=0.05 P(廢廢/廢廢)=0.95 信道矩陣為信道矩陣為 平均失真度平均失真度 =P(好好) P(廢廢/好好) d(好好, 廢廢)+P(廢廢) P(好好/

9、廢廢) d(廢廢,好好) =0.98 0.05 10 0+0.02 0.05 10 000 = 14.9元元/塊塊 即這種情況每銷售出去一塊即這種情況每銷售出去一塊PCB板，加工廠將要另外承板，加工廠將要另外承擔(dān)可能損失擔(dān)可能損失14.9元的風(fēng)險(xiǎn)?？紤]到每塊銷售元的風(fēng)險(xiǎn)?？紤]到每塊銷售100元，實(shí)際元，實(shí)際上是每賣出一塊實(shí)際收益至少是上是每賣出一塊實(shí)際收益至少是85.1元。元。廢好廢好0.950.050.050.95),b)d(aaP(b)P(aDjiijiji/ 信息率失真函數(shù)與信息價(jià)值信息率失真函數(shù)與信息價(jià)值7 從從可能帶來的另外損失角度可能帶來的另外損失角度考慮，這種情況和最大損考慮，這

10、種情況和最大損失（失（98元）相比，其減少量為元）相比，其減少量為98 14.9 = 83.1 (元元) 減少的原因是由于從檢驗(yàn)的過程中獲取了信息量，如減少的原因是由于從檢驗(yàn)的過程中獲取了信息量，如前所述，前所述，檢驗(yàn)的過程好比檢驗(yàn)的過程好比“信道信道”，獲取的信息量也，獲取的信息量也就是平均互信息量就是平均互信息量I(X;Y)，可用，可用I(X;Y)=H(X) H(Y|X)求得。現(xiàn)在來求求得?，F(xiàn)在來求H(Y/X)，為此先求，為此先求H(Y)。 設(shè)出廠產(chǎn)品為信宿設(shè)出廠產(chǎn)品為信宿Y，則有，則有 PY(好好)=P(好好) P(好好/好好)+ P(廢廢) P(好好/廢廢) =0.98 0.95+0.

11、02 0.05=0.932 PY(廢廢)=0.068 則信宿熵為則信宿熵為 H(Y)=H0.932, 0.068=0.358 比特比特/每一出廠產(chǎn)品每一出廠產(chǎn)品 信息率失真函數(shù)與信息價(jià)值信息率失真函數(shù)與信息價(jià)值8 每生產(chǎn)一個(gè)產(chǎn)品，每生產(chǎn)一個(gè)產(chǎn)品，對(duì)應(yīng)于是廢品還是合格品的平均不確對(duì)應(yīng)于是廢品還是合格品的平均不確定度定度為為 =0.287 比特比特/每一出廠產(chǎn)品每一出廠產(chǎn)品 I(X;Y)=0.358 0.287=0.071比特比特/每一出廠產(chǎn)品每一出廠產(chǎn)品 通過允許有錯(cuò)的檢驗(yàn)，平均而言從對(duì)每塊通過允許有錯(cuò)的檢驗(yàn)，平均而言從對(duì)每塊PCB板的檢驗(yàn)板的檢驗(yàn)中只獲取了中只獲取了0.071比特的信息量比特的

12、信息量，但是其損失比不檢驗(yàn)時(shí)，但是其損失比不檢驗(yàn)時(shí)減少了減少了83.1元，也就是說元，也就是說 0.071比特信息量?jī)r(jià)值為比特信息量?jī)r(jià)值為83.1元，元，故每比特價(jià)值為故每比特價(jià)值為 而情況而情況3每比特信息量的價(jià)值為每比特信息量的價(jià)值為690.14元。元。比較而言，第比較而言，第4種情況的信息價(jià)格最高，是最合算的檢驗(yàn)準(zhǔn)則種情況的信息價(jià)格最高，是最合算的檢驗(yàn)準(zhǔn)則。)aP(b)aP(b)P(aHijijiji|lb|)|(XY比特元/ 4 .1170071. 01 .83 信息率失真函數(shù)與信息價(jià)值信息率失真函數(shù)與信息價(jià)值9把上述概念一般化，有：把上述概念一般化，有：（1）信息率）信息率R的價(jià)值的

13、價(jià)值 在保真度準(zhǔn)則下，信息速率在保真度準(zhǔn)則下，信息速率R是設(shè)計(jì)時(shí)允許失真是設(shè)計(jì)時(shí)允許失真D的函數(shù)，的函數(shù)，R(D)與與D的一般關(guān)系如圖的一般關(guān)系如圖8.8所示。但也可以求出所示。但也可以求出R(D)的的反函數(shù)反函數(shù)D =D(R)，同樣，給出一個(gè)，同樣，給出一個(gè)R值，就有一個(gè)值，就有一個(gè)D與之與之對(duì)應(yīng)。對(duì)應(yīng)。 定義定義8.6 信息率信息率R的價(jià)值用的價(jià)值用V表示表示，定義為，定義為 V = Dmax D(R) （8.164） 它的含義是當(dāng)獲取關(guān)于信源它的含義是當(dāng)獲取關(guān)于信源X某一信息率某一信息率R(D)時(shí)，平均時(shí)，平均損失從損失從Dmax降低到降低到D所具有的差值。所具有的差值。 例如，圖例如，

14、圖8.8中對(duì)應(yīng)于中對(duì)應(yīng)于R1，V1=DmaxD1；對(duì)應(yīng)于；對(duì)應(yīng)于R2， V2=DmaxD2。信息率失真函數(shù)與信息價(jià)值信息率失真函數(shù)與信息價(jià)值10DR(D)( )H x1RR2R1DD2DmaxD圖8.8信息率失真函數(shù)圖11 （2）信息率）信息率R的價(jià)值率的價(jià)值率 定義定義8.7 信息率信息率R的價(jià)值率用的價(jià)值率用v表示，定義為每比特信息表示，定義為每比特信息量的價(jià)值量的價(jià)值，即信息率，即信息率R的價(jià)值率為的價(jià)值率為（8.165） 例例8.7 設(shè)某地區(qū)的天氣狀況可簡(jiǎn)單地用好天氣和壞天氣設(shè)某地區(qū)的天氣狀況可簡(jiǎn)單地用好天氣和壞天氣來表示，據(jù)長(zhǎng)期統(tǒng)計(jì)，它們的概率分別為來表示，據(jù)長(zhǎng)期統(tǒng)計(jì)，它們的概率分別

15、為P(好好) = 4/5和和P(壞壞) = 1/5。假如對(duì)某種生產(chǎn)，把次日是好天氣當(dāng)壞天。假如對(duì)某種生產(chǎn)，把次日是好天氣當(dāng)壞天氣來準(zhǔn)備和把壞天氣當(dāng)好天氣來準(zhǔn)備都會(huì)損失氣來準(zhǔn)備和把壞天氣當(dāng)好天氣來準(zhǔn)備都會(huì)損失a元，否元，否則無損失。（則無損失。（1）試求完全正確預(yù)報(bào)的信息率價(jià)值）試求完全正確預(yù)報(bào)的信息率價(jià)值V及信及信息價(jià)值率息價(jià)值率v；（；（2）若氣象臺(tái)的誤報(bào)概率為）若氣象臺(tái)的誤報(bào)概率為10%，再求，再求V及及v。max( )()()DD RVvR DR D 信息率失真函數(shù)與信息價(jià)值信息率失真函數(shù)與信息價(jià)值12解解（1） V=Dmax 0 = a /5 元元 R(D1) = -0.8 lb0.8

16、 0.2 lb0.2 0.722 （2） =P(好好) P(壞壞/好好) d(好好, 壞壞)+P(壞壞) P(好好/壞壞) d(壞壞,好好) =0.8 0.05 a+0.2 0.05 a = a /20 1444. 0722. 05/)(1aaDRVv元/比特 壞好好壞0.80.20.20.8),b)d(aaP(b)P(aDjiijiji/2 信息率失真函數(shù)與信息價(jià)值信息率失真函數(shù)與信息價(jià)值2max14min( )min,555iijjia aaDp a d13(續(xù)續(xù)) V = Dmax D2 = a /10 a /20 = a /20 P2 (好好)=P(好好) P(好好/好好) +P(壞壞

17、) P(壞壞) =0.8 0.95+0.2 0.05=0.77 P2 (壞壞)=0.23 H(Y) = 0.77lb0.77+0.23lb0.23 0.778 I(X;Y) = 0.778 0.286 = 0.492286. 0|lb|)|()aP(b)aP(b)P(aHijijijiXY比特元/ 102. 0492. 020/)(2aaDRVv信息率失真函數(shù)與信息價(jià)值信息率失真函數(shù)與信息價(jià)值14本章小結(jié)本章小結(jié) 本章討論了離散消息的失真函數(shù)和信息率失真函數(shù)，同本章討論了離散消息的失真函數(shù)和信息率失真函數(shù)，同時(shí)對(duì)連續(xù)消息也做了相應(yīng)的討論。時(shí)對(duì)連續(xù)消息也做了相應(yīng)的討論。限失真信源編碼定理限失真信

18、源編碼定理是本章的重點(diǎn)是本章的重點(diǎn)，由此引出了信息價(jià)值這一具有實(shí)際意義，由此引出了信息價(jià)值這一具有實(shí)際意義的概念。但的概念。但該定理只是一個(gè)存在性定理該定理只是一個(gè)存在性定理。在實(shí)際應(yīng)用中，。在實(shí)際應(yīng)用中，該理論主要存在著兩大類問題。第一類問題是符合實(shí)際該理論主要存在著兩大類問題。第一類問題是符合實(shí)際信源的信源的R(D)函數(shù)的計(jì)算相當(dāng)困難。首先，需要對(duì)實(shí)際信函數(shù)的計(jì)算相當(dāng)困難。首先，需要對(duì)實(shí)際信源的統(tǒng)計(jì)特性有確切的數(shù)學(xué)描述；其次，需要對(duì)符合主、源的統(tǒng)計(jì)特性有確切的數(shù)學(xué)描述；其次，需要對(duì)符合主、客觀實(shí)際的失真給予正確的度量，否則不能求得符合主、客觀實(shí)際的失真給予正確的度量，否則不能求得符合主、客

19、觀實(shí)際的客觀實(shí)際的R(D)函數(shù)。函數(shù)。 第第2類問題是即便求得了符合實(shí)際的信息率失真函數(shù)，類問題是即便求得了符合實(shí)際的信息率失真函數(shù)，還需要研究采取何種最佳編碼方法才能達(dá)到極限值。盡還需要研究采取何種最佳編碼方法才能達(dá)到極限值。盡管如此，限失真信源編碼定理仍為信源的壓縮編碼指明管如此，限失真信源編碼定理仍為信源的壓縮編碼指明了方向，是各種信源壓縮編碼的理論基礎(chǔ)。了方向，是各種信源壓縮編碼的理論基礎(chǔ)。15本章總結(jié)本章總結(jié)問題：?jiǎn)栴}：在允許一定程度的失真條件下，信在允許一定程度的失真條件下，信源信息能夠壓縮到何種程度？至少需要多源信息能夠壓縮到何種程度？至少需要多少比特的信息率才能描述信源？少比特

20、的信息率才能描述信源？香農(nóng)信息率失真理論指出：香農(nóng)信息率失真理論指出： 在允許一定失真度在允許一定失真度D的情況下，信源的情況下，信源輸出的信息率可壓縮到輸出的信息率可壓縮到R(D)。16本章總結(jié)本章總結(jié)定義失真函數(shù)：定義失真函數(shù)：0,( ,),0,ijijijxyd x yxy17本章總結(jié)本章總結(jié)失真矩陣失真矩陣失真度還可表示成矩陣的形式失真度還可表示成矩陣的形式稱稱d 為失真矩陣。它是為失真矩陣。它是nm階矩陣階矩陣。111212122212(,)(,)(,)(,)(,)(,)(,)(,)(,)mmnnnmd x yd x yd x yd xyd xyd xyd xyd xyd xyd18

21、本章總結(jié)本章總結(jié)2)/11ijijijijijijiijijijij幾種常用的失真函數(shù)：（1）均方失真 d(x ,y )=(x -y（2）絕對(duì)失真 d(x ,y )= x -y（3）相對(duì)失真 d(x ,y )= x -yx0，xy（4）誤碼失真 d(x ,y )= (x ,y )=， 其他0， i=j（5） d(x ,y )=，漢明失真其他19本章總結(jié)本章總結(jié)平均失真定義：平均失真定義：平均失真為失真函數(shù)的數(shù)學(xué)期望，平均失真為失真函數(shù)的數(shù)學(xué)期望，11(/,)( ) ()inmiijijjp xd x yyDpx20 保真度準(zhǔn)則保真度準(zhǔn)則人們所允許的失真指的都是平均意義上的失真。人們所允許的失真指的都是平均意義上的失真。規(guī)定平均失真度規(guī)定平均失真度 不能超過某一限定的值不能超過某一限定的值D，即即 ，則，則D就是允許失真的上界。該式稱就是允許失真的上界。該式稱為保真度準(zhǔn)則。為保真度準(zhǔn)則。DDD本章總結(jié)本章總結(jié)21信源編碼器信源編碼器(/)jip yx輸入XXx1, x2, xi, xn輸出YYy1,y2,yj,ym假想信道假想信道圖