信息傳輸基礎(chǔ)03

2信源的數(shù)字化與壓縮系統(tǒng)評價錢慧福州大學(xué)信源處理的步驟信源處理數(shù)字化(A/D)變換數(shù)據(jù)壓縮處理數(shù)字壓縮系統(tǒng)的的評價模擬信號在幅度、時間和空間上離散化：

圖像等多維信源在空間上需要離散化（隱含在時間離散化）彩色三色基也要離散化

降低數(shù)字信號的碼率減少所需要的信號空間保持一定的信號質(zhì)量、能夠?qū)崿F(xiàn)的系統(tǒng)復(fù)雜性以及允許的通信時延等。壓擴量化壓縮器擴張器帶記憶量化實際信號各樣植之間存在著相關(guān)性，如能合理利用這些相關(guān)性，就能進一步壓縮數(shù)據(jù)率ＤＰＣＭＶＱ（矢量量化）ＶＣ（矢量量化）編碼矢量量化的基本結(jié)構(gòu)§２.３信號壓縮系統(tǒng)的性能評價客觀度量一維信號(如語音信號)

連續(xù)波形

波形差值

均方誤差（MSE）

離散波形輸入/輸出樣值之差均方誤差（MSE）

通常

對于理想的重建濾波器,可以證明離散時間誤差與連續(xù)時間誤差在數(shù)值上相等,因此對編碼波形質(zhì)量的客觀評價與優(yōu)化設(shè)計更多地在離散時間域進行。信噪比定義：

抽樣信號方差對重建誤差方差的比值

（2.4.5）

二維信號（如圖像信號）峰值信噪比對于8位灰度圖像

(2.4.6b)（2.4.6a）

用MSE來度量波形用SNR來度量數(shù)字波形的主觀感覺并不適宜數(shù)值大的重建誤差比數(shù)值小者對波形失真的影響大得多。意味著歸一化均方誤差（2.4.7）

對NMSE的倒數(shù)取對數(shù)，得到等效的信噪比（2.4.8）（表達黑白圖像的逼真度）峰值均方誤差

（2.4.9）對PMSE的倒數(shù)取對數(shù)，得到等效的峰值信噪比

(2.4.10)主觀測量３理論極限與基本途徑§３.１離散無記憶信源自信息和一階熵[例]8個串聯(lián)的燈泡x1，x2，…，x8，其損壞的可能性是等概率的，現(xiàn)假設(shè)其中有一個燈泡已損壞，問每進行一次測量可獲得多少信息量？總共需要多少次測量才能獲知和確定哪個燈泡已損壞。解：收到某消息獲得的信息量(即收到某消息后獲得關(guān)于某事件發(fā)生的信息量)

＝不確定性減少的量＝(收到此消息前關(guān)于某事件發(fā)生的不確定性)-(收到此消息后關(guān)于某事件發(fā)生的不確定性)已知8個燈泡等概率損壞，所以先驗概率P(x1)＝1/8

，即第二次測量獲得的信息量=

I[P(x2)]-I[P(x3)]=1(bit)第三次測量獲得的信息量=

I[P(x3)]=1(bit)至少要獲得3個比特的信息量就可確切知道哪個燈泡已壞了。

第一次測量獲得的信息量=

I[P(x1)]-I[P(x2)]=1(bit)經(jīng)過二次測量后，剩2個燈泡，等概率損壞，P(x3)＝1/2一次測量后，剩4個燈泡，等概率損壞，P(x2)＝1/4平均自信息例

有一布袋內(nèi)放l00個球，其中80個球是紅色的，20個球是白色的。隨便摸出一個球，猜測是什么顏色，那么其概率空間為：如果被告知摸出的是紅球，那么獲得的信息量是：

I(a1)

＝－logp(a1)

＝－log0.8=0.32

（比特）如被告知摸出來的是白球，所獲得的信息量應(yīng)為：

I(a2)

＝

－logp(a2)

＝－log0.2

=2.32

（比特）平均摸取一次所能獲得的信息量為：

H(X)=

p(a1)

I(a1)+p(a2)I(a2)

=0.72（比特/符號）[例2]設(shè)甲地的天氣預(yù)報為：晴(占4／8)、陰(占2／8)、大雨(占1／8)、小雨(占1／8)。又設(shè)乙地的天氣預(yù)報為：晴(占7／8)，小雨(占1／8)。試求兩地天氣預(yù)報各自提供的平均信息量。若甲地天氣預(yù)報為兩極端情況，一種是晴出現(xiàn)概率為1而其余為0。另一種是晴、陰、小雨、大雨出現(xiàn)的概率都相等為1／4。試求這兩極端情況所提供的平均信息量。又試求乙地出現(xiàn)這兩極端情況所提供的平均信息量。兩個信源解：甲地天氣預(yù)報構(gòu)成的信源空間為:則其提供的平均信息量即信源的信息熵:乙地天氣預(yù)報的信源空間為:結(jié)論：甲地天氣預(yù)報提供的平均信息量大于乙地，因為乙地比甲地的平均不確定性小。甲地極端情況極端情況1：晴天概率＝1

結(jié)論：等概率分布時信源的不確定性最大，所以信息熵（平均信息量）最大。極端情況2：各