第2章-香農(nóng)定理

第2章香農(nóng)定理§2.1信息量和熵§2.2信道容量及香農(nóng)定理§2.1信息量和熵哈特萊信息度量關系：若以2為底時單位是“比特”（bit—binaryunit）若以e為底時單位是“奈特”（nat—natureunit）若以10為底時單位是“哈特”（Hart—Hartley）

例：已知某離散信源由A、B、C、D四個符號組成，其發(fā)送概率分別為

若每個符號的出現(xiàn)都是統(tǒng)計獨立的。求傳送“BABCCDBDCBBAAB”所包含的信息量符號ABCD概率1/41/81/21/8離散信源的熵離散信源的熵即指離散信源的平均信息量。例：已知某離散信源由A、B、C、D四個符號組成，其發(fā)送概率分別為

若每個符號的出現(xiàn)都是統(tǒng)計獨立的。求該離散信源的熵。符號ABCD概率1/41/81/21/8§2.2信道容量及香農(nóng)定理信道容量：指信道在無差錯傳輸信息時的最大信息傳輸速率。它反映了信道的傳輸能力。噪聲按來源分類人為噪聲：它是由人類的活動產(chǎn)生的，例如電鉆和電氣開關瞬態(tài)造成的電火花、汽車點火系統(tǒng)產(chǎn)生的電火花、熒光燈產(chǎn)生的干擾、其它電臺和家電用具產(chǎn)生的電磁波輻射等。自然噪聲：它是自然界中存在的各種電磁波輻射，例如閃電、大氣噪聲，以及來自太陽和銀河系等的宇宙噪聲。此外還有一種很重要的自然噪聲，即熱噪聲。熱噪聲來自一切電阻性元器件中電子的熱運動。例如，導線、電阻和半導體器件等均會產(chǎn)生熱噪聲。所以熱噪聲無處不在，不可避免地存在于一切電子設備中。噪聲按性質(zhì)分類脈沖噪聲：它是突發(fā)性地產(chǎn)生的幅度很大、持續(xù)時間很短、間隔時間很長的干擾。由于其持續(xù)時間很短，故其頻譜較寬，可以從低頻一直分布到甚高頻，但是頻率越高其頻譜的強度越小。電火花就是一種典型的脈沖噪聲。窄帶噪聲：它可以看作是一種非所需的連續(xù)的已調(diào)正弦波，或簡單地就是一個幅度恒定的單一頻率的正弦波。通常它來自相鄰電臺或其它電子設備。窄帶噪聲的頻率位置通常是確知的或可以測知的。起伏噪聲：它是在時域和頻域內(nèi)都普遍存在的隨機噪聲。熱噪聲、電子管內(nèi)產(chǎn)生的散彈噪聲和宇宙噪聲等都屬于起伏噪聲。香農(nóng)定理香農(nóng)公式的表達式：C：信道容量B：傳輸帶寬S/N：信噪比香農(nóng)簡介

克勞德·香農(nóng)——1916年4月30日出生于美國密歇根州的加洛德（Petoskey），1936年畢業(yè)于密歇根大學并獲得數(shù)學和電子工程學士學位，1940年獲得麻省理工學院（MIT）數(shù)學博士學位和電子工程碩士學位。1941年他加入貝爾實驗室數(shù)學部，工作到1972年。1956年他成為麻省理工學院（MIT）客座教授，并于1958年成為終生教授，1978年成為名譽教授。香農(nóng)博士于2001年2月26日去世，享年84歲。香農(nóng)公式的重要結(jié)論當信道的傳輸帶寬一定時，接收端的信噪比越大，其系統(tǒng)的信道容量越大。當噪聲功率趨近0時，信道容量趨近無窮。當接收端的信噪比一定時，信道的傳輸帶寬越大，其系統(tǒng)的信道容量也越大。當信道帶寬趨于無窮時，信道容量并不趨于無窮，而是趨于一個固定值。香農(nóng)公式的重要結(jié)論當信道容量一定時，信道帶寬與信噪比可以互換。比如，可以通過增加系統(tǒng)的傳輸帶寬來降低接收機對信噪比的要求，即以犧牲系統(tǒng)的有效性來換取系統(tǒng)的可靠性，這也正是擴頻通信的理論基礎。例：已知彩色電視圖像由500000個像素組成，設每個像素有64種彩色度，每種彩色度有16個亮度等級。如果所有彩色度和亮度等級的組合機會均等，并統(tǒng)計獨立。計算：

1）每秒傳送100個畫面所需的信道容量。2）若接收機的信噪比為30dB，則所需的傳輸帶寬為多少。課堂測驗1.如果一個由字母ABCD組成的字，將每個字母用兩位二進制脈沖編碼，其中00代表A，01代表B，10代表C，11代表D，每位寬度為5ms。（1）當不同的字母等概出現(xiàn)時，計算傳輸?shù)钠骄畔⑺俾?。?）若每個字母出現(xiàn)的概率分別為PA=1/5,PB=1/4,PC=1/4,PD=3/10,計算傳輸?shù)男畔⑺俾省?.在強噪聲干擾環(huán)境下，某電臺在5分鐘內(nèi)共接收到正確的比特數(shù)為355Mbit，假設系統(tǒng)的信息速率為1200Kbps。（1）系統(tǒng)的誤比特率。（2）若具體指出系統(tǒng)所傳輸?shù)臄?shù)字信號為四進制，試求信息傳輸速率和碼元傳輸速率。3.某信息源包含XYZW四個符號，這四個符號出現(xiàn)的概率相等，傳輸時采用二進制進行，已知信息