第2章-香農(nóng)定理

第2章香農(nóng)定理§2.1信息量和熵§2.2信道容量及香農(nóng)定理§2.1信息量和熵哈特萊信息度量關(guān)系：若以2為底時(shí)單位是“比特”（bit—binaryunit）若以e為底時(shí)單位是“奈特”（nat—natureunit）若以10為底時(shí)單位是“哈特”（Hart—Hartley）

例：已知某離散信源由A、B、C、D四個(gè)符號組成，其發(fā)送概率分別為

若每個(gè)符號的出現(xiàn)都是統(tǒng)計(jì)獨(dú)立的。求傳送“BABCCDBDCBBAAB”所包含的信息量符號ABCD概率1/41/81/21/8離散信源的熵離散信源的熵即指離散信源的平均信息量。例：已知某離散信源由A、B、C、D四個(gè)符號組成，其發(fā)送概率分別為

若每個(gè)符號的出現(xiàn)都是統(tǒng)計(jì)獨(dú)立的。求該離散信源的熵。符號ABCD概率1/41/81/21/8§2.2信道容量及香農(nóng)定理信道容量：指信道在無差錯(cuò)傳輸信息時(shí)的最大信息傳輸速率。它反映了信道的傳輸能力。噪聲按來源分類人為噪聲：它是由人類的活動產(chǎn)生的，例如電鉆和電氣開關(guān)瞬態(tài)造成的電火花、汽車點(diǎn)火系統(tǒng)產(chǎn)生的電火花、熒光燈產(chǎn)生的干擾、其它電臺和家電用具產(chǎn)生的電磁波輻射等。自然噪聲：它是自然界中存在的各種電磁波輻射，例如閃電、大氣噪聲，以及來自太陽和銀河系等的宇宙噪聲。此外還有一種很重要的自然噪聲，即熱噪聲。熱噪聲來自一切電阻性元器件中電子的熱運(yùn)動。例如，導(dǎo)線、電阻和半導(dǎo)體器件等均會產(chǎn)生熱噪聲。所以熱噪聲無處不在，不可避免地存在于一切電子設(shè)備中。噪聲按性質(zhì)分類脈沖噪聲：它是突發(fā)性地產(chǎn)生的幅度很大、持續(xù)時(shí)間很短、間隔時(shí)間很長的干擾。由于其持續(xù)時(shí)間很短，故其頻譜較寬，可以從低頻一直分布到甚高頻，但是頻率越高其頻譜的強(qiáng)度越小。電火花就是一種典型的脈沖噪聲。窄帶噪聲：它可以看作是一種非所需的連續(xù)的已調(diào)正弦波，或簡單地就是一個(gè)幅度恒定的單一頻率的正弦波。通常它來自相鄰電臺或其它電子設(shè)備。窄帶噪聲的頻率位置通常是確知的或可以測知的。起伏噪聲：它是在時(shí)域和頻域內(nèi)都普遍存在的隨機(jī)噪聲。熱噪聲、電子管內(nèi)產(chǎn)生的散彈噪聲和宇宙噪聲等都屬于起伏噪聲。香農(nóng)定理香農(nóng)公式的表達(dá)式：C：信道容量B：傳輸帶寬S/N：信噪比香農(nóng)簡介

克勞德·香農(nóng)——1916年4月30日出生于美國密歇根州的加洛德（Petoskey），1936年畢業(yè)于密歇根大學(xué)并獲得數(shù)學(xué)和電子工程學(xué)士學(xué)位，1940年獲得麻省理工學(xué)院（MIT）數(shù)學(xué)博士學(xué)位和電子工程碩士學(xué)位。1941年他加入貝爾實(shí)驗(yàn)室數(shù)學(xué)部，工作到1972年。1956年他成為麻省理工學(xué)院（MIT）客座教授，并于1958年成為終生教授，1978年成為名譽(yù)教授。香農(nóng)博士于2001年2月26日去世，享年84歲。香農(nóng)公式的重要結(jié)論當(dāng)信道的傳輸帶寬一定時(shí)，接收端的信噪比越大，其系統(tǒng)的信道容量越大。當(dāng)噪聲功率趨近0時(shí)，信道容量趨近無窮。當(dāng)接收端的信噪比一定時(shí)，信道的傳輸帶寬越大，其系統(tǒng)的信道容量也越大。當(dāng)信道帶寬趨于無窮時(shí)，信道容量并不趨于無窮，而是趨于一個(gè)固定值。香農(nóng)公式的重要結(jié)論當(dāng)信道容量一定時(shí)，信道帶寬與信噪比可以互換。比如，可以通過增加系統(tǒng)的傳輸帶寬來降低接收機(jī)對信噪比的要求，即以犧牲系統(tǒng)的有效性來換取系統(tǒng)的可靠性，這也正是擴(kuò)頻通信的理論基礎(chǔ)。例：已知彩色電視圖像由500000個(gè)像素組成，設(shè)每個(gè)像素有64種彩色度，每種彩色度有16個(gè)亮度等級。如果所有彩色度和亮度等級的組合機(jī)會均等，并統(tǒng)計(jì)獨(dú)立。計(jì)算：

1）每秒傳送100個(gè)畫面所需的信道容量。2）若接收機(jī)的信噪比為30dB，則所需的傳輸帶寬為多少。課堂測驗(yàn)1.如果一個(gè)由字母ABCD組成的字，將每個(gè)字母用兩位二進(jìn)制脈沖編碼，其中00代表A，01代表B，10代表C，11代表D，每位寬度為5ms。（1）當(dāng)不同的字母等概出現(xiàn)時(shí)，計(jì)算傳輸?shù)钠骄畔⑺俾省＃?）若每個(gè)字母出現(xiàn)的概率分別為PA=1/5,PB=1/4,PC=1/4,PD=3/10,計(jì)算傳輸?shù)男畔⑺俾省?.在強(qiáng)噪聲干擾環(huán)境下，某電臺在5分鐘內(nèi)共接收到正確的比特?cái)?shù)為355Mbit，假設(shè)系統(tǒng)的信息速率為1200Kbps。（1）系統(tǒng)的誤比特率。（2）若具體指出系統(tǒng)所傳輸?shù)臄?shù)字信號為四進(jìn)制，試求信息傳輸速率和碼元傳輸速率。3.某信息源包含XYZW四個(gè)符號，這四個(gè)符號出現(xiàn)的概率相等，傳輸時(shí)采用二進(jìn)制進(jìn)行，已知信息