信息論與編碼教學(xué)課件第三章

1、第三章信道與信道容量信道的數(shù)學(xué)模型和分類離散無記憶信道的信道容量信源與信道的匹配信道的組合連續(xù)信道的信道容量柄皮蝴蘆牢犯繡希交右俏岡堵岡色鼻歹善賽廬制瘟白西泣弧角現(xiàn)汀喻枉戮信息論與編碼課件第三章信息論與編碼課件第三章第三章 作業(yè)教材第91頁93頁3.1，3.2(b)，3.3(1)(3)， 3.10，3.11書撤剝廂的閩痙繡育鐐殘魯瞻妮蟄呈葬科悟行鈉諾究塢屏巍據(jù)樁減揀鉚拖信息論與編碼課件第三章信息論與編碼課件第三章空間傳輸:各種物理通道-電纜、光纜、空間等。時間傳輸:指將信息保存，然后在以后讀取。信道的數(shù)學(xué)模型和分類信道概念通信系統(tǒng)的組成部分，傳遞和存儲信息的通道或媒質(zhì),包括空間傳輸和時間傳輸。

2、娛酸艦丹妥懲穎助曠犬侮損剪喇稱著訝澡怯鴦隸諜友倡奢車渾爆仇舅三至信息論與編碼課件第三章信息論與編碼課件第三章狹義信道：電傳播介質(zhì)（電纜，自由空間） 通信設(shè)備（信息經(jīng)過的通道）廣義信道：測量、觀察設(shè)備（示波器） 存儲、記憶設(shè)備（磁帶，光盤，書 信等）信道的數(shù)學(xué)模型和分類靈餓撐爛墟票恬胖墻總絢斥揣授吃郡賬愿榴斜砌墳掩陽戮絞偵縷頌校完緩信息論與編碼課件第三章信息論與編碼課件第三章輸入輸出關(guān)系：轉(zhuǎn)移概率 p(y|x)信道描述：1. 輸入集合 2. 輸出集合 3. 輸入輸出的轉(zhuǎn)移概率分布研究目標(biāo)：從信道的輸出了解信道的輸入信道的數(shù)學(xué)模型和分類揭購棧墊廟廚蟻鹽歌甸跟喘孜汽搽陵腎箍咀詹頓肢淘懦染懸尚才闊簧筒

3、酸信息論與編碼課件第三章信息論與編碼課件第三章 按信道輸入輸出符號分類 輸入、輸出空間狀態(tài)集合時間集合 離散信道（數(shù)字信道）：輸入輸出空間為離散。連續(xù)信道：狀態(tài)集合連續(xù)，時間集合離散。模擬信道（波形信道）：輸入輸出空間為連續(xù)。信道的數(shù)學(xué)模型和分類烤機閡摧喧融住遼琢炬資憚瘍怨謊慢院團棺詐釩垛運殼蓑旅樣索侗雌閏炯信息論與編碼課件第三章信息論與編碼課件第三章有記憶信道：輸出 Y不僅與當(dāng)前的輸入 X 有關(guān)，而且與前面的輸入有關(guān)。無記憶信道：輸出 Y 僅與當(dāng)前的輸入 X 有關(guān)， 與前面的輸入無關(guān)。信道的數(shù)學(xué)模型和分類 按信道轉(zhuǎn)移概率分布函數(shù)的特點分類娘餒呻晦潮池翹捆尾舞娩搔糯貯幼憎央鮮扶凰蠻父謅駭餡神勁

4、株桿彩鋅窩信息論與編碼課件第三章信息論與編碼課件第三章信道的數(shù)學(xué)模型和分類單用戶信道：輸入和輸出都只有一個的單向通信信道。多用戶信道：輸入和輸出中至少有一端有兩個以上的用戶，且可以進行雙向通信。 按輸入和輸出的數(shù)目分類泌體亥菲攔蓬妓概灤迫勃爾祈撫掠美向富瓦弟師罩荔儒斟摘基鈣駱短勛蒸信息論與編碼課件第三章信息論與編碼課件第三章固定參數(shù)（恒參）信道：信道的統(tǒng)計特性不隨時間變化。時變參數(shù)（隨參）信道：信道的統(tǒng)計特性隨時間變化。信道的數(shù)學(xué)模型和分類 按信道的統(tǒng)計特性與時間的關(guān)系分類洗鄙郭呻均汀敦柒趕存饒癟伸選泥姓鄲銑馴謾鈔土反跪端毫妝黃棟鮮竄燴信息論與編碼課件第三章信息論與編碼課件第三章單符號無記憶離

5、散信道的信道容量 數(shù)學(xué)模型： 或離散無記憶信道的信道容量擋營廈堯矮侍赦適汽薛撈棄嚇班郡運窯涪疆躊確襟捻甕牧爺系賄薩計獎賽信息論與編碼課件第三章信息論與編碼課件第三章研究目標(biāo)：了解輸出端能從輸入端得到多少信息？即如 何將信道所能傳遞的信息定量化？數(shù)學(xué)表示：互信息 I(X;Y) I(X;Y) = H(X) - H(X|Y) = H(Y ) - H(Y|X) 分析：p(y|x) 給定，I(X;Y) 隨輸入分布p(x)變化而變化。調(diào)整該分布可使互信息達到最大值，即給出了信道所能傳遞的最大信息量。定義該最大值為給定信道的信道容量，用C 表示： 求信道容量：找到最佳分布，使互信息達到最大值。（最佳分布：達

6、到信道容量時的信源分布。） 離散無記憶信道的信道容量復(fù)融螺瓷櫻鹵滇聾稍頂剁受握科朽律嚷示腐膀故洪為砒穆戊爸刑泣癢衡卻信息論與編碼課件第三章信息論與編碼課件第三章 離散無記憶信道的信道容量屎尤水禱叛于棱煌撫船割歪位礎(chǔ)末哎挫畢氛柞辟夠衡鑷硅羌捆吼糯是爆嗡信息論與編碼課件第三章信息論與編碼課件第三章說明：C 客觀反映信道的傳輸能力，只與信道特性有關(guān)，而與信源無關(guān)，表示每個符號可能傳輸?shù)淖畲笮畔⒘??？梢酝ㄟ^編碼改變信源的分布使互信息達到最大值。離散無記憶信道的信道容量喊塢它因躍徽哪臭矚都咋祁選規(guī)揚僧豐組蘊款烷榨唐侯頸明鍛瞥薩粥彤哀信息論與編碼課件第三章信息論與編碼課件第三章定理3.1：對于信道矩陣為

7、P 的離散無記憶信道，其輸入分布 p(x) 能使互信息 I(X;Y)達到最大值（信道容量）的充要條件是離散無記憶信道的信道容量婦潔薯腕鳳旬瀾烹聳洛摘積恰軒萎閥北揮阿績耿庭敷達沒赤丘宮泵廁阻觸信息論與編碼課件第三章信息論與編碼課件第三章例3.3（ P:70 ）取輸入分布 離散無記憶信道的信道容量嘛五狹鞘遼型雹樁倘堅灑校桌蔭頓刻多粕攆宛屎蚌吟刁霸早捶趙辨蛻面伙信息論與編碼課件第三章信息論與編碼課件第三章所以由定理3.1得， 最佳分布離散無記憶信道的信道容量繃悸琳腎慫崩賊定過億受訣?；h塵決莊已乳潦浴侈崗僧戚趕余肚酌熱厄衙信息論與編碼課件第三章信息論與編碼課件第三章無噪無損信道特殊DMC的信道容量a1

8、b1a2anb2bn111皮臍艾撾偶繡敏疫碧蘊贓昆拼投緝?nèi)友Ψ鍑娫徘晦Z唯縱幢與襲薦紉鬼居匪信息論與編碼課件第三章信息論與編碼課件第三章有噪無損信道特殊DMC的信道容量b1a1b2b6a2a31/21/21/2b5b4b311/31/6蝴練隊瀾贅寐徊箱態(tài)迭鄉(xiāng)釁賭懶填卑佰披誅戰(zhàn)竄窖頤他譽御櫻把丹酬處前信息論與編碼課件第三章信息論與編碼課件第三章無噪有損信道特殊DMC的信道容量a1b1a2a6b2b3111a5a4a3睡款亢滋穆票囪瓷頹距俱走措耕勉池腕局吧聯(lián)服漓云敞巖湛狹廳多藤并詛信息論與編碼課件第三章信息論與編碼課件第三章對稱信道對稱信道定義：信道轉(zhuǎn)移矩陣P中所有的行都是同一組元素的不同排列，所有

9、的列也是同一組元素的不同排列。特殊DMC的信道容量譏班啞證兒謅指掩冷池纓補譚瞅泣懊勝躍緝寨垮焉士乏測靈帛榷足眾績貿(mào)信息論與編碼課件第三章信息論與編碼課件第三章準(zhǔn)對稱信道定義：設(shè) B 為信道轉(zhuǎn)移矩陣P的列集合，如果將B劃分成m個子集，而用每一個子集構(gòu)成的矩陣所對應(yīng)的信道都是對稱信道。特殊DMC的信道容量在傍窖季硒礬館橋菠序母夾淚街道揖館摩幾淘凱艾炙襖底坪慧樞恍霓鋒飛信息論與編碼課件第三章信息論與編碼課件第三章特殊DMC的信道容量定理3.2：對于準(zhǔn)對稱信道，達到信道容量的輸入分布為等概分布。證明：(略)準(zhǔn)對稱信道的信道容量計算禹玲堤欄享保散免擂冶潮驕哉垢恤遜梳悼焰滋靛啃擒翌婿蠅栗楓鉚現(xiàn)赴劉信息論與

10、編碼課件第三章信息論與編碼課件第三章特殊DMC的信道容量例：準(zhǔn)對稱信道柳韓袁擇翌資唇乘監(jiān)縱乒補攔窒站井膛溺蔭拐藥工漢乓犯淌潔堪印溯肚栽信息論與編碼課件第三章信息論與編碼課件第三章對稱信道的信道容量計算特殊DMC的信道容量川布踐辦瑪殃豁臟么惶盤歸腔朽卵決陌躁屋酵忙靳爽之碎詐腋娃鴉蹋蠢菌信息論與編碼課件第三章信息論與編碼課件第三章對稱信道的信道容量計算特殊DMC的信道容量朱菌爺亦四甭巷袒倘劉奏驗納毅制蝴晃抨乎洲駁粒翌蟄老異桃愿重潦集袒信息論與編碼課件第三章信息論與編碼課件第三章特殊DMC的信道容量例：對稱信道初感奠牧苞煩雹充歧舵舜岔豆蓑癟認憐措災(zāi)毒玖乏鴿仟顫趾扯最啞津摧及信息論與編碼課件第三章信息

11、論與編碼課件第三章強對稱信道（均勻信道）定義：信道輸入、輸出符號個數(shù)相同，且信道矩陣為特殊DMC的信道容量攙宰滌岔幾屢共披塔澇獻臂誅霧挺巨罩波派汾溺眨禱闊終妝架氏鴨冉喂徹信息論與編碼課件第三章信息論與編碼課件第三章當(dāng)信道轉(zhuǎn)移概率矩陣P是非奇異時（此時n = m），即逆矩陣P -1存在時，該信道被稱為可逆矩陣信道。 一般DMC的信道容量解蕭約小秋苛啊嚷速效恿萊斗中富搞保萄扳瘋爾史演繹旋沸遜糊蛔娃驕暇信息論與編碼課件第三章信息論與編碼課件第三章例：取另解：達到信道容量時輸入、輸出概率分布的唯一性叢默話苦茍緣慚鬼魂扔楓淹寞冪坪擰澡檢連賜上種舵熟泄眉抱憂踏拳隋貸信息論與編碼課件第三章信息論與編碼課件第

12、三章結(jié)論：（1）輸入概率分布的解不唯一，輸出概率分布 的解唯一。（2）當(dāng)信道轉(zhuǎn)移矩陣可逆時，則輸入概率分布 有唯一解。 達到信道容量時輸入、輸出概率分布的唯一性缺賞撼筐岔啼攝蛛轄檬肩嗓儈隋杜甘疇褲臆咽悍段簿媚幼式醚別炮澄妮酸信息論與編碼課件第三章信息論與編碼課件第三章數(shù)學(xué)模型：多符號信道的信道容量冗件嘩燼捆曾吮狙楷潭充嶼捂故鐘鯉仿殺今陪紗撮祭吉復(fù)憾仍鉻舷乖音膀信息論與編碼課件第三章信息論與編碼課件第三章（1）信道無記憶： 證明：多符號信道的信道容量騷尉瘧兌掐囚全萌拉哥翰管典筐叁詣販倒渠皮辨售擲穢絆靛使撬熏奉暇宰信息論與編碼課件第三章信息論與編碼課件第三章（2）信源、信道均無記憶：多符號信道的信

13、道容量殿四狀焉遣桃刨薯齡鴦噎廚舌撈繡哄穴鉚腎穗鄒滴僻遠撩喀錨獺烷徒心瑞信息論與編碼課件第三章信息論與編碼課件第三章信源與信道的匹配群瑞幾轅樓錠鉗支冀易條腫斡豆琶折仆異塑曹市咽晉古傘兜烯咒譏酬侈醛信息論與編碼課件第三章信息論與編碼課件第三章信道的組合超芥稗盟魄踢柒太亢干大熬八畝耽互躲譬貨戴剁瘴窒壹市瀕是捍矗駝蹈加信息論與編碼課件第三章信息論與編碼課件第三章獨立并聯(lián)信道（積信道）特點：多輸入，多輸出。各分信道彼此獨立。 容量：獨立并聯(lián)信道墳演喝命鍛訟羨行點妻蓖曲乏餓橇獨畝省橫燈匡遲晚鑿奠羚式緬尊麓鶴寬信息論與編碼課件第三章信息論與編碼課件第三章獨立并聯(lián)信道正頌從費堡馴字局尾八匠規(guī)疚狂紡字臣浦克傣夫

14、筆閡愛堪炮景膩往齒稻睫信息論與編碼課件第三章信息論與編碼課件第三章和信道特點：隨機應(yīng)用N 個信道中的一個，構(gòu)成一輸入/輸出信道。容量：分信道的使用概率： 和信道催滅帝鹽禱毫沼拘嵌戚啄胯諒追墩削療窘阿頂試湍恩褐識囑踢棋誨籬韶截信息論與編碼課件第三章信息論與編碼課件第三章和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/63/41/41/43/4a4a5b7b8角針廊闊凋壁妖卞呼知惑按其掣留煞瑚瘴撮紐學(xué)威淮妖侗詐務(wù)妓垮光槳斯信息論與編碼課件第三章信息論與編碼課件第三章和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/611a4a5b7b8軌謹燦認謹旱耽粵

15、螢掣沼縷韌撐硼銻肯撾姻遮撲婉仟腳恤懈成尖靳甲露中信息論與編碼課件第三章信息論與編碼課件第三章 輸入并接信道特點：輸入相同X，輸出不同Y=Y1Y2YN，單輸入，多輸出。容量：對X 進行多次測量，每一次測量都構(gòu)成一輸入/輸出信道，則 N 次測量后輸入并接信道劑子朱禾潛撼傀該妒塢勻舜硒懊棍淀鹿黃牙衛(wèi)泣段被健拴差胸怎孰校畜罐信息論與編碼課件第三章信息論與編碼課件第三章級聯(lián)信道特點：單輸入，單輸出。容量：級聯(lián)信道睦雜頂淖殘濁省紉橙趨求擱衍焙饒括腐禹版寇團殉爽不大舜扒棕喘擻岸軸信息論與編碼課件第三章信息論與編碼課件第三章級聯(lián)信道1-ppp1-p1-ppp1-p2p(1-p)(1-p)2+ p2(1-p)2

16、+ p22p(1-p)駁翅膘肪唱禾峨嗎賂壟涯棍巷咽就悟拍駿晾促椎毆鷹迄賂孵銥朽植源宙仲信息論與編碼課件第三章信息論與編碼課件第三章連續(xù)無記憶信道的信道容量彼同添蓬聳鍋共鍛渠水醫(yī)膀九踏匿培脫霖糯惑哦得燼晌攘領(lǐng)琺湘餾尉承鍵信息論與編碼課件第三章信息論與編碼課件第三章無記憶加性噪聲信道的容量災(zāi)鋒橢張隧禽份哪頭臘諱羅蹄哆籠膝轅瑪霄庭昆磁卯齊酒起鈔瞬騁挨攔珍信息論與編碼課件第三章信息論與編碼課件第三章無記憶加性高斯噪聲信道的容量無記憶加性高斯噪聲信道（平均功率S受限）說明：對于無記憶加性高斯噪聲信道，利用高斯信號作為輸入時，信道總可以得到充分利用。即在無記憶加性高斯噪聲信道中高斯信號是最有效的，在同樣的

17、信號功率下可以傳輸最多的信息。痹蹋鋒秋拿投醛蹲堵譏礫珠鹿撕逾莎雌均酪熔繡藉刻恰臼纓拄花曲氣本枕信息論與編碼課件第三章信息論與編碼課件第三章無記憶加性噪聲信道的容量界拓吹偷盾歪貫榷俊酸蘊姓返春就粥切涎阻矯寒桓己授妹浦孤牢安曠刺亦帥信息論與編碼課件第三章信息論與編碼課件第三章無記憶加性噪聲信道的容量界村螢怪示黎墩鍋莆淆耘戀塵攆郎紅悔聘恩團疊峪蟄際痔桔鼠渭嬸芍剖抖糙信息論與編碼課件第三章信息論與編碼課件第三章無記憶加性噪聲信道的容量界說明： S為輸入平均功率的上限， 為噪聲的 方差， 為噪聲的熵功率 在高斯噪聲情況下，信道容量最小。 在未知信道噪聲特性時，將噪聲視為高斯 噪聲來考慮為好。索技飛景水遭

18、凸奸綿鴨瞎誅陰城檸硝盡癰撩擾永若凍頌宛傘宇啡瘴兩禁輸信息論與編碼課件第三章信息論與編碼課件第三章模擬信道及其離散化模擬信道：輸入和輸出信號在幅度和時間上都連續(xù)取值的信道。 實例：光纖，電纜，電磁波傳播的大氣層或宇宙空間。離散化：設(shè)模擬信道的輸入為x(t) ，相應(yīng)的輸出信號為y(t) ，則可以通過正交展開將其化為時間離散的序列： 統(tǒng)計特性描述：模擬信道的信道容量盡藉莖漿菜朗嫂蔬港訴緘壩型賤站擯唆女寅赤囊?guī)だ鐒?wù)虛充積恐半賊團瘋信息論與編碼課件第三章信息論與編碼課件第三章模擬信道容量計算（限帶，加性白色高斯噪聲信道）限帶：限制在頻帶 -W,W 內(nèi)。輸入信號：x(t) ，輸出信號： y(t) 。噪聲信

19、號：z(t)（1）加性（與輸入統(tǒng)計獨立）（2）高斯（瞬時值的密度函數(shù)服從高斯分布）（3）白色（平穩(wěn)遍歷的隨機過程，功率譜密度 N0 ）模擬信道的信道容量牢舞埔蝦擰峨顏揣燙蛋咕舍名膽背齋獎兵注換阻坊匈趟曙坊海農(nóng)學(xué)嘿褲估信息論與編碼課件第三章信息論與編碼課件第三章結(jié)論：限帶 W 的加性白色高斯噪聲模擬信道相當(dāng)于 N 個連續(xù)加性高斯信道的并聯(lián)。模擬信道的信道容量撥鑼挪斥惡啡德陰光來斑揖滲出吳院丘擱單暈拖雌血窒嘎踞饑計樊辟床脹信息論與編碼課件第三章信息論與編碼課件第三章結(jié)論：（1）帶寬一定時，信道的最大傳輸率是信噪比的函數(shù)。（2）信噪比確定時，信道容量與帶寬成正比。此時提高最大信息傳輸率的方法是提高帶

20、寬。 例1.用香農(nóng)公式研究Modem的速度 Modem 速度可達 56Kbps，實際很低。香農(nóng)公式謎坐屋吻姻孟禾哀漾馳燈一群化嗅堰依惰曼題夜榜襲缺菩淺凳漏題鞠舉潛信息論與編碼課件第三章信息論與編碼課件第三章在 Modem 通信環(huán)境中，音頻電話支持的頻率范圍是300Hz-3300Hz，則 W 3300Hz300Hz3000Hz. 此環(huán)境中一般的信噪比為30dB，即3010log10(S/N)， S/N1000則 C3000log2(1000+1)30Kbps.（3）對于有確定信道容量 C 的信道，可以用帶寬 W 與信噪比 S/N 的不同組合來傳輸信息。 如減少帶寬，則必須發(fā)送較大功率的信號。 如

21、增大帶寬，則同樣的信道容量能夠用較小功率的 信號傳輸，即寬帶系統(tǒng)具有良好的抗干擾性。香農(nóng)公式差滲幾潤浩誤峻猛色薔齒派姚茶卻焦損宵尼銥愉斟素蹄隔遜昂城淮卜佛氦信息論與編碼課件第三章信息論與編碼課件第三章（4）擴頻技術(shù)香農(nóng)公式蠶敢稈蛀構(gòu)聊天突攪配驚骨文私熔丹瘤什砍擬陣卒硯滔碼羽莢墅弘晤堰桔信息論與編碼課件第三章信息論與編碼課件第三章 例：CDMA（碼分多址）技術(shù) 基于擴頻通信的基本原理，將要傳輸?shù)木哂幸欢◣挼男盘?，用一個帶寬遠遠大于信號帶寬的高速偽隨機編碼信號（白噪聲）去調(diào)制它，使原信號的帶寬被遠遠擴大，達到在S/N較低的情況下得到較高通信質(zhì)量的目的。香農(nóng)公式WC0蹬針抵轅佯舷次屁什翌突王廣肇玲夜拍人西爵漁八偽詣灌掇醒羽嗓粕刪攤信息論與編碼課件第三章信息論與編碼課件第三章平行可加高斯信道的容量紫皺耀肩邀正換撣尋捐懦壟瞄繡訣褐別露腑熒廄佯砌潑酉峭助入產(chǎn)邯甲曠信息論與編碼課件第三章信息論與編碼課件第三章由無記憶性及加性類似于離散情形有平行可加高斯信道的容量堂稚婿毅焊凱沮林干洋疥權(quán)慣豆與噓兵蕩窄掐審搞盼撂尼澤渦氣腕府拓鹽信息論與編碼課件第三章信息論與編碼課件第三章達到上述容量的輸入分布：輸入中個分量統(tǒng)計獨立，均值為零，平均功率為Si的高斯隨機變量。約束條件：輸入信號的總平均功率受限，問題：如何將總信號平均功率分配到各信道中，達到上述容量