信息理論基礎(chǔ)離散信道及其容量

信息理論基礎(chǔ)離散信道及其容量2005-3-31第1/103頁(yè)第一頁(yè)，共一百零三頁(yè)，2022年，8月28日4.1信道的數(shù)學(xué)模型及其分類信道模型第二頁(yè)，共一百零三頁(yè)，2022年，8月28日4.1信道的數(shù)學(xué)模型及其分類信道分類（按照輸入輸出事件的事件特性和輸入輸出集的特點(diǎn)）第三頁(yè)，共一百零三頁(yè)，2022年，8月28日4.1信道的數(shù)學(xué)模型及其分類信道分類（按照信道的輸入和輸出個(gè)數(shù)）第四頁(yè)，共一百零三頁(yè)，2022年，8月28日4.1信道的數(shù)學(xué)模型及其分類信道分類（按照信道的統(tǒng)計(jì)特性）第五頁(yè)，共一百零三頁(yè)，2022年，8月28日4.1信道的數(shù)學(xué)模型及其分類信道分類（按照信道的記憶特性）第六頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2離散無記憶信道4.2.1離散信道的數(shù)學(xué)模型4.2.2單符號(hào)離散信道4.2.3信道的疑義度4.2.4平均互信息4.2.5各種量之間的關(guān)系第七頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.1離散信道的數(shù)學(xué)模型.0隨機(jī)變量利用概率刻畫信道第八頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.1一、基本概念離散信道的數(shù)學(xué)模型（廣義）第九頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.1一、基本概念離散無記憶信道（定義）第十頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.1一、基本概念離散無記憶信道定義的解釋任何時(shí)刻信道的輸出至于當(dāng)時(shí)信道的輸入有關(guān)第十一頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.1一、基本概念離散無記憶信道定義的解釋書上的公式有點(diǎn)問題，可暫不看第十二頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.1一、基本概念平穩(wěn)（或恒參）的離散無記憶信道（定義）與時(shí)間無關(guān)第十三頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.1二、無擾（無噪）信道無擾（無噪）信道的定義兩者有一一對(duì)應(yīng)的關(guān)系第十四頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.1三、有無擾無記憶信道有無擾無記憶信道的定義就是DMC。由于信道中隨機(jī)噪聲或者干擾的存在，使得輸入和輸出之間具有統(tǒng)計(jì)關(guān)系第十五頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.1四、有無擾無記憶信道有無擾有記憶信道實(shí)際信道的情況第十六頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2單符號(hào)離散信道只考慮N=1特殊情況：?jiǎn)蝹€(gè)符號(hào)第十七頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2一、單符號(hào)離散信道的定義單符號(hào)離散信道的定義標(biāo)志性公式第十八頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2一、單符號(hào)離散信道的定義信道的傳遞概率（轉(zhuǎn)移概率）信道的傳遞概率（轉(zhuǎn)移概率）第十九頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2一、單符號(hào)離散信道的定義信道矩陣輸入集輸出集第二十頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2一、單符號(hào)離散信道的定義信道矩陣第二十一頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2二、二元對(duì)稱信道二元對(duì)稱信道（BSC）第二十二頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2二、二元對(duì)稱信道二元對(duì)稱信道（BSC）的信道矩陣對(duì)稱矩陣第二十三頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2三、二元?jiǎng)h除信道二元?jiǎng)h除信道第二十四頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2三、二元?jiǎng)h除信道二元?jiǎng)h除信道的信道矩陣第二十五頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2三、二元?jiǎng)h除信道二元?jiǎng)h除信道的分析第二十六頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2四、二元對(duì)稱消失信道二元對(duì)稱消失信道第二十七頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2四、二元對(duì)稱消失信道二元對(duì)稱消失信道的信道矩陣第二十八頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2四、二元對(duì)稱消失信道二元對(duì)稱消失信道分析第二十九頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2五、幾個(gè)相關(guān)概念前向概率（即信道傳遞概率，轉(zhuǎn)移概率）輸入輸出第三十頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2五、幾個(gè)相關(guān)概念后向概率（即后驗(yàn)概率）輸入輸出第三十一頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2五、幾個(gè)相關(guān)概念輸出符號(hào)概率分布情況？第三十二頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2五、幾個(gè)相關(guān)概念輸出符號(hào)概率（續(xù)）全概率公式第三十三頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2五、幾個(gè)相關(guān)概念輸出符號(hào)概率（續(xù)）第三十四頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.2五、幾個(gè)相關(guān)概念輸出符號(hào)概率（續(xù)）第三十五頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.3信道疑義度在隨機(jī)事件Y發(fā)生的條件下，X的不確定程度第三十六頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.3一、信道疑義度的概念信道疑義度（定義）輸出端收到全部符號(hào)之后（Y），對(duì)輸入端X的平均不確定程度由信道干擾造成第三十七頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.3一、信道疑義度的概念特例：無干擾信道的信道疑義度第三十八頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.3一、信道疑義度的概念特例：無干擾信道的信道疑義度（續(xù)）信道疑義度為零，不存在不確定的因素第三十九頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.3一、信道疑義度的概念信道疑義度的性質(zhì)輸出端收到Y(jié)后，總是要消除一些關(guān)于X的不確定性第四十頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.3二、二元?jiǎng)h除信道的信道疑義度二元?jiǎng)h除信道的信道疑義度第四十一頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.3二、二元?jiǎng)h除信道的信道疑義度二元?jiǎng)h除信道的信道疑義度（續(xù)）信道矩陣第四十二頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.3二、二元?jiǎng)h除信道的信道疑義度二元?jiǎng)h除信道的信道疑義度（續(xù)）第四十三頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.3二、二元?jiǎng)h除信道的信道疑義度二元?jiǎng)h除信道的信道疑義度（續(xù)）第四十四頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.3二、二元?jiǎng)h除信道的信道疑義度二元?jiǎng)h除信道的信道疑義度（續(xù)）第四十五頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.3二、二元?jiǎng)h除信道的信道疑義度二元?jiǎng)h除信道的信道疑義度（續(xù)）第四十六頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.3二、二元?jiǎng)h除信道的信道疑義度二元?jiǎng)h除信道的信道疑義度（續(xù)）第四十七頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息信道的平均互信息定義（定義）輸出端接收到符號(hào)集后，平均每個(gè)符號(hào)獲得的關(guān)于輸入端的信息量第四十八頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息定理對(duì)于固定信道，平均互信息量I(X;Y)是信源概率分布P(X)的上凸函數(shù)證明略第四十九頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息定理的解釋常數(shù)：固定信道與信源有關(guān)第五十頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例第五十一頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）第五十二頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）第五十三頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）第五十四頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）第五十五頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）第五十六頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）第五十七頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）第五十八頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）第五十九頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）定義的量第六十頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）信道固定，此為常數(shù)第六十一頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）第六十二頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）信道固定（信道轉(zhuǎn)移概率為常數(shù)）時(shí)，平均互信息量時(shí)信源符號(hào)分布的上凸函數(shù)。此時(shí)，隨信源符號(hào)分布的不同，接收端接收到的每個(gè)符號(hào)所獲得的平均信息量也不同，當(dāng)信源符號(hào)等概率分布時(shí)，接收端每個(gè)符號(hào)所得到的關(guān)于信源狀態(tài)的信息量最大第六十三頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息定理對(duì)于固定的信源分布，平均互信息量I(X;Y)是信道傳遞概率分布P(Y|X)的下凸函數(shù)證明略第六十四頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息定理的解釋與信道傳遞概率有關(guān)為常數(shù)第六十五頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例第六十六頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息信源固定，此為常數(shù)定理的解釋第六十七頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）第六十八頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例（續(xù)）信源固定時(shí)，不同的信道（信道傳遞概率不同），接收端所接收到的每個(gè)符號(hào)平均獲得的信息量不同當(dāng)傳遞概率等概率分布時(shí)，所獲得的信息量最少，意味著此時(shí)信源的信息全部在信道中損失掉，信道造勢(shì)最大第六十九頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例已知：投擲骰子。當(dāng)骰子面朝上的數(shù)字為1，2，3和4時(shí)，拋1次硬幣當(dāng)骰子面朝上的數(shù)字為5和6時(shí)，拋2次硬幣問：可以從拋硬幣結(jié)果獲得多少擲骰子情況的信息第七十頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例題解輸入輸出信道描述兩者之間的關(guān)系第七十一頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例題解（續(xù)）信道描述兩者之間的關(guān)系明確信道特性，類型輸入集、輸出集特性不同時(shí)刻之間的關(guān)系第七十二頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息輸入集、輸出集特性例題解（續(xù)）第七十三頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例題解（續(xù)）不同時(shí)刻之間的關(guān)系第七十四頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例題解（續(xù)）不同時(shí)刻之間的關(guān)系第七十五頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例題解（續(xù)）離散無記憶信道的統(tǒng)計(jì)特性1。信源（輸入）概率空間第七十六頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例題解（續(xù)）離散無記憶信道的統(tǒng)計(jì)特性2。信道輸出的符號(hào)存在拋2次硬幣的情況第七十七頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例題解（續(xù)）離散無記憶信道的統(tǒng)計(jì)特性3。信道狀態(tài)轉(zhuǎn)移圖第七十八頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例題解（續(xù)）離散無記憶信道的統(tǒng)計(jì)特性4。信道矩陣第七十九頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例題解（續(xù)）離散無記憶信道的統(tǒng)計(jì)特性5。輸出符號(hào)集Y的分布第八十頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例題解（續(xù)）離散無記憶信道的統(tǒng)計(jì)特性6。輸出符號(hào)集Y的熵第八十一頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例題解（續(xù)）離散無記憶信道的統(tǒng)計(jì)特性7。條件熵H(Y|X)第八十二頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.4三、信道的平均互信息例題解（續(xù)）離散無記憶信道的統(tǒng)計(jì)特性8。互信息量I（X；Y）所求第八十三頁(yè)，共一百零三頁(yè)，2022年，8月28日4.2.5各種度量之間的關(guān)系各種度量之間的關(guān)系1－6：略7：第八十四頁(yè)，共一百零三頁(yè)，2022年，8月28日4.3離散無記憶擴(kuò)展信道4.3.1N次擴(kuò)展信道4.3.2N次擴(kuò)展信道定理第八十五頁(yè)，共一百零三頁(yè)，2022年，8月28日4.3.1N次擴(kuò)展信道.0N次擴(kuò)展信道單符號(hào)離散信道第八十六頁(yè)，共一百零三頁(yè)，2022年，8月28日4.3.1N次擴(kuò)展信道.00擴(kuò)展信道N次擴(kuò)展信道第八十七頁(yè)，共一百零三頁(yè)，2022年，8月28日4.3.1一、N次擴(kuò)展信道的概念離散無記憶擴(kuò)展信道擴(kuò)展信道第八十八頁(yè)，共一百零三頁(yè)，2022年，8月28日4.3.1一、N次擴(kuò)展信道的概念N次擴(kuò)展信道的數(shù)學(xué)模型被擴(kuò)展的信道第八十九頁(yè)，共一百零三頁(yè)，2022年，8月28日4.3.1一、N次擴(kuò)展信道的概念N次擴(kuò)展信道的數(shù)學(xué)模型（續(xù)）N次擴(kuò)展信道的信道模型第九十頁(yè)，共一百零三頁(yè)，2022年，8月28日4.3.1一、N次擴(kuò)展信道的概念N次擴(kuò)展信道的數(shù)學(xué)模型（續(xù)）N次擴(kuò)展信道的信道模型第九十一頁(yè)，共一百零三頁(yè)，2022年，8月28日4.3.1一、N次擴(kuò)展信道的概念N次擴(kuò)展信道的數(shù)學(xué)模型（續(xù)）N次擴(kuò)展信道的信道模型第九十二頁(yè)，共一百零三頁(yè)，2022年，8月28日4.3.1一、N