信息論與編碼基礎(chǔ)教學(xué)

信息論與編碼基礎(chǔ)離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理信道模型信道疑義度平均互信息及其性質(zhì)信息論與編碼基礎(chǔ)離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理信道模型信道疑義度平均互信息及其性質(zhì)信息論與編碼基礎(chǔ)離散信道根據(jù)輸入、輸出信號(hào)的時(shí)間特性和取值特性離散信道連續(xù)信道半離散或半連續(xù)信道波形信道信道的分類數(shù)字信道根據(jù)信道的用戶多少單用戶信道多用戶信道一對(duì)多、多對(duì)一多對(duì)多信息論與編碼基礎(chǔ)離散信道根據(jù)信道轉(zhuǎn)移概率的性質(zhì)無(wú)擾信道有擾信道實(shí)際的通信信道幾乎都是有擾信道無(wú)記憶信道有記憶信道實(shí)際信道一般都是有記憶的，信道中的記憶現(xiàn)象來(lái)源于物理信道中的慣性，如電纜信道中的電感或電容、無(wú)線信道中電波傳播的衰落現(xiàn)象等。按信道統(tǒng)計(jì)特性恒參信道變參信道衛(wèi)星信道短波信道根據(jù)信道噪聲的性質(zhì)高斯噪聲信道非高斯噪聲信道信道的分類信息論與編碼基礎(chǔ)離散信道離散信道的數(shù)學(xué)模型信道無(wú)擾（無(wú)噪）信道有擾信道無(wú)記憶信道有記憶信道信息論與編碼基礎(chǔ)離散信道信道單符號(hào)離散信道例1BSC信道BSC(p)信道是實(shí)際中幾乎所有重要的二進(jìn)制脈沖傳輸系統(tǒng)的模型p為交叉(crossover)概率等于解調(diào)器/檢測(cè)器出現(xiàn)硬判決譯碼錯(cuò)誤的概率信息論與編碼基礎(chǔ)離散信道條件轉(zhuǎn)移概率轉(zhuǎn)移矩陣轉(zhuǎn)移概率圖XY0101pp1-p1-pXYa0arb0bsP(bj|ai)信息論與編碼基礎(chǔ)離散信道單符號(hào)離散信道一定比例的bit被刪除，并且接收者知道是那些bit已經(jīng)被刪除。例2二進(jìn)制刪除信道信息論與編碼基礎(chǔ)離散信道單符號(hào)離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理信道模型信道疑義度平均互信息及其性質(zhì)信息論與編碼基礎(chǔ)離散信道先驗(yàn)熵后驗(yàn)熵若信道中存在干擾時(shí)信道疑義度0≤H(X|Y)≤H(X)損失熵信息論與編碼基礎(chǔ)離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理信道模型信道疑義度平均互信息及其性質(zhì)信息論與編碼基礎(chǔ)離散信道互信息自信息條件自信息由于條件引入獲得的信息量1）對(duì)稱性I(ai;bj)=I(bj;ai)2）事件統(tǒng)計(jì)獨(dú)立時(shí)I(ai;bj)=03）可正、可負(fù)4）I(ai;bj)≤I(ai)信息論與編碼基礎(chǔ)離散信道信息論與編碼基礎(chǔ)緒論練習(xí)：令隨機(jī)變量x表示隨機(jī)抽取人群中的性別，x＝0為男性，x＝1為女性。隨機(jī)變量y表示隨機(jī)抽取人是否抽煙，y＝0表示抽煙，y＝1表示不抽煙。（1）若（x，y）的聯(lián)合概率分布如表1－1所示，求“已知抽取人為男性”，對(duì)“該人抽煙”提供的信息量。（2）若（x，y）的聯(lián)合概率分布如表1－2所示，求“已知抽取人為男性”，對(duì)“該人抽煙”提供的信息量。

本課小結(jié)2、信道疑義度、互信息信息論與編碼基礎(chǔ)離散信道1、信道模型BSC,BEC信息論與編碼基礎(chǔ)離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理信道模型信道疑義度平均互信息及其性質(zhì)信息論與編碼基礎(chǔ)離散信道互信息由于條件引入獲得的信息量1）對(duì)稱性I(ai;bj)=I(bj;ai)2）事件統(tǒng)計(jì)獨(dú)立時(shí)I(ai;bj)=03）可正、可負(fù)4）I(ai;bj)≤I(ai)信息論與編碼基礎(chǔ)離散信道平均互信息定義令為信道輸入X與輸出Y之間的平均互信息接收到每個(gè)輸出符號(hào)后獲得的關(guān)于X的平均信息量bit/sig互信息信息論與編碼基礎(chǔ)離散信道信息傳輸率不確定性消除的多少獲得信息量的大小平均互信息是互信息的統(tǒng)計(jì)平均值。信息論與編碼基礎(chǔ)離散信道平均互信息1、非負(fù)性利用詹森不等式信源加密信道解密信宿密鑰源全損信道信息論與編碼基礎(chǔ)離散信道2、極值性接收者通過(guò)信道獲得的信息量不可能超過(guò)信源本身固有的信息量。0≤I(X;Y)≤H(X)信息論與編碼基礎(chǔ)離散信道3、對(duì)稱性發(fā)出X后獲得的關(guān)于Y的平均信息量信息論與編碼基礎(chǔ)離散信道4、與各類熵的關(guān)系損失熵噪聲熵散布度：表示信道輸入信號(hào)由于干擾作用在輸出端表現(xiàn)的散布范圍。H(X|Y)H(Y|X)I(X;Y)H(XY)H(X)H(Y)信息論與編碼基礎(chǔ)離散信道5、的凸函數(shù)性于是信息論與編碼基礎(chǔ)離散信道例1設(shè)二元對(duì)稱信道的輸入概率空間為其信道特性如圖，求平均互信息。定理在信道轉(zhuǎn)移概率給定的條件下，平均互信息是輸入信源概率分布的型凸函數(shù)。XY0101pp1-p1-p00.51ωI(X;Y)1-H(p)00.51ωH(ω)1信源熵信息論與編碼基礎(chǔ)離散信道定理在輸入信源概率分布給定的條件下，平均互信息是信道轉(zhuǎn)移概率分布的型凸函數(shù)。例1（續(xù)）當(dāng)p=0時(shí)當(dāng)p=1時(shí)當(dāng)p=1/2時(shí)00.51pI(X;Y)H(ω)信息論與編碼基礎(chǔ)離散信道思考題令X,Y1,Y2為二進(jìn)制隨機(jī)變量，1）如果I(X;Y1)=0且I(X;Y2)=0，可否推出I(X;Y1,Y2)=0?試舉例說(shuō)明。2）如果I(X;Y1)=0且I(X;Y2)=0，是否可推出

I(Y1;Y2)=0?請(qǐng)說(shuō)明。

信息論與編碼基礎(chǔ)離散信道若三個(gè)離散隨機(jī)變量，又如下關(guān)系其中X和Y相互統(tǒng)計(jì)獨(dú)立。試證明：信息論與編碼基礎(chǔ)離散信道綜合例題信息論與編碼基礎(chǔ)離散信道一、信道疑義度與平均互信息三、有噪信道編碼定理定義簡(jiǎn)單離散信道的信道容量對(duì)稱離散信道的信道容量擴(kuò)展信道的信道容量香農(nóng)公式二、信道容量信息論與編碼基礎(chǔ)離散信道一、信道疑義度與平均互信息三、有噪信道編碼定理定義簡(jiǎn)單離散信道的信道容量對(duì)稱離散信道的信道容量擴(kuò)展信道的信道容量香農(nóng)公式二、信道容量信息論與編碼基礎(chǔ)離散信道平均互信息I(X;Y)代表了接收到每個(gè)輸出符號(hào)后獲得的關(guān)于X的平均信息量，又叫做信道的信息傳輸率。I(X;Y)能說(shuō)明一個(gè)信道的好、壞嗎？定理在信道轉(zhuǎn)移概率給定的條件下，平均互信息是輸入信源概率分布的型凸函數(shù)。定義一個(gè)平穩(wěn)離散無(wú)記憶信道的容量C為輸入與輸出平均互信息的最大值。說(shuō)明：bit/sig1）信道給定后，p(y|x)就固定，C僅與p(y|x)有關(guān)，而與P(x)無(wú)關(guān)2）Ct是信道最大傳輸速率。Ct=C/tbit/s信源分布最佳時(shí)，信道容量最大。信息論與編碼基礎(chǔ)離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理定義簡(jiǎn)單離散信道的信道容量對(duì)稱離散信道的信道容量擴(kuò)展信道的信道容量香農(nóng)公式信息論與編碼基礎(chǔ)離散信道信道1、無(wú)噪無(wú)損信道I(X;Y)=H(X)-H(X|Y)信息論與編碼基礎(chǔ)離散信道2、有噪無(wú)損信道I(X;Y)=H(X)-H(X|Y)信息論與編碼基礎(chǔ)離散信道3、有損無(wú)噪信道I(X;Y)=H(Y)-H(Y|X)信息論與編碼基礎(chǔ)離散信道總結(jié)：1）若嚴(yán)格區(qū)分，凡損失熵等于0的信道稱為無(wú)損信道；凡噪聲熵等于0的信道稱為無(wú)噪信道。2）無(wú)損信道3）無(wú)噪信道信息論與編碼基礎(chǔ)離散信道例求BEC的信道容量信息論與編碼基礎(chǔ)離散信道信息論與編碼基礎(chǔ)離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理定義簡(jiǎn)單離散信道的信道容量對(duì)稱離散信道的信道容量擴(kuò)展信道的信道容量香農(nóng)公式？對(duì)稱信道信息論與編碼基礎(chǔ)離散信道？信息論與編碼基礎(chǔ)離散信道例強(qiáng)對(duì)稱信道信息論與編碼基礎(chǔ)離散信道有噪聲的打字機(jī)信道考慮26個(gè)鍵的打字機(jī)1）如果每敲擊一個(gè)鍵，它就準(zhǔn)確地輸出相應(yīng)的字符，那么該容量C是多少？2）如果假設(shè)敲擊一個(gè)鍵都會(huì)導(dǎo)致輸出該鍵對(duì)應(yīng)的字母或者下一個(gè)字母等概率出現(xiàn)，即敲A可能輸出A或B，…敲Z可能輸出Z或A。那么此時(shí)的容量如何？信息論與編碼基礎(chǔ)離散信道本課小結(jié)2、平均互信息性質(zhì)非負(fù)性、極值性、對(duì)稱性、凸函數(shù)特性信息論與編碼基礎(chǔ)離散信道1、平均互信息概念3、信道容量及其計(jì)算信息論與編碼基礎(chǔ)離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理定義簡(jiǎn)單離散信道的信道容量對(duì)稱離散信道的信道容量擴(kuò)展信道的信道容量香農(nóng)公式？對(duì)稱信道信息論與編碼基礎(chǔ)離散信道？信息論與編碼基礎(chǔ)離散信道例強(qiáng)對(duì)稱信道信息論與編碼基礎(chǔ)離散信道有噪聲的打字機(jī)信道考慮26個(gè)鍵的打字機(jī)1）如果每敲擊一個(gè)鍵，它就準(zhǔn)確地輸出相應(yīng)的字符，那么該容量C是多少？2）如果假設(shè)敲擊一個(gè)鍵都會(huì)導(dǎo)致輸出該鍵對(duì)應(yīng)的字母或者下一個(gè)字母等概率出現(xiàn)，即敲A可能輸出A或B，…敲Z可能輸出Z或A。那么此時(shí)的容量如何？信息論與編碼基礎(chǔ)離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理定義簡(jiǎn)單離散信道的信道容量對(duì)稱離散信道的信道容量擴(kuò)展信道的信道容量香農(nóng)公式信息論與編碼基礎(chǔ)離散信道信息論與編碼基礎(chǔ)離散信道信道信道離散無(wú)記憶N次擴(kuò)展信道模型1、信道模型信道轉(zhuǎn)移矩陣其中1、信道模型BSC的二次擴(kuò)展信道信息論與編碼基礎(chǔ)離散信道2、平均互信息bit/N-sig信息論與編碼基礎(chǔ)離散信道矢量形式定理對(duì)于離散無(wú)記憶信道，有證明：信息論與編碼基礎(chǔ)離散信道熵的鏈?zhǔn)椒▌t熵的獨(dú)立界2、平均互信息信息論與編碼基礎(chǔ)離散信道例DMC的輸入為，輸出為且有。其中X的熵為H,計(jì)算和信息論與編碼基礎(chǔ)離散信道定理對(duì)于無(wú)記憶信源，則證明：2、平均互信息信息論與編碼基礎(chǔ)離散信道例

設(shè)無(wú)記憶信源X的熵為H，X的5次擴(kuò)展源為信道為如下面矩陣所示的置換信道1234532514計(jì)算達(dá)到的條件：只有當(dāng)信源無(wú)記憶時(shí)，每一輸入變量Xi的分布P(x)各自達(dá)到最佳分布時(shí)。3、信道容量信息論與編碼基礎(chǔ)離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理定義簡(jiǎn)單離散信道的信道容量對(duì)稱離散信道的信道容量擴(kuò)展信道的信道容量香農(nóng)公式信息論與編碼基礎(chǔ)離散信道1、連續(xù)消息的信息度量連續(xù)信源的可能取值數(shù)是無(wú)限多個(gè)，若設(shè)取值是等概率分布，那么，信源的不確定為無(wú)限大。連續(xù)信源的熵1）與離散信源的熵在形式上統(tǒng)一；2）實(shí)際問(wèn)題中常常討論熵之間差值問(wèn)題。相對(duì)熵、差熵、微分熵信息論與編碼基礎(chǔ)離散信道高斯分布情況2、高斯信道的信道容量I(X;Y)=h(y)–h(y|x)=h(y)-h(z)xiyizixi:樣值，正態(tài)分布yi:樣值，正態(tài)分布yi=xi+zi:正態(tài)分布xi、zi統(tǒng)計(jì)獨(dú)立高斯信道通信模型信息論與編碼基礎(chǔ)離散信道信道的輸出功率為E{y2}=E{(x+z)2}=E{x2}+0+E{z2}=S+N根據(jù)最大熵定理平均功率受限條件下信源的最大熵定理若某信源輸出信號(hào)的平均功率和均值被限定，則當(dāng)其輸出信號(hào)幅度的概率密度函數(shù)p(x)是高斯分布時(shí)，信源達(dá)到最大熵值。信息論與編碼基礎(chǔ)離散信道2、高斯信道的信道容量3、帶限信道的信道容量對(duì)于帶限信號(hào)，采樣定理指出，若信號(hào)的有效帶寬為B，采樣頻率為f