信息論與編碼課件

1第1章緒論1.1編碼理論的基本概念1.2編碼理論的發(fā)展1.3編碼理論研究的內(nèi)容和目的21.1編碼理論的基本概念

1．通信系統(tǒng)本質(zhì)——信息的傳輸系統(tǒng)目的——把接收方不知道的信息及時(shí)、可靠、完整、安全、經(jīng)濟(jì)地傳送給指定的接收方32．通信系統(tǒng)模型包括：信源、編碼器、信道、譯碼器、信宿五部分信道編碼信源編碼保密譯碼信道譯碼信源譯碼保密編碼噪聲信道信源信宿4(1)信源——產(chǎn)生消息和消息序列的源

——可以是人、生物、機(jī)器或其他事物

——是事物各種運(yùn)動(dòng)狀態(tài)或存在狀態(tài)的集合消息——信源的輸出消息——具體，如：語音、圖像、文字等信息——抽象2．通信系統(tǒng)模型(續(xù))5(2)編碼器——信源編碼器、信道編碼器、保密編碼器①信源編碼——對(duì)信源輸出的消息進(jìn)行變換和處理目的——提高信息傳輸?shù)挠行寓谛诺谰幋a——對(duì)消息進(jìn)行的變換和處理目的——提高信息傳輸?shù)目煽啃寓郾Ｃ芫幋a——目的是保證信息的安全性2．通信系統(tǒng)模型(續(xù))6(3)信道——信號(hào)從甲地傳輸?shù)揭业氐耐ǖ廓M義信道——信號(hào)的傳輸媒質(zhì)(介)[例]明線、電纜、波導(dǎo)、光纖、無線電波空間等廣義信道——除狹義信道外，還包括通信系統(tǒng)某些部分信道噪聲——通信系統(tǒng)各處干擾、噪聲的集中等效體現(xiàn)2．通信系統(tǒng)模型(續(xù))7(4)譯碼器——編碼器功能之反也分成信源譯碼器、信道譯碼器、保密譯碼器三種(5)信宿——消息傳送的歸宿[說明]①對(duì)實(shí)際通信系統(tǒng)，還應(yīng)包括換能、調(diào)制、發(fā)射等各種變換處理②上述模型只針對(duì)一對(duì)一單向通信系統(tǒng)。還有一對(duì)多單向系統(tǒng)（廣播），一對(duì)一雙向系統(tǒng)（電話），多對(duì)多雙向系統(tǒng)（會(huì)議電視）等2．通信系統(tǒng)模型(續(xù))81948年，香農(nóng)發(fā)表“通信的數(shù)學(xué)理論”，標(biāo)志著信息論的正式誕生

C.E.Shannon,AMathematicalTheoryofcommunication,BellSystemTech.J,vol.27,PP379-423,July1948在前人工作基礎(chǔ)上，用概率統(tǒng)計(jì)方法研究通信系統(tǒng)揭示：通信系統(tǒng)傳遞的對(duì)象——信息提出：信息熵、信息量指出：通信系統(tǒng)的中心問題——

噪聲背景下如何有效、可靠地傳遞信息實(shí)現(xiàn)的主要方法——編碼提出了無失真信源編碼定理、信道編碼定理1.2編碼理論的發(fā)展

1．無失真信源編碼9提出了無失真信源編碼定理、信道編碼定理給出了編碼的性能極限提供了最佳通信系統(tǒng)的理論依據(jù)從數(shù)學(xué)觀點(diǎn)看——都是最優(yōu)編碼的存在性定理從工程觀點(diǎn)看，信道編碼定理不是結(jié)構(gòu)性的無失真信源編碼定理是結(jié)構(gòu)性的——碼的平均長(zhǎng)度～信源統(tǒng)計(jì)特性相匹配1．無失真信源編碼(續(xù))10無失真信源編碼的方法1948年，香農(nóng)提出香農(nóng)編碼1952年，費(fèi)諾(Fano)提出費(fèi)諾編碼1952年，霍夫曼(D．A．Huffman)提出霍夫曼編碼，并證明它是最佳碼——有限長(zhǎng)度的分組碼中，平均碼長(zhǎng)最短1982年，里斯桑內(nèi)(J．Rissanen)在多年研究的基礎(chǔ)上，與蘭登(G．G．Langdon)一起將算術(shù)碼（非分組碼）實(shí)用化1977年，齊弗(J．Ziv)和蘭佩爾(A．Lempel)提出了LZ算法——一種通用編碼方法1．無失真信源編碼(續(xù))111959年，香農(nóng)發(fā)表“保真度準(zhǔn)則下的離散信源編碼定理”——Codingtheoremsforadiscretesourceatthefidelitycriterion提出——率失真函數(shù)和率失真信源編碼定理貢獻(xiàn)——信源編碼的核心，壓縮編碼的理論基礎(chǔ)連續(xù)信源在編成代碼后不可能無失真地復(fù)原——量化有失真——最佳量化問題（如A律13折線法）對(duì)于有記憶信源，條件熵必不大于無條件熵——解除符號(hào)間的相關(guān)性可進(jìn)一步壓縮碼率2．限失真信源編碼12解除相關(guān)性的編碼預(yù)測(cè)編碼——利用前幾個(gè)符號(hào)來預(yù)測(cè)后一符號(hào)值，并對(duì)差值進(jìn)行編碼（如：DPCM）變換編碼——樣值空間的變換，如從時(shí)域變到頻域某些情況下，可減弱相關(guān)性，取得良好壓縮比現(xiàn)代壓縮編碼方法——小波變換、神經(jīng)網(wǎng)絡(luò)、模型基編碼、分形編碼等2．限失真信源編碼(續(xù))131950年漢明(R．W．Hamming)發(fā)表“檢錯(cuò)碼與糾錯(cuò)碼”論文開拓編碼理論研究的第一篇論文

3．信道編碼141961年香農(nóng)發(fā)表“雙路通信信道”論文開拓了多用戶信息理論的研究→多用戶信息論→網(wǎng)絡(luò)信息論4．網(wǎng)絡(luò)信息論15保密學(xué)——一門研究通信安全和保護(hù)信息資源的既古老又年青的學(xué)科包括：密碼編碼學(xué)、密碼分析學(xué)密碼編碼學(xué)——信息安全技術(shù)的核心主要任務(wù)——對(duì)消息進(jìn)行加密、認(rèn)證密碼分析學(xué)——與密碼編碼學(xué)相反主要任務(wù)——破譯密碼、偽造認(rèn)證兩個(gè)分支——既相互對(duì)立又相互依存5．保密編碼161949年，香農(nóng)發(fā)表論文“保密通信的信息理論”，首次用信息論觀點(diǎn)對(duì)信息保密問題作了全面論述1976年，迪弗(Diffe)和海爾曼(Hellman)發(fā)表“密碼學(xué)的新方向”，提出了公開密鑰密碼體制后，保密通信問題才得到廣泛研究當(dāng)今，信息的安全和保密問題更加突出和重要人們把線性代數(shù)、初等數(shù)論、矩陣等引入保密問題研究，已形成了獨(dú)樹一幟的分支——密碼學(xué)

5．保密編碼(續(xù))171.3編碼理論研究的內(nèi)容和目的

1．通信系統(tǒng)研究的目的目的——尋找信息傳輸過程的共同規(guī)律，以提高信息傳輸可靠性、有效性、保密性和認(rèn)證性以達(dá)到信息傳輸系統(tǒng)最優(yōu)化(1)四性①有效性高——占用資源少(時(shí)間、空間、頻率等)②可靠性高——信源消息盡可能準(zhǔn)確地在收端再現(xiàn)③保密性——對(duì)所傳送的消息進(jìn)行隱蔽和保護(hù)④認(rèn)證性——接收者能正確判斷所接收的消息的正確性和完整性181．通信系統(tǒng)研究的目的(續(xù))(2)研究某性能時(shí)的簡(jiǎn)化框圖——在具體研究某一性能時(shí)可將某些功能框合并，以簡(jiǎn)化①有效性研究——把保密編碼、信道編碼并入信道信源編碼信源譯碼無噪廣義信道信源信宿信道編碼信源編碼保密譯碼信道譯碼信源譯碼保密編碼噪聲信道信源信宿191．通信系統(tǒng)研究的目的(續(xù))②可靠性研究——把信源編碼、保密編碼并入信源信道編碼信道譯碼信道廣義信源廣義信宿信道編碼信源編碼保密譯碼信道譯碼信源譯碼保密編碼噪聲信道信源信宿201．通信系統(tǒng)研究的目的(續(xù))③保密性、認(rèn)證性研究——把信源編碼并入信源，信道編碼并入信道保密譯碼保密編碼無噪廣義信道廣義信源廣義信宿信道編碼信源編碼保密譯碼信道譯碼信源譯碼保密編碼噪聲信道信源信宿212．信源編碼(1)目標(biāo)——壓縮信源碼率具體——減小平均碼長(zhǎng)(信源符號(hào)的平均比特?cái)?shù))(2)分類——①經(jīng)典壓縮編碼—無失真、限失真信源編碼②現(xiàn)代壓縮編碼222．信源編碼(續(xù))(3)經(jīng)典信源編碼的兩種基本途徑①設(shè)法改變信源概率分布，使之盡可能不均勻再用最佳編碼方法使平均碼長(zhǎng)逼近信源熵壓縮上界——信息熵[例]霍夫曼編碼、算術(shù)編碼、游程編碼等②去除、減少信源序列的相關(guān)性，使之成為不相關(guān)、低相關(guān)信源[例]預(yù)測(cè)編碼、變換編碼、混合編碼、矢量量化等232．信源編碼(續(xù))(4)現(xiàn)代壓縮編碼經(jīng)典壓縮編碼方法——依據(jù)了信源本身固有的統(tǒng)計(jì)特性，并利用了人類視覺系統(tǒng)的某些特性來進(jìn)行壓縮編碼，但利用得還不夠充分現(xiàn)代壓縮編碼方法——突破了傳統(tǒng)香農(nóng)理論的框架，注重對(duì)感知特性的利用，使壓縮率極大提高[例]小波變換、神經(jīng)網(wǎng)絡(luò)、模型基編碼、分形編碼等243．信道編碼(1)目標(biāo)——是提高信息傳輸?shù)目煽啃愿蓴_、噪聲——使通信質(zhì)量下降模擬信號(hào)——信噪比下降數(shù)字信號(hào)——誤碼率增大(2)方法——增大傳輸所需的信道資源(碼率或帶寬)模擬信號(hào)——增大帶寬，換取所需信噪比的減小數(shù)字信號(hào)——增高碼率（信息位后增設(shè)監(jiān)督位）(3)理論基礎(chǔ)——信道編碼定理[內(nèi)容]當(dāng)信息率R低于信道容量C時(shí)，誤碼可接近零當(dāng)信息率R高于信道容量C時(shí)，必有誤碼254．保密編碼1949年，香農(nóng)發(fā)表論文“保密通信的信息理論”，首次用信息論觀點(diǎn)對(duì)信息保密問題作了全面論述1976年，迪弗(Diffe)和海爾曼(Hellman)發(fā)表“密碼學(xué)的新方向”——一篇具有里程碑意義的文章，此后保密通信問題才得到廣泛研究1978年McEliece用糾錯(cuò)碼構(gòu)造第一個(gè)公鑰密碼體制此后，有關(guān)密碼學(xué)與糾錯(cuò)碼相結(jié)合的研究得到了迅速發(fā)展，從而把兩門原本無關(guān)的學(xué)科結(jié)合在一起二碼合一、三碼合一——當(dāng)前關(guān)注的課題26編碼理論——一門新興科學(xué)主要研究對(duì)象——信息主要研究?jī)?nèi)容——信息的運(yùn)動(dòng)規(guī)律和利用原理主要研究方法——信息科學(xué)方法論主要研究目標(biāo)——擴(kuò)大人的信息功能基本理論——信息論、控制論和系統(tǒng)論結(jié)論——隨著科學(xué)發(fā)展和社會(huì)進(jìn)步，人們將：揭示出客觀世界和人類主觀世界更多的內(nèi)在規(guī)律創(chuàng)造出各種性能優(yōu)異的信息獲取系統(tǒng)、信息傳輸系統(tǒng)、信息控制系統(tǒng)、智能信息系統(tǒng)小結(jié)27第2章信源熵2.1單符號(hào)離散信源2.2多符號(hào)離散平穩(wěn)信源2.3連續(xù)信源2.4離散無失真信源編碼定理28第2章信源熵

2.1單符號(hào)離散信源單符號(hào)信源——信源每次輸出一個(gè)符號(hào),

用離散隨機(jī)變量描述多符號(hào)信源——信源每次輸出多個(gè)符號(hào)

(符號(hào)序列)，用離散隨機(jī)矢量描述

離散信源——信源符號(hào)取值離散連續(xù)信源——信源符號(hào)取值連續(xù)，用隨機(jī)過程描述

[結(jié)論]從概率、隨機(jī)變量(過程)來研究信息信息——對(duì)事物狀態(tài)(存在方式)不確定性的描述292.1.1單符號(hào)離散信源的數(shù)學(xué)模型＊X取值于集合{x1,x2,……xi,……,xn}，n∈I＊p(xi)——X取值xi的概率，

0≤p(xi)≤1,∑p(xi)=1302.1.2自信息和信源熵[復(fù)習(xí)]設(shè)X取值{x1,x2,…,xi,…,xn}，

Y取值{y1,y2,…,yj,…,ym}，則＊聯(lián)合概率p(xiyj)——X取值xi

,Y取值yj同時(shí)成立的概率＊條件概率p(yj/xi)——X取值xi

條件下,Y取值yj的概率＊條件概率p(xi/yj)——Y取值yj條件下,X取值xi的概率[性質(zhì)]312.1.2自信息和信源熵(續(xù))

一、信息量1.自信息：I(xi)=–log2p(xi)bit(nat,Hart)[含義]信源X發(fā)xi后所帶來的信息量

[特例]等概二進(jìn)制信源發(fā)出的每個(gè)碼元均包含1bit信息量

[性質(zhì)]①非負(fù)②單調(diào)遞減③當(dāng)p(xi)=0時(shí)，I(xi)→∞，不可能事件當(dāng)p(xi)=1時(shí)，I(xi)→0，確定事件322.1.2自信息和信源熵(續(xù))2.聯(lián)合自信息

I(xiyj)=–log2p(xiyj)

[含義]X=xi，Y=yj

同時(shí)發(fā)生時(shí)，帶來的信息量

[特例]若X、Y獨(dú)立，則I(xiyj)=I(xi)+I(yj)3.條件自信息＊I(xi/yj)=–log2p(xi/yj)——

Y=yj條件下，發(fā)生X=xi所帶來的信息量＊I(yj/xi)=–log2p(yj/xi)——

X=xi條件下，發(fā)生Y=yj所帶來的信息量[說明]①I(xiyj),I(xi/yj),I(yj/xi)亦有：非負(fù),單調(diào)遞減性②關(guān)系：I(xiyj)=I(xi)+I(yj/xi)I(xiyj)=I(yj)+I(xi/yj)332.1.2自信息和信源熵(續(xù))4.[補(bǔ)]不確定度(不肯定程度)發(fā)生可能性→肯定程度→不確定度概率自信息量關(guān)系如何？同——數(shù)量上相等，單位相同關(guān)系異自信息量——某事件發(fā)生后，給予觀察者(信宿)的信息量不確定度——事件本身特性，總存在342.1.2自信息和信源熵(續(xù))4.[補(bǔ)]不確定度(不肯定程度)(續(xù))

[例]8只燈泡串聯(lián),損壞概率相等,有一只壞了,用表查。①每只損壞概率1/8，每只損壞的不確定度為3bit②“中分法”查一次，知壞燈泡在那4只中——

不確定度為2bit，獲信息1bit③以此類推[結(jié)論]獲得的信息量=不確定度的減少量352.1.2自信息和信源熵(續(xù))二、互信息和條件互信息信道信源X信宿Y362.1.2自信息和信源熵(續(xù))二、互信息和條件互信息

1.互信息

(1)yj對(duì)xi的互信息I(xi;yj)

即：I(xi;yj)=I(xi)-I(xi/yj)(2.1.8)p(xi)——先驗(yàn)概率：信源發(fā)xi的概率

p(xi/yj)——后驗(yàn)概率：信宿收到y(tǒng)j后，推測(cè)信源發(fā)xi的概率[含義]互信息I(xi;yj)=自信息I(xi)-條件自信息I(xi/yj)

＊I(xi)__信宿收到y(tǒng)j之前，對(duì)信源發(fā)xi的不確定度＊

I(xi/yj)__信宿收到y(tǒng)j之后，對(duì)信源發(fā)xi的不確定度＊

I(xi;yj)__收到y(tǒng)j而得到(關(guān)于xi

)的互信息

=不確定度的減少量372.1.2自信息和信源熵(續(xù))二、互信息和條件互信息

1.互信息(2)xi對(duì)yj的互信息I(yj;xi)[含義]信源發(fā)xi前、后，信宿收到y(tǒng)j的不確定度的減少(3)I(xi;yj)=I(xi)+I(yj)-I(xiyj)(2.1.10)[注意]I(xi;yj)與I(xiyj)不同！382.1.2自信息和信源熵(續(xù))2.互信息的性質(zhì)

(1)對(duì)稱性——I(xi;yj)=I(yj;xi)(2)X與Y獨(dú)立時(shí)——I(xi;yj)=0(3)I(xi;yj)可為正、負(fù)、03.條件互信息給定zk條件下，xi與yj間互信息392.1.2自信息和信源熵(續(xù))I(xi;yj)可為正、負(fù)、0的舉例設(shè)yj代表“閃電”，則當(dāng)xi代表“打雷”時(shí)，I(xi/yj)=0，I(xi;yj)=I(xi)＞0當(dāng)xi代表“下雨”時(shí)，I(xi/yj)＜I(xi)，I(xi;yj)＞0當(dāng)xi代表“霧天”時(shí)，I(xi/yj)=I(xi)，I(xi;yj)=0當(dāng)xi代表“飛機(jī)正點(diǎn)起飛”時(shí)，I(xi/yj)＞I(xi)，I(xi;yj)＜0402.1.2自信息和信源熵(續(xù))三、信源熵

1.信源熵

H(X)=E[I(xi)]=–∑p(xi)log2p(xi)

單位——bit/(信源)符號(hào)

[定義]各離散消息xi自信息量I(xi)的數(shù)學(xué)期望

——平均不確定度的度量

——體現(xiàn):總體平均

[含義]①反映——變量X的隨機(jī)性②表示——信源發(fā)送前，信源具有的平均不確定度③表示——信源發(fā)送后，每個(gè)消息(xi)提供的平均信息量412.1.2自信息和信源熵(續(xù))2．條件熵[定義]在XY聯(lián)合集上，條件自信息的數(shù)學(xué)期望H(X/Y)：信宿收到Y(jié)后，信源X仍存在的不確定度由于信道噪聲所致，故稱信道疑義度，損失熵3．聯(lián)合熵

[定義]在XY聯(lián)合集上，聯(lián)合自信息的數(shù)學(xué)期望422.1.3信源熵基本性質(zhì)1.非負(fù)性

2.對(duì)稱性：各p(xi)次序可換

3.最大熵：等概時(shí)H(X)max=log2n[附]若n=2,

則H(X)=-plog2p–(1-p)log2(1-p)=H(p)[重要公式]432.1.3信源熵基本性質(zhì)(續(xù))4.擴(kuò)展性：信源含有的新增消息為小概率時(shí)，熵不變5.確定性：某消息取值概率為1時(shí)，熵為06.可加性：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)7.極值性：[含義]{p(xi)}對(duì)其他分布{p(yi)}的自信息量取數(shù)學(xué)期望必大于其自身熵442.1.3信源熵基本性質(zhì)(續(xù))

[定理]

條件熵不大于信源熵(無條件熵)

H(X/Y)≤H(X)

H(Y/X)≤H(Y)8.上凸性

[含義]熵H(P)～P(概率分布p(xi))間為上凸曲線

[意義]上凸曲線有最大值

[結(jié)論]H(X)max=log2n

（等概）452.1.4加權(quán)熵對(duì)香農(nóng)熵引入主觀因素——效用權(quán)重系數(shù)(重量)一、定義：設(shè)信源X

則加權(quán)熵Hw(X)[含義]消息xi

的權(quán)重wi對(duì)I(xi)的加權(quán)平均二、性質(zhì)：略462.1.5平均互信息一、定義1.Y對(duì)X：(2.1.43)2.X對(duì)Y：(2.1.44)3.合寫：(2.1.45)[含義]信道中流通信息量的整體測(cè)度[附]貝葉斯公式：p(xiyj)=p(xi)p(yj/xi)=p(yj)p(xi/yj)472.1.5平均互信息(續(xù))二、物理意義1.由(2.1.43)：I(X;Y)=H(X)–H(X/Y)(1)H(X)——信源熵：X的不確定度

H(X/Y)——已知Y時(shí)，對(duì)X仍剩的不確定度

[結(jié)論]“Y已知”使得對(duì)X的不確定度減小了,

即獲得了I(X;Y)

的信息量

(2)H(X)——信源含有的平均信息量(總，有用)

I(X/Y)——信宿收到的平均信息量(有用部分)[結(jié)論]H(X/Y)—因信道有擾而丟失的平均信息量，故稱損失熵482.1.5平均互信息(續(xù))二、物理意義2.由(2.1.44)：I(Y;X)=H(Y)–H(Y/X)=I(X;Y)(1)H(Y)——信宿收到的平均信息量

I(X;Y)——信道傳輸?shù)钠骄畔⒘縖結(jié)論]H(Y/X)——因信道有擾而產(chǎn)生的假平均信息量，稱噪聲熵、散布度

(2)H(Y)——Y的先驗(yàn)不定度

H(Y/X)——發(fā)出X后，關(guān)于Y的后驗(yàn)不定度[結(jié)論]I(Y;X)——發(fā)X前后，Y不定度的減少量492.1.5平均互信息(續(xù))3.由(2.1.45)：I(X;Y)=H(X)+H(Y)–H(XY)H(X)+H(Y)——通信前，整個(gè)系統(tǒng)的先驗(yàn)不定度H(XY)——通信后，整個(gè)系統(tǒng)仍剩的不定度I(X;Y)——通信前后，整個(gè)系統(tǒng)不確定度的減少量，即傳輸?shù)幕バ畔結(jié)論]I(X;Y)——平均每傳送一個(gè)信源符號(hào)時(shí)，流經(jīng)信道的平均(有用)信息量H(X)

I(X;Y)H(Y)

H(X/Y)

H(Y/X)

502.1.5平均互信息(續(xù))三、平均互信息的性質(zhì)

1.非負(fù)性——I(X;Y)≥0，盡管I(xi;yj)的某些元素可為負(fù)

2.對(duì)稱性——I(X;Y)=I(Y;X)3.極值性——I(X;Y)≤H(X)I(X;Y)≤H(Y)[特例]I(X;Y)=H(X)–H(X/Y)

＊當(dāng)H(X/Y)=0時(shí)，I(X;Y)=H(X)——信道無噪（X、Y一一對(duì)應(yīng)）＊當(dāng)I(X;Y)=0時(shí)，H(X/Y)=H(X)——信道中斷（X、Y獨(dú)立）512.1.5平均互信息(續(xù))4.凸函數(shù)性

(1)I(X;Y)是信源概率分布P(X)的上凸函數(shù)（最大值）——信道容量的基礎(chǔ)

(2)I(X;Y)是信道轉(zhuǎn)移概率P(Y/X)的下凸函數(shù)（最小值）——率失真函數(shù)的基礎(chǔ)52[例2.1.6]二進(jìn)制對(duì)稱信道q不變時(shí),I(X;Y)為上凸曲線。p=0.5時(shí)有最大值p不變時(shí),I(X;Y)為下凸曲線。q=0.5時(shí)有最小值2.1.5平均互信息(續(xù))qq10YX00.51qH(p)I(X;Y)1-H(q)00.51pI(X;Y)532.1.5平均互信息(續(xù))5.數(shù)據(jù)處理定理

I(X;Z)≤I(X;Y)

I(X;Z)≤I(Y;Z)[意義]信息不增原理——

每經(jīng)一次處理，可能丟失一部分信息P(Y/X)P(Z/Y)XYZ542.1.6文氏圖

I(X;Y)=H(X)–H(X/Y)=H(Y)–H(Y/X)H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(XY)+I(X;Y)=H(X)+H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X)

I(X;Y)H(Y)

H(X/Y)

H(Y/X)

552.2多符號(hào)離散平穩(wěn)信源多符號(hào)信源(序列信源)——每次發(fā)送一個(gè)符號(hào)序列。用隨機(jī)矢量描述。平穩(wěn)信源——信源所發(fā)送符號(hào)序列的概率分布與時(shí)間起點(diǎn)無關(guān)。無記憶信源——信源所發(fā)送符號(hào)序列的各符號(hào)之間統(tǒng)計(jì)無關(guān)。有記憶信源——信源所發(fā)送符號(hào)序列的各符號(hào)之間統(tǒng)計(jì)有關(guān)。2.2.1離散平穩(wěn)(序列)信源[定義]若一離散序列信源的各維聯(lián)合概率均與時(shí)間起點(diǎn)無關(guān)，則為離散平穩(wěn)(序列)信源562.2.2離散平穩(wěn)無記憶信源(擴(kuò)展信源)一、定義：若單符號(hào)離散信源X：

則X的N次擴(kuò)展信源XN：

[說明]①XN信源集中，共有q=nN個(gè)元素(序列種類)

每個(gè)元素ai

——由N

個(gè)xi組成的某一序列

(兩者‘i’不等)②無記憶，故p(ai)=p(xi1)p(xi2)…p(xiN)572.2.2離散平穩(wěn)無記憶信源(擴(kuò)展信源)(續(xù))二、熵H(XN)=NH(X)(2.2.5)[例2.2.1][法一]先構(gòu)造二次擴(kuò)展信源(表2.2.1)，再求H(X2)[法二]先求單符號(hào)信源熵：H(X)=1.5bit/符號(hào)再由式(2.2.5)求：

H(X2)=2H(X)=3bit/符號(hào)序列582.2.3離散平穩(wěn)有記憶信源有記憶信源——用信源發(fā)送一個(gè)符號(hào)序列的

聯(lián)合概率描述馬爾可夫鏈——用信源發(fā)送一個(gè)符號(hào)序列中各符號(hào)間條件概率(狀態(tài)轉(zhuǎn)移概率)描述一、二維有記憶信源X=X1X2二維——每組(符號(hào)序列)包含2個(gè)符號(hào)有記憶——每組內(nèi)，后一符號(hào)與前一符號(hào)相關(guān)平穩(wěn)——(上述)相關(guān)性與時(shí)間起點(diǎn)無關(guān)假設(shè)：組間統(tǒng)計(jì)獨(dú)立592.2.3離散平穩(wěn)有記憶信源(續(xù))1.分析設(shè)X1,X2∈{x1,x2,…,xn}

則X∈{x1x1,…,x1xn,x2x1,…,x2xn,…,xnx1,…,xnxn}

令ai=(xi1xi2),i1,i2=1,2,…,n，則i=1,2,…,n2，于是602.2.3離散平穩(wěn)有記憶信源(續(xù))2.結(jié)果3.說明對(duì)無記憶信源，X1,X2

相互獨(dú)立，

H(X)=H(X1)+H(X2)

由于H(X2/X1)≤H(X2),

因此，H(X2X1)≤H(X1)+H(X2)(2)當(dāng)X1,X2

取自同一集合X時(shí)，

H(X)=2H(X)=H(X2),為二次擴(kuò)展信源。612.2.3離散平穩(wěn)有記憶信源(續(xù))[例2.2.2]給定信源概率，條件概率，求得：(1)(原始)信源熵H(X)=1.542bit/符號(hào)(2)條件熵H(X2/X1)=0.870bit/符號(hào)(3)聯(lián)合熵H(X)=H(X1X2)=2.412bit/符號(hào)序列(4)平均符號(hào)熵H2(X)=0.5H(X)=1.206bit/符號(hào)[說明]H(X2/X1)＜H(X)(條件熵≤無條件熵)

H2(X)＜H(X)[解釋]X2與X1相關(guān)，使熵值減小。622.2.3離散平穩(wěn)有記憶信源(續(xù))二、N維有記憶信源

1.聯(lián)合熵H(X)

H(X)=H(X1X2…XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XN/X1X2…XN-1)(bit/符號(hào)序列)2.條件熵H(XN/X1X2…XN-1)是N的不增函數(shù)

H(XN/X1X2…XN-1)≤H(XN-1/X1X2…XN-2)≤…≤H(X3/X1X2)≤H(X2/X1)≤H(X1)632.2.3離散平穩(wěn)有記憶信源(續(xù))二、N維有記憶信源

3.平均符號(hào)熵HN(X)HN(X)=(1/N)H(X)=(1/N)H(X1X2…XN)bit/符號(hào)4.極限熵

(1)意義：實(shí)際工作時(shí)，信源不斷發(fā)送符號(hào)。

(2)對(duì)平穩(wěn)信源642.2.4馬爾可夫信源一、概述有一類信源，其輸出符號(hào)只與此前已輸出的若干個(gè)符號(hào)有關(guān)。如：若把前已輸出的符號(hào)視為狀態(tài)，則有：

(1)輸出符號(hào)概率——在l時(shí)刻，信源處于狀態(tài)ei時(shí)，輸出符號(hào)xk的概率：P(Xe=Xk/Sl=ei)=pl(xk/ei)(2)狀態(tài)轉(zhuǎn)移概率

——在l時(shí)刻，信源處于狀態(tài)ei，而在l+1時(shí)刻轉(zhuǎn)移到ej的概率

P(Sl+1=ej/Sl=ei)=pl(ej/ei)又稱一步轉(zhuǎn)移概率時(shí)齊(齊次)——若上述兩概率與時(shí)刻l無關(guān)，即

pl(xk/ei)=p

(xk/ei),pl(ej/ei)=p

(ej/ei)…,Xl-m,Xl-m+1,…,Xl-1,Xl,Xl+1,…eiej652.2.4馬爾可夫信源(續(xù))二、馬爾可夫信源

1.定義：若一信源滿足下列兩點(diǎn)，即為馬爾可夫信源(1)輸出符號(hào)只與當(dāng)前狀態(tài)有關(guān)——p(xk/ei)(2)當(dāng)前狀態(tài)和輸出決定了下一狀態(tài)——p(ej/ei)描述——狀態(tài)轉(zhuǎn)移圖[例2.2.3]給定狀態(tài)轉(zhuǎn)移圖(圖2.2.1)

可得：符號(hào)條件概率p(xk/ei)——

矩陣(2.2.40),每行和為1

一步轉(zhuǎn)移概率p(ej/ei)——

矩陣(2.2.42),每行和為1662.2.4馬爾可夫信源(續(xù))2.m階馬爾可夫信源

(1)m階：輸出符號(hào)概率只與前m個(gè)符號(hào)有關(guān)。若每符號(hào)取值n種，則共有nm種狀態(tài)，每種狀態(tài)對(duì)應(yīng)一個(gè)m長(zhǎng)(n

進(jìn)制)序列

(2)極限熵672.2.4馬爾可夫信源(續(xù))2.m階馬爾可夫信源

(3)有限齊次馬爾可夫鏈的各態(tài)歷經(jīng)定理

[定理]對(duì)每個(gè)j，都存在與i

無關(guān)的極限

且p(ej)由式(2.2.48)決定：682.2.4馬爾可夫信源(續(xù))[例2.2.4]二元二階馬爾可夫信源，信源符號(hào)集X={0,1}。[解]nm=4,狀態(tài)空間集E：{e1=00,e2=01,e3=10,e4=11}狀態(tài)圖；圖2.2.2由狀態(tài)圖得狀態(tài)矩陣，由(2.2.48)得692.2.4馬爾可夫信源(續(xù))由(2.2.46)解得：H∞=0.8bit/符號(hào)[結(jié)論]該信源在穩(wěn)定后發(fā)00，11的概率為5/14發(fā)01，10概率為2/14平均每符號(hào)(0,1)包含0.8bit信息量

702.2.4馬爾可夫信源(續(xù))[小結(jié)]兩種有記記憶信源比較類型m階馬氏過程m長(zhǎng)有記憶信源依賴關(guān)系(相當(dāng)于)記憶長(zhǎng)度為m符號(hào)間關(guān)系可延伸到無窮（卷積碼）m個(gè)符號(hào)為一組組內(nèi)相關(guān)，組間無關(guān)（分組碼）描述狀態(tài)轉(zhuǎn)移(條件)概率聯(lián)合概率每符號(hào)平均熵極限熵Hm+1

Hm(X)=(1/m)H(X1X2…Xm)712.2.5信源冗余度及信息變差實(shí)際信源以馬氏源近似。對(duì)馬氏源，m↑→Hm↓即：

H0=log2n≥H1≥H2≥…≥Hm＞H∞（2.2.54）H0——最大熵H∞——實(shí)際熵

(1)相對(duì)熵率

=H∞/H0(2)冗余度

=1-

=I0∞/H0(3)信息變差

I0∞=H0-H∞722.2.5信源冗余度及信息變差(續(xù))[例]英語26字母加空格共27個(gè)符號(hào)，概率分布見表2.2.2?？傻茫?/p>

H0=4.76bit/符號(hào),H1=4.03bit/符號(hào),

H2=3.32bit/符號(hào),H3=3.10bit/符號(hào)

H∞=1.40bit/符號(hào)，且

=0.29，

=0.71，I0∞=3.36bit/符號(hào)

[說明]①若按最大熵(等概，相互獨(dú)立)設(shè)計(jì)，每符號(hào)需多傳3.36bit②英文中，有71%冗余度，是由語言結(jié)構(gòu)決定的，該部分無需傳輸，可壓縮。于是：冗余度——信源可壓縮程度。732.3連續(xù)信源[概念]連續(xù)信源-——輸出在時(shí)間、取值上都連續(xù)，屬隨機(jī)過程｛x(t)｝，以概率密度描述平穩(wěn)過程——統(tǒng)計(jì)特性與時(shí)間起點(diǎn)無關(guān)遍歷過程——集平均=時(shí)間平均的平穩(wěn)過程742.3.1連續(xù)信源的熵[熵計(jì)算兩法][法一]連續(xù)消息→離散消息再用離散信源方法計(jì)算[法二]連續(xù)消息抽樣→時(shí)間離散的連續(xù)消息分析時(shí)先量化，再令△→0752.3.1連續(xù)信源的熵(續(xù))[分類]單變量信源——無記憶信源

(與單符號(hào)離散源相似)

隨機(jī)過程中取一個(gè)時(shí)間t1多變量信源——有記憶信源

(與多符號(hào)離散源相似)

隨機(jī)過程中取多個(gè)時(shí)間ti[說明]對(duì)單變量信源，可研究：數(shù)學(xué)期望、方差對(duì)兩變量信源，可研究：自相關(guān)函數(shù)762.3.1連續(xù)信源的熵(續(xù))一、單變量連續(xù)信源數(shù)學(xué)模型

R——連續(xù)變量X的取值范圍二、連續(xù)信源的熵由法二得：(圖2.3.1)

上式中第2項(xiàng)為∞即連續(xù)信源熵值無窮大(取值可能性無限多)舍第2項(xiàng)得定義(相對(duì)熵)772.3.1連續(xù)信源的熵(續(xù))二、連續(xù)信源的熵[兩個(gè)連續(xù)變量]聯(lián)合熵條件熵782.3.2幾種特殊連續(xù)信源的熵和最大熵定理一、均勻分布信源：

Hc(X)=log2(b-a)[結(jié)論]①熵值只與均勻分布間隔(b-a)有關(guān)，②若b-a<1，則Hc(X)為負(fù)792.3.2幾種特殊連續(xù)信源的熵

和最大熵定理(續(xù))二、高斯分布信源

[結(jié)論]熵值只與方差有關(guān)，與m無關(guān)。802.3.2幾種特殊連續(xù)信源的熵

和最大熵定理(續(xù))三、指數(shù)分布信源m——數(shù)學(xué)期望

[結(jié)論]熵值只與數(shù)學(xué)期望m有關(guān)812.3.2幾種特殊連續(xù)信源的熵

和最大熵定理(續(xù))四、最大熵定理限峰值功率的最大熵定理——

均勻分布的連續(xù)信源具最大熵2.限平均功率的最大熵定理——

高斯分布的連續(xù)信源具最大熵3.限均值的最大熵定理——

指數(shù)分布的連續(xù)信源具最大熵[結(jié)論]①連續(xù)信源的最大熵因條件而異②離散信源的最大熵出現(xiàn)于等概之時(shí)822.3.3連續(xù)熵的性質(zhì)(1)連續(xù)熵可為負(fù)值（與離散熵不同）

(2)可加性

Hc(XY)=Hc(X)+Hc(Y/X)=Hc(Y)+Hc(X/Y)Hc(X1X2…XN)=Hc(X1)+Hc(X2/X1)+Hc(X3/X1X2)+…+Hc(XN/X1X2…XN-1)832.3.3連續(xù)熵的性質(zhì)(續(xù))(3)平均互信息的非負(fù)性

Ic(X;Y)=Hc(X)–Hc(X/Y)

Ic(Y;X)=Hc(Y)–Hc(Y/X)對(duì)稱性——Ic(X;Y)=Ic(Y;X)非負(fù)性——Ic(X;Y)≥0,Ic(Y;X)≥0條件熵不大于無條件熵

Hc(X/Y)≤Hc(X)Hc(Y/X)≤Hc(Y)842.3.4熵功率(1)信息變差I(lǐng)p,q=Hc[p(x),X]–Hc[q(x),X](2.3.49)

Hc[p(x),X]——最大熵，對(duì)應(yīng)分布p(x)

Hc[q(x),X]——實(shí)際熵：對(duì)應(yīng)分布q(x)[說明]①式(2.3.49)與I0∞=H0–H∞相對(duì)應(yīng)且有：實(shí)際熵Hc[q(x),X]=Hc[p(x),X]–Ip,q②最大熵——最大的平均不確定度實(shí)際熵——測(cè)定q(x)后還剩下的不定度于是，獲得的信息量Ip,q——不確定度的減少量852.3.4熵功率（續(xù)）(2)熵功率對(duì)零均值，平均功率(P)受限的信源，高斯分布p(x)具最大值。(∵m=0,∴P=

2)

對(duì)實(shí)際信源，分布為q(x),也可寫為

[結(jié)論]冗余度,信息變差取決于限定功率與熵功率之比862.4離散無失真信源編碼定理一、引言1.通信根本問題——信源輸出的信息，在接收端精確/近似重現(xiàn)[需解決]①信源輸出的描述——信息量計(jì)算(熵)②信源輸出的表示——信源編碼2.信源編碼

(1)含義：信源符號(hào)→碼符號(hào)，以適合信道傳輸?shù)囊环N映射(變換)872.4離散無失真信源編碼定理(續(xù))(2)要求①無失真：可逆，唯一②有效：所編碼字盡量短(提高編碼效率,減小信息率)(3)實(shí)質(zhì)：壓縮信源輸出中的冗余度①消息概率分布的非平均——

H0(X)≥H1(X)②消息間相關(guān)性——H1(X)≥H2(X)

≥H3(X)≥…

對(duì)無記憶信源——利用①對(duì)有記憶信源——利用①，②，主要是② (4)編碼編碼信道編碼—香農(nóng)第二定理信源編碼限失真信源編碼—香農(nóng)第三定理無失真信源編碼—香農(nóng)第一定理定長(zhǎng)編碼變長(zhǎng)編碼882.4離散無失真信源編碼定理(續(xù))二、定長(zhǎng)編碼定理1.目的：在保證一一對(duì)應(yīng)、變換唯一前提下，使K盡量小。信源編碼X=(X1X2…Xl…XL)(Xl有n種取值)Y=(Y1Y2…Yk…YK)(Yk有m種取值)892.4離散無失真信源編碼定理(續(xù))2.定理：由L個(gè)符號(hào)組成的，每符號(hào)熵為H(x)的平穩(wěn)無記憶符號(hào)序列X

可用由K個(gè)碼符號(hào)(每個(gè)有m

種取值)組成的碼序列作定長(zhǎng)編碼。對(duì)任意

＞0,

＞0，有：

(1)正定理：只要?jiǎng)t當(dāng)L

足夠大時(shí)，譯碼差錯(cuò)必小于

(2)逆定理：當(dāng)時(shí)譯碼差錯(cuò)必為有限值。且當(dāng)L

足夠大時(shí)，譯碼幾乎必定出錯(cuò)。902.4離散無失真信源編碼定理(續(xù))3.說明

(1)術(shù)語①信息率(編碼速率)R=(K/L)log2m

bit/信源符號(hào)

log2m——每個(gè)碼符號(hào)的最大熵(bit/碼符號(hào))Klog2m——每個(gè)碼符號(hào)序列最大熵(bit/碼序列)(K/L)log2m——編碼后，平均每個(gè)信源符號(hào)所能載荷的最大信息量912.4離散無失真信源編碼定理(續(xù))

②

編碼效率

H(X)—編碼前，平均每個(gè)信源符號(hào)包含的信息量R——編碼后，平均每個(gè)信源符號(hào)所能傳送的最大信息量若在正定理中取等號(hào)：R=H(X)+

于是922.4離散無失真信源編碼定理(續(xù))(2)正定理指出：當(dāng)信息率

R>單符號(hào)熵H(X)時(shí)可做到幾乎無失真譯碼，條件是L大只要,譯碼差錯(cuò)率必小于

——信源序列自信息方差932.4離散無失真信源編碼定理(續(xù))(3)逆定理指出：若R比H(X)小一個(gè)

時(shí)，譯碼差錯(cuò)未必超過

若R比H(X)小兩個(gè)

時(shí)，譯碼差錯(cuò)必定大于

L→∞時(shí)必失真(4)結(jié)論(單符號(hào))信源熵H(X)實(shí)為一個(gè)界限當(dāng)R＞H(X)時(shí)——無失真譯碼當(dāng)R＜H(X)時(shí)——有失真譯碼942.4離散無失真信源編碼定理(續(xù))[例2.4.1]給定信源模型：8種符號(hào)和概率算得：H(X)=2.55bit/信源符號(hào)，

2(X)=1.323Δ若要求：編碼效率

=90%，由得

=0.28Δ若要求:譯碼差錯(cuò)率δ=10-6,則L太大

此外，相對(duì)熵率不高952.4離散無失真信源編碼定理(續(xù))三、變長(zhǎng)編碼定理

1.基礎(chǔ)(1)碼的分類碼定長(zhǎng)碼變長(zhǎng)碼碼非分組碼分組碼奇異碼非奇異碼非唯一可譯碼唯一可譯碼非即時(shí)碼即時(shí)碼962.4離散無失真信源編碼定理(續(xù))[例2.4.2]A：奇異碼——信源符號(hào)～碼字并非一一對(duì)應(yīng)譯碼將一對(duì)多B：非唯一可譯碼——

一碼字是其他碼字的組合C：非即時(shí)碼，又名延長(zhǎng)碼——

一碼字是其他碼字的延長(zhǎng)D：即時(shí)碼，又名異字頭碼，異前置碼——

收到一個(gè)完整碼字后，可立即譯出972.4離散無失真信源編碼定理(續(xù))(2)碼樹①碼樹畫法(m進(jìn)制)從樹根出發(fā)，畫m條分支，分支端點(diǎn)稱為節(jié)。第一節(jié)有m個(gè)端點(diǎn)，每端點(diǎn)對(duì)應(yīng)一個(gè)碼字從第一節(jié)每個(gè)端點(diǎn)出發(fā)，再畫m條分支，得第二節(jié)。第二節(jié)有m2個(gè)端點(diǎn)以此類推982.4離散無失真信源編碼定理(續(xù))②術(shù)語終端節(jié)點(diǎn)——后面不再分支的節(jié)點(diǎn)。中間節(jié)點(diǎn)——除樹根、終端節(jié)點(diǎn)外的節(jié)點(diǎn)。聯(lián)枝——串聯(lián)的樹枝碼字——從樹根出發(fā),到達(dá)某一終端節(jié)點(diǎn)的聯(lián)枝滿樹

——每個(gè)碼字的聯(lián)枝數(shù)均相同時(shí)(定長(zhǎng)碼)非滿樹

——當(dāng)碼字的聯(lián)枝數(shù)不同時(shí)(變長(zhǎng)碼)全樹

——每個(gè)中間節(jié)點(diǎn)的后續(xù)分支數(shù)均為m

非全樹

——有些中間節(jié)點(diǎn)的后續(xù)分支數(shù)不足m③即時(shí)碼——每個(gè)碼字都到達(dá)終端節(jié)點(diǎn)992.4離散無失真信源編碼定理(續(xù))(3)克拉夫特不等式——即時(shí)碼存在的充要條件式中，n—信源符號(hào)數(shù)

m—進(jìn)制數(shù)

ki—第i個(gè)碼字長(zhǎng)度[滿樹、非滿樹、全樹、非全樹圖示]滿樹全樹，非滿樹非全樹1002.4離散無失真信源編碼定理(續(xù))2.變長(zhǎng)編碼定理

(1)術(shù)語①平均碼長(zhǎng)——平均每個(gè)信源符號(hào)所需的碼長(zhǎng)②信息率——編碼后，平均每個(gè)信源符號(hào)能載荷的最大信息量③(信道)信息傳輸率——編碼后,平均每個(gè)碼符號(hào)載荷的(信源)信息量1012.4離散無失真信源編碼定理(續(xù))(2)單符號(hào)變長(zhǎng)編碼定理

[定理]若一離散無記憶信源的符號(hào)熵為H(X)，對(duì)信源符號(hào)以m進(jìn)制碼元作變長(zhǎng)編碼，則必定存在一種無失真編碼方法，其平均碼長(zhǎng)滿足[意義]①給出了平均碼長(zhǎng)的上,下限?？稍诰幋a前先估算②下限給出了信源壓縮的極限。達(dá)到下限的編碼——熵編碼③最佳編碼應(yīng)是——與信源熵H(X)相匹配的編碼1022.4離散無失真信源編碼定理(續(xù))(3)離散平穩(wěn)無記憶序列變長(zhǎng)編碼定理

[定理]若一離散平穩(wěn)無記憶序列信源的平均符號(hào)熵為H(X)，則必存在一種無失真編碼方法，使信息率R滿足：

H(X)≤R≤H(X)+

(2.4.8)1032.4離散無失真信源編碼定理(續(xù))(3)離散平穩(wěn)無記憶序列變長(zhǎng)編碼定理[意義]①存在性定理②構(gòu)造性定理——給出了構(gòu)造信源編碼的原理性方法

——～信息統(tǒng)計(jì)特性匹配③極限性定理——Rmin=H(X)，或于是，若R>Rmin，或，必可找到一種編碼。反之,不必徒勞。④編碼效率[END]104第3章信道容量研究：在什么條件下，通過信道的信息量最大？多少？105第3章信道容量3.1信道數(shù)學(xué)模型和分類3.2單符號(hào)離散信道的信道容量3.3多符號(hào)離散信道3.4多用戶信道3.5連續(xù)信道3.6信道編碼定理1063.1信道數(shù)學(xué)模型和分類一、信道數(shù)學(xué)模型X,Y——隨機(jī)過程：時(shí)間連續(xù)的時(shí)間信號(hào)信號(hào)帶寬有限，X,Y可抽樣為時(shí)間離散的隨機(jī)序列，每序列為一隨機(jī)變量.二、信道分類(1)根據(jù)輸入、輸出隨機(jī)信號(hào)特點(diǎn)離散信道——輸入、輸出隨機(jī)變量均離散取值連續(xù)信道——輸入、輸出隨機(jī)變量均連續(xù)取值半離散(連續(xù))信道——一為離散，另一為連續(xù)P(Y/X)XY1073.1信道數(shù)學(xué)模型和分類(續(xù))二、信道分類

(2)根據(jù)輸入、輸出隨機(jī)變量的個(gè)數(shù)單符號(hào)信道——輸入、輸出均用隨機(jī)變量表示多符號(hào)信道——輸入、輸出用隨機(jī)矢量表示

(3)根據(jù)輸入、輸出端的個(gè)數(shù)單用戶信道——輸入、輸出均只有一個(gè)多用戶信道——輸入、輸出有多個(gè)1083.1信道數(shù)學(xué)模型和分類(續(xù))二、信道分類

(4)根據(jù)信道上有無噪聲(干擾)有噪(擾)信道無噪(擾)信道

(5)根據(jù)信道有無記憶特性無記憶信道——輸出僅與當(dāng)前輸入有關(guān)

與先前輸入無關(guān)有記憶信道——輸出不僅與當(dāng)前輸入有關(guān)還與先前輸入有關(guān)1093.2.1信道容量定義一.信道矩陣P[含義]由信道轉(zhuǎn)移概率(條件概率)組成的矩陣設(shè)單符號(hào)離散信道則信道特性可表示為p(yj/xi)信道矩陣3.2單符號(hào)離散信道的信道容量p(yj/xi)XYi=1～nj=1～m1103.2.1信道容量定義(續(xù))二、信道容量1.互信息I(X;Y)——平均來說，每傳送一個(gè)信道符號(hào)時(shí)，流經(jīng)信道的有用信息量

I(X;Y)=H(X)–H(X/Y)≤H(X)于是，I(X;Y)是二元函數(shù)：p(xi)的上凸函數(shù)

p(yj/xi)的下凸函數(shù)1113.2.1信道容量定義(續(xù))二、信道容量2.信道容量

(1)定義

(2)含義①給定信道時(shí)，對(duì)應(yīng)各種輸入概率分布求取的

最大互信息(每信道符號(hào))②給定信道時(shí)，理論上能傳輸?shù)淖畲?有用)信息量3.最高信息傳輸速率Ct[含義]單位時(shí)間內(nèi)信道中傳輸?shù)淖畲笥杏眯畔⒘俊畔鬏斔俾?123.2.2幾種特殊信道的C一、離散無噪聲信道(n=m)1.具有一一對(duì)應(yīng)關(guān)系的無噪信道

——一對(duì)一，無噪無損信道信道矩陣——單位陣：元素為0、1損失熵H(X/Y)=0噪聲熵H(Y/X)=0互信息I(X;Y)=H(X)=H(Y)x1x2x3

xny1y2y3

yn………H(X)I(X;Y)H(Y)1133.2.2幾種特殊信道的C(續(xù))一、離散無噪聲信道(n＜m)2.具有擴(kuò)展性的無噪信道

——一對(duì)多，有噪無損信道信道矩陣——每列只有一個(gè)非0元元素不全是0、1損失熵H(X/Y)=0噪聲熵H(Y/X)≠0

H(X)＜H(Y)x1x2x3y1y2y3y4y5H(X)I(X;Y)H(Y)H(Y/X)

1143.2.2幾種特殊信道的C(續(xù))一、離散無噪聲信道(n＞m)3.具有歸并性的無噪信道

——多對(duì)一，無噪有損信道信道矩陣——每行只有一個(gè)非0元元素為0、1損失熵H(X/Y)≠0噪聲熵H(Y/X)=0

H(X)＞H(Y)輸入分布非唯一y1y2y3x1x2x3x4x5H(X)I(X;Y)H(Y)H(X/Y)

1153.2.2幾種特殊信道的C(續(xù))二、強(qiáng)對(duì)稱離散信道

1.信道特點(diǎn)信道輸入、輸出均為n元每符號(hào)正確傳輸概率均為其他符號(hào)錯(cuò)誤傳輸概率為p/(n-1)2.矩陣特點(diǎn)

(1)n×n階對(duì)稱陣

(2)二值矩陣

(3)每行和為1,每列和為11163.信道容量C[結(jié)論]對(duì)強(qiáng)對(duì)稱信道，

輸入等概→輸出等概，可達(dá)到C3.2.2幾種特殊信道的C(續(xù))1174.二進(jìn)制對(duì)稱信道(n=2)3.2.2幾種特殊信道的C(續(xù))00.51p1C118三、對(duì)稱離散信道

1.術(shù)語行可排列——矩陣每行各元素都來自同一集合Q

Q∈{q1,q2,…,qm}(排列可不同)列可排列——矩陣每列各元素都來自同一集合P

P∈{p1,p2,…,pn}(排列可不同)矩陣可排列——矩陣的行、列皆可排列對(duì)稱信道——信道矩陣可排列3.2.2幾種特殊信道的C(續(xù))119三、對(duì)稱離散信道

2.對(duì)稱信道性質(zhì)

(1)m=n時(shí)，Q、P為同一集合

m≠n時(shí)，Q、P

中，一個(gè)必為另一個(gè)的子集