第一章 緒論_純中文_20130926

1、主講人：束鋒 糾錯編碼技術(shù) 主要內(nèi)容 緒論: 應(yīng)用，基本原理，發(fā)展簡史，與信息論基礎(chǔ) 編碼的數(shù)學(xué)基礎(chǔ)：代數(shù)引論 線性分組碼 卷積碼 先進(jìn)的編碼技術(shù)簡介： Turbo Code, LPDC, Polar code, Furtain code 參考書 差錯控制編碼（英文名為：Error Control Coding），第2版，Shu Lin and D. J. Costello, 機(jī)械工業(yè)出版社， 2007.6； 如何在噪聲信道上實現(xiàn)可靠通信？ 為什么需要糾錯編碼（信道編碼）？ 常見的噪聲信道1-模擬電話線 （ADSL） 調(diào)制解調(diào)器電話線調(diào)制解調(diào)器 一根電話受到其他電話線干擾， 硬件電路導(dǎo)致信號失

2、真，線路會 產(chǎn)生加性熱噪聲 常見的噪聲信道2-深空通信 伽利略號 飛船 無線電波地球 伽利略號 飛船發(fā)射信號到達(dá)地球是非常微弱的信 號，受到地面和太空干擾源的背景輻射 常見的噪聲信道3-細(xì)胞復(fù)制 父/母細(xì)胞 子細(xì)胞 子細(xì)胞 DNA會產(chǎn)生突變， 變異（惡劣環(huán)境產(chǎn) 生的輻射，污染） 常見的噪聲信道4-計算機(jī)磁盤驅(qū) 動器 內(nèi)存/硬盤/ 光盤 磁盤驅(qū)動器 內(nèi)存/硬盤/ 光盤 磁盤驅(qū)動器通過將一小塊磁介質(zhì)校準(zhǔn)到兩 個方向(1或0），磁介質(zhì)小材料可能改變 磁化方向，或者一個短時脈沖干擾會導(dǎo)致 數(shù)據(jù)讀取電路讀出錯誤值，磁盤運輸或保 存過程中會出現(xiàn)磨損、損壞或灰塵 信道非理想和噪聲會導(dǎo)致傳輸發(fā) 生過程錯誤！

3、0 1 0 1 1-p 1-p p p BSC P(y=0/x=0)=1-f, P(y=1/x=1)=1-f, P(y=0/x=1)=f, P(y=1/x=0)=f, Solutions 第一章 緒論 1.1 引言 1.2 碼類型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯誤類型 1.6 差錯控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 引言 主要用于：信息傳輸和信息存儲，過程中信息出錯， 檢測或糾正錯誤。 信息傳輸： 無線通信-移動通信，無線網(wǎng)絡(luò)（無線局域網(wǎng) （WLAN）,有線網(wǎng)

4、絡(luò)（有線電視，.） 信息存儲：光盤光驅(qū)，硬盤和硬盤驅(qū)動系統(tǒng) 典型信息傳輸和數(shù)據(jù)存儲框圖 發(fā)射機(jī) 接收機(jī) 框圖功能模塊介紹（一） 發(fā)射機(jī)：發(fā)射機(jī)： 信源：是人或計算機(jī)，輸出是連續(xù)的聲音，視頻， 或離散的信息。 信源編碼器：將信源輸出轉(zhuǎn)化為二進(jìn)制01信息序列， 對應(yīng)連續(xù)波形，就是A/D轉(zhuǎn)換（模數(shù)轉(zhuǎn)換），采 樣量化。理想信源編碼兩個原則：編碼輸出比特數(shù) 最小化（Huffman編碼）；可完全重構(gòu)連續(xù)波形。 屬于信息論范疇 框圖功能模塊介紹（二） 信道編碼：二進(jìn)制信息序列u變換成離散的編碼序列v， 稱之為碼字。V可為二進(jìn)制或非二進(jìn)制，對抗信道噪聲 （Why？模擬信號無對抗噪聲能力？數(shù)字或幅度離散信 號可

5、以？）。 信道編碼和信源編碼區(qū)別：前者在信息中引入冗余性， 糾正錯誤；后者壓縮信源輸出波形中冗余性。是否相同 冗余性？ 調(diào)制器：將信道編碼器每個輸出的符號轉(zhuǎn)變?yōu)檫m合信道 傳輸?shù)牟ㄐ?。舉例：廣播 信道：信道： 信道：波形進(jìn)入信道后會收到噪聲干擾，比如電話線， 干擾-開關(guān)脈沖噪聲，熱噪聲和其他線串音， 框圖功能模塊介紹（三） 信道：光盤，灰塵，劃痕和表面缺陷。 接收機(jī)：接收機(jī)： 解調(diào)器(demodulator):處理收到T秒波形，產(chǎn)生離 散或連續(xù)的輸出r； 信道譯碼：將r轉(zhuǎn)化為二進(jìn)制輸出序列uhat, 此為 估計信息序列。尋找使譯碼的誤碼率最小的信道譯 碼器； 信源譯碼器：將估計的信息序列uhat

6、變換為信源 輸出估計，恢復(fù)發(fā)射機(jī)信源編碼輸出 第一章 緒論 1.1 引言 1.2 碼類型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯誤類型 1.6 差錯控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 兩種不同類型信道編碼 分組碼（Block codes）：將信息流或序列分成多塊或組， 假定每組由k個比特（符號）組成?？捎?u u=u_0,u_1,u_(k-1), 稱為一個消息（message）,總共 有2k不同信息，如果是M進(jìn)制呢？ 編碼器會將每個消息轉(zhuǎn) 化為n維離散符號向量，v v

7、=v_0,v_1,v_(n-1), 稱之為 碼字(codeword), 一共多少碼字？此？個碼字集合稱之為 （n,k) 分組碼，比值k/n=R為碼率（code rate） 0000100010010011 0000100010010011 000000011010000111001 0100011 信息流 分組后 信息 編碼后 碼字 R1， kn,每個消息附加n-k比特有規(guī)律的冗余信息，可對抗信道噪聲 (7,4)分組碼例子 MessageMessage Codeword CodewordMessage Message Codeword Codeword 00000000000000110100

8、01 1000110100010010111001 0100011010001011100101 1100101110011010001101 0010111001000110100011 1010001101010111001011 0110100011001110010111 1110010111011111111111 第二種類型碼 卷積碼：同分組碼一樣，同樣分組，不像分組碼， 每個編碼分組不僅取決于當(dāng)前時刻對應(yīng)的k比特消息， 而且與前m個信息組有關(guān)。此時編碼器有存儲級數(shù)為 m。可通過時序邏輯電路實現(xiàn)。 移位寄存器 異或門 u v 第二種類型碼：卷積碼： 移位寄存器 異或門 u v 求輸

9、入比特流為：1101000時編碼輸出？請同學(xué)們0011001, 計 算卷積碼輸出？ 什么是 異或門？ 11,10,10,00,01,11,00,00,00， 第一章 緒論 1.1 引言 1.2 碼類型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯誤類型 1.6 差錯控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 調(diào)制與編碼 對于二進(jìn)制通信系統(tǒng)中信道編碼器每輸出一個符號， 調(diào)制器必須選中一個適合信道傳輸,持續(xù)時間為T秒 的波形， 比如“1”對應(yīng)于s1(t), “0”對應(yīng)于 s0(t),

10、00 100 2 ( )cos(20),0 22 ( )cos(2)cos(2),0 s ss E s tf ttT T EE s tf tf ttT TT Es為功率還是能量？為什么？ 二進(jìn)制相移健控調(diào)制（BPSK，Binary phase shift keying ）, 實際上存在成形濾波器？作用？頻譜線性搬移到射頻段！頻譜線性搬移到射頻段！ 系統(tǒng)模型 各種通信系統(tǒng)中噪聲一般近似為加性白高斯噪聲(白噪聲？)如果發(fā) 射的信號為s(t), 則接收信號為 r(t)=a(t) s(t)+n(t) 式中n(t)高斯隨機(jī)過程，單邊帶功率譜密度為N0. a(t)是信道衰落因子，對于加性白高斯信道（AWG

11、N： Additive white Gaussian noise），其是常數(shù)；對于市區(qū)信道，信號帶寬較窄時，多條路徑合成復(fù)高斯分布， 其包絡(luò)是瑞利分布或賴斯分布（慢變化隨機(jī)過程），相位是均勻分布。 解調(diào)器 在每T秒間隔上，解調(diào)的器產(chǎn)生一個相應(yīng)于接收 的輸出： 0 ( )cos2 T s c E yr tf t dt T 最優(yōu)檢測器，匹配濾波器，想干 檢測器，輸出實數(shù)，需要 什么是 匹配濾 波器？ 多進(jìn)制調(diào)制器 對于多(M)進(jìn)制通信系統(tǒng)，先將二進(jìn)制信 道編碼器輸出的輸出序列按l比特為組進(jìn)行 分段，M=2l, 存在M個波形, 例如MPSK： 0 2 ( )cos(2),0,1,2, s ii E

12、s tf ttT iM T s1 s2 s3 s4 s1s2 s1 s2 s3 s4 s5 s6 s7 s8 a) BPSK b) QPSK c) 8-PSK 45 BPSK、QPSK和8-PSK 的信號星座圖 適用于信道編碼的離散信道模型 給定當(dāng)前T秒內(nèi)檢測器只與該間隔內(nèi)傳輸?shù)男盘栍?關(guān)，與以前傳輸符號無關(guān)，稱該信道為無記憶信道 (memoryless). 前面AWGN信道屬于此信道，將M 進(jìn)制調(diào)制器，信道和Q進(jìn)制的解調(diào)器輸出合成一個 大的信道，可建模為離散的無記憶信道(DMC: Discrete memoryless channel) 適用于信道編碼的離散信道模型 uv r u ( )s

13、t ( )r t ( )n t 離散記憶信道 解調(diào)器 幾種典型的離散信道模型 1 - p 1 - p p p 00 11 (a) 0 0 1 1 Q - 1 P(0|0) P(1|0) P(1|1) P(Q 1|0) P(Q 1|1) (c) 11 0 0 1 p q 1 p q p p q q (b) 可擦除 傳輸概率示意圖:(a)二進(jìn)制對稱信道（BSC）；（b）二進(jìn)制對稱可 擦除信道；（c）二進(jìn)制輸入，Q進(jìn)制輸出離散無記憶信道 BSPK在AWGN等價于BSC 非編碼的二進(jìn)制的誤比特率為 2 2 0 /2 0 /2 ( 2/) 1 ( ),0 2 1 ( ),0 2 s x x pQEN Q

14、 xex Q xex 其中 當(dāng)采用二進(jìn)制編碼，調(diào)制器也是二進(jìn)制，如果解調(diào)器的輸出是二進(jìn)制量化Q=2， 此時譯碼器只有二進(jìn)制輸入，解調(diào)器采用硬判決(hard-decision),譯碼器為硬 判決譯碼(hard-decision decoding); 如果Q2, 軟判決(soft decision), 軟 判決譯碼(soft decision decoding) 離散信道模型和條件概率 如圖1-7所示，編碼器輸出（調(diào)制器輸入）為離散 的星座圖符號，解調(diào)器輸出是未經(jīng)量化的隨機(jī)向量 y屬于-到+，此處調(diào)制器，信道和解調(diào)器合成 了一個離散輸入連續(xù)輸出離散信道。如果信道噪聲 是AWGN，0均值和方差為No

15、/2, 該信道可用M個調(diào)件 概率密來刻畫。對于M=2， 2 0 0 () 1 (0/1)exp s yE p x x NN 符號傳輸速率和信息傳輸速率 如果每T秒傳輸一個符號，則符號傳輸速率為1/T符 號/秒(Symbol/s)，波特率; 對于于編碼系統(tǒng)，如 果信道編碼碼率為R，信息傳輸速率為log2MR/T, M=2, 為R/T；為了減少符號間干擾W至少為0.5/THz, 因此數(shù)據(jù)速率受帶寬限制2W，編碼系統(tǒng)信道速率 =2log2MRW，非編碼系統(tǒng)為 2log2MW，考慮到成形濾 波器，實際的信息速率為 2 2log ,0.2 1 RWM a a 頻譜效率？ Bandwidth effici

16、ency 第一章 緒論 1.1 引言 1.2 碼類型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯誤類型 1.6 差錯控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 MLD 上圖在AWGN信道中采用輸出有限量化的編碼系統(tǒng)，對于分組碼，u表示一個k比特 消息，編碼輸出代表v代表n個符號碼字，解調(diào)器輸出r代表Q進(jìn)制的n維向量，譯 碼器的輸出uhat代表k比特消息估值，u和v有一一對應(yīng)關(guān)系； 譯碼器主要任務(wù)：根據(jù)接收序列r估計發(fā)射信息序列u ! 數(shù)字信源信道編碼 離散信道 數(shù)字信宿信道譯碼

17、u v r uhat MLD 假定接收為r，則譯碼器條件錯誤概率為： ( / )(/ )P E rP vv r 譯碼器錯誤概率為： ( )(/ ) ( ) r P EP vv r P r P(r)為接收序列為r的條件概率，其獨立于譯碼規(guī)則。最優(yōu)的譯碼規(guī) 則應(yīng)該對于每個r使P(E/r)最小，也就是最大化P(v_hat=v/r), why? ( / ) ( ) ( / ) ( ) P r v P v P v r P r MLD P(v)=1/2k max ( / )max ( / ) vv P v rP r v 對于無記憶信道 ( / )( /) ii i P r vP r v 由于logx是？

18、log ( / )( /) ii i P r vP r v MLD=最小距離（BSC信道） 解調(diào)器輸出二進(jìn)制r，由于信道噪聲影響，發(fā)生的 碼字v可能不等于r，n位置某些位不同， ,(/); ,(/)(1) iiii iiii rvP rvp rvP rvp (,)d rv 兩者距離，等價于碼字發(fā)生錯 誤個數(shù)，Why？ 碼字長度為 n的分組碼 ( , )( , ) ( / )(1) d r vn d r v P r vpp MLD=最小距離（BSC信道） ( ( / )( , )log( , )log(1) ( , )log(/(1)log(1) log P r vd r vpnd r vp d

19、 r vppnp p0.5, MLD等價于最小化d(r,v), Why? 有噪聲信道編碼定理 C. E. Shannon 于1948年在他的著名論文“A mathematical theory of communication”給出AWGN信道的可靠的信息傳 輸能力，他證明： 每個信道都存在一個信道容量C（最大信息速率），只要需要傳輸 的信息速率R低于C，則存在速率為R的碼，用MLD可到任意小的錯 誤概率P(E) 對于任意RC, 存在分組碼，存在分組長度n足夠大的分組碼使 ( ) ( )2 b nER P E 同時存在存儲級數(shù)m足夠大的卷積碼(n,k保持不變) ( ) ( )2 c mnER

20、P E 第一章 緒論 1.1 引言 1.2 碼類型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯誤類型 1.6 差錯控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 錯誤類型一：隨機(jī)錯誤 隨機(jī)錯誤信道（random-error channels）: 在無 記憶信道上，例如AWGN， 噪聲對每個傳輸符號影 響是獨立的，以圖1-6a的BSC為例，每個傳輸比特 被錯誤接收的概率為p，被正確接收概率？與其他 比特?zé)o關(guān)。 典型的隨機(jī)錯誤信道:深空通信信道，衛(wèi)星通信信 道，一些視距傳輸信道。 糾隨機(jī)

21、錯誤碼: 為糾正隨機(jī)錯誤的而設(shè)計的碼。 錯誤類型二：突發(fā)錯誤 突發(fā)錯誤信道（random-error channels）: 在 有記憶信道，各次傳輸信道噪聲不是獨立，或信道 增益a(t)是慢變化的（比如步行到高大建筑物后面， 信道處于深度衰落） Rayleigh Fading (瑞利衰落) Deep fadin g 有記憶信道簡化模型：兩個狀態(tài)：好狀態(tài)（傳輸錯 誤概率大）和壞狀態(tài)（傳輸錯誤概率大）。 第一章 緒論 1.1 引言 1.2 碼類型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯誤類型 1.6 差錯控制策略 1.

22、7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 單向傳輸系統(tǒng)：前向糾錯(FEC) 如第6頁的通信系統(tǒng)框圖是單向系統(tǒng)，信息傳輸方 向嚴(yán)格按照從發(fā)射機(jī)向接收機(jī)。該系統(tǒng)差錯控制策 略必須采用前向糾錯(Forward error correction, FEC), 接收機(jī)利用糾錯碼糾錯碼自動糾正和檢測錯 誤。典型例子如下：深空通信，數(shù)字存儲系統(tǒng)，數(shù) 字調(diào)幅廣播（DRM），數(shù)字陸地電視(DVB-T), 數(shù)字 有線電視(DVB-C), 2G,3G. 雙向傳輸系統(tǒng)：自動請求重傳(ARQ) 有些情況下，系統(tǒng)是雙向，信息沿兩個方向傳輸， 發(fā)射機(jī)可作為接收機(jī)。 發(fā)送機(jī)接收機(jī) 信道 反 饋 雙

23、向系統(tǒng)的差錯控制策略同時采用檢測錯誤和重傳，稱為自動請求重傳(ARQ: Automatic repeat request)，ARQ系統(tǒng)中接收機(jī)檢測出錯誤，就向發(fā)送端發(fā)出 要求重傳該消息的要求，直到消息被正確接收。ARQ有兩種：等待式和連續(xù)ARQs。 傳送 等待ARQ（Stop-and-wait） 碼字1碼字2 碼字1碼字1譯碼 失敗 NACK 碼字1碼字1譯碼 成功 ACK 碼字2碼字2譯碼 失敗 NACK 發(fā)送機(jī) 接收機(jī) 發(fā)送端發(fā)射一個碼字到接收端，同時等待接收接收端返回一個確認(rèn)信號(ACK)或否 定應(yīng)答(NACK, NAK),如果是ACK，表示成功，傳送下個碼字；如果Fail，重傳前碼 字

24、。 連續(xù)ARQ 兩種類型：退N步ARQ、選擇重傳ARQ 發(fā)生端連續(xù)將碼字發(fā)生到接收端，同時通過 Feedback信道接收應(yīng)答信號，當(dāng)接收到NAK時，發(fā) 送端重傳。有兩種選擇，第一，發(fā)送端回退到發(fā)生 錯誤碼字，并重傳該碼字和其后的N-1個碼字，稱 為退N步ARQ(Go-back-N); 另外一種可選方案，發(fā) 送端僅傳輸那些有否定應(yīng)答的碼字，稱為選擇重傳 ARQ(Selective repeat ARQ). ARQ, FEC 連續(xù)ARQ比等待式效率高，比如衛(wèi)星通信，速率高 延時大，一般采用連續(xù)ARQ； 無線通信網(wǎng)絡(luò) Layers 應(yīng)用層 壓縮和錯誤隱藏技術(shù) 傳輸層 端到端差錯恢復(fù),，重傳， 流量控

25、制 網(wǎng)絡(luò)層 鄰居發(fā)現(xiàn)，路由， 資源配置 接入層 信道接入, 功率控制, 糾錯, 重傳 物理層 調(diào)制， 編碼， MIMO功率控制， 抗衰落, MIMO 第一章 緒論 1.1 引言 1.2 碼類型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯誤類型 1.6 差錯控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 譯碼錯誤概率和編碼增益(coding gain) 碼字錯誤概率(word erro rate, WER)或分組錯誤 概率（Block error rate, BLER）和比特錯誤概率

26、(bit error rate,BER); 比特信噪比=Eb/No=Es/RNo=PsTs/RNo=Ps/Pn/R =SNR/R 其中SNR=Ps/Pn 編碼閾值：Eb/No低于此值，編碼將毫無效果， 譯碼后效果更糟糕！ 左圖給出Golay碼 (23,12) 最大似然硬判決譯碼和 軟判決譯碼的誤碼率曲 線，圖中包括未編碼系 統(tǒng)BER作為參考。由圖 可知，當(dāng)Eb/No大于某 個閾值時，無論采用硬 判決還是軟判決，在相 同Eb/No, 編碼比不編 碼要好。 差錯控制碼設(shè)計目標(biāo) 信道編碼和譯碼的最終目標(biāo) 是總是希望獲得特定BER， 所需Eb/No最小化； 根據(jù)香農(nóng)有噪聲編碼定理可 推導(dǎo)出一個碼率為R

27、的編碼 通信系統(tǒng)達(dá)到無誤碼傳輸時 所需最小Eb/No的理論極限， 下界，這個理論極限為香農(nóng) 限(Shannon limit). 上圖繪出碼率R=0.5,存儲級數(shù)為m=6的卷積碼在采用軟判決MLD時 BER曲線， 當(dāng)BER=10-5, 該碼EbNo=4.15dB, 同未編碼的BER相 比有5.35dB編碼增益，同香農(nóng)限比還差3.962dB 上圖繪出LDPC（65520,61425）逼近MLD的譯碼算法BER性能，該碼碼 率為R=15/16=0.9375, 這個碼率下的香農(nóng)限為3.91dB，從上圖我們發(fā) 現(xiàn)，BER為10-5,我們發(fā)現(xiàn)該碼所需SNR與比香農(nóng)限高0.5dB 第一章 緒論 1.1 引言

28、 1.2 碼類型 1.3 調(diào)制編碼 1.4 最大似然譯碼(MLD, Maximum likelihood decoding) 1.5 錯誤類型 1.6 差錯控制策略 1.7 性能衡量 1.8 編碼調(diào)制 1.9 熵、互信息量、信道容量與編碼 參考書 T. M. Cover and J. A . Thomas. 信息論基礎(chǔ) （Elements of Information Theory），清華大 學(xué)出版社 第一作者：Stanford University 59 熵(Entropy) SX ii i XPXPXH)(log)()( S xfxfXh)(log)()( xdxxfxf xxfxxfxx

29、f xxfxxfppXH iii iiii log)(log)( log)()(log)( )(log)(log)( 式中 h(X) 成為微分熵. 熵與微分熵之間區(qū)別： 對應(yīng)離散的隨機(jī)變量X 對于連續(xù)的隨機(jī)變量 60 熵計算的例子 1)1log()1 (log)(aaaaXH 2 2 2 2 2 2 2 2 2log 2 1 2 1 2log 2 1 )()( 2 1 2log)( )( 2 )( 2log)( )(log)()( e dxxfmxdxxf dxxf mx dxxf dxxfxfXh SS SS S 對于離散的隨機(jī)變量, P(X=0)=a,P(X=1)=1-a 對于連續(xù)的隨機(jī)變

30、量，N(m,2) 61 相對熵和Jensen不等式 Sx xq xp xpqpD )( )( log)()/( )(EXfXfE 0)(log )( )( )(log )( )( log)()/( xq xp xq xp xp xq xpqpD 請證明?，F(xiàn)在我們用它來推導(dǎo)相對熵的性質(zhì)： 相對熵, Jensen不等式, f(x) 是一個凸函數(shù)， X 是一個隨機(jī)變量 62 Jensen不等式的證明 )(EXfXfE 12 1212 0 1 11 , , , , ()()() () Forx xa b fxxf xf x 證明: 函數(shù)f(x)在區(qū)間（a，b） 上是一個凸函數(shù) Jensens 不等式:

31、 f(x)是一個凸函數(shù)，X是一個隨機(jī)變量 X1 x x2 63 高斯分布熵最大定理 )()( )log()( )log()( )log()log( )/log()|(0 ghfh dxggfh dxgffh dxgff dxgffgfD 2 2 2 222 2 )( exp 2 1 )( )()()()( mx xg dxxgmxdxxfmx g(x), f(x)有相同的協(xié)方差 定理的證明 64 互信息量與維恩圖 )/()()/()( )()(|),( )()( ),( log),(),( XYHYHYXHXH yfxfyxfD dxdy yfxf yxf yxfYXI I(X,Y) H(X)

32、 H(Y) 維恩圖 65 互信息量（Mutal Information） ),(max )( YXIC xp 信道容量=一個通信信道中能夠以任意小的錯誤率傳遞信息時可達(dá)的速率上限 (數(shù)據(jù)壓縮與傳輸：冗余) 66 信道容量（Channel Capacity） ),(max )( YXIC xp 信道容量=一個通信信道中能夠以任意小的錯誤率傳遞信息時可達(dá)的速率上限 (數(shù)據(jù)壓縮與傳輸：冗余) 67 白高斯噪聲信道容量 ntransmisioper P Ph PPYXI ENEXh ENEXhNhXNhXEYYE NHYH XNHYH XYHYH XYHYHYXI N X NY 2 222 222 1

33、log 2 1 2log 2 1 2log 2 1 ),( )()( )()( )/X()( )/()( )/()(),( XAWGNY Y=h*X+N N是加性高斯白噪聲， h是恒定的 通道增益 SNR=h2E(X2)/E(N2) 克勞德香農(nóng)(Claude Elwood Shannon， 1916-2001)1916年4月30日誕生于美國密西 根州的Petoskey。在Gaylord小鎮(zhèn)長大，當(dāng) 時鎮(zhèn)里只有三千居民。父親是該鎮(zhèn)的法官， 他們父子的姓名完全相同，都是Claude Elwood Shannon。母親是鎮(zhèn)里的中學(xué)校長， 姓名是Mabel Wolf Shannon。他生長在一個 有良

34、好教育的環(huán)境，不過父母給他的科學(xué)影 響好像還不如祖父的影響大。香農(nóng)的祖父是 一位農(nóng)場主兼發(fā)明家，發(fā)明過洗衣機(jī)和許多 農(nóng)業(yè)機(jī)械，這對香農(nóng)的影響比較直接。此外， 香農(nóng)的家庭與大發(fā)明家愛迪生(Thomas Alva Edison，1847-1931)還有遠(yuǎn)親關(guān)系。 2001年2月24日，香農(nóng)在馬薩諸塞州Medfod辭世，享年85歲。貝爾實 驗室和MIT發(fā)表的訃告都尊崇香農(nóng)為信息論及數(shù)字通信時代的奠基人 。 1948年香農(nóng)在Bell System Technical Journal（貝爾系統(tǒng)技術(shù)雜志） 上發(fā)表了A Mathematical Theory of Communication 。 克勞德香農(nóng)

35、在公眾中并不特別知名，但他是使我們的世界能進(jìn)行即 時通信的少數(shù)科學(xué)家和思想家之一。他是美國科學(xué)院院士、美國工程 院院士、英國皇家學(xué)會會員、美國哲學(xué)學(xué)會會員。他獲得過許多榮譽 和獎勵。例如1949年Morris獎、1955年Ballantine獎、1962年Kelly獎、 1966年的國家科學(xué)獎?wù)?、IEEE的榮譽獎?wù)隆?978年Jaquard獎、1983年 Fritz獎、1985年基礎(chǔ)科學(xué)京都獎。他接受的榮譽學(xué)位不勝枚舉，不再 贅述。 今天，我們懷念香農(nóng)，要熟悉他的兩大貢獻(xiàn)：一是信息理論、信 息熵的概念；另一是符號邏輯和開關(guān)理論。 70 香農(nóng)信道容量公式香農(nóng)信道容量公式 （1948） 兩部分:

36、當(dāng)傳輸速率RC, 任何方式的編碼都無法實現(xiàn)可靠的信息傳輸 )sec/)(1 (log2ondbit P P BC N S 71 頻譜效率頻譜效率 )M(bit/s/Hzlog n k 2 1a 2 b R (bit / s / Hz) B 傳輸速率 信道帶寬 72 最大頻譜效率最大頻譜效率 最大頻譜效率: BNP CEER T kE T E P N bbb bs S 0 )1 (log)1 (log 0 max2 0 2max N E N E B R bbb )1 (log2 max Hzsbits P P B C N S 73 香農(nóng)限香農(nóng)限 max0 12 max N Eb dB N Eb 59.1)2ln( 12 lim max0 max 0max 香農(nóng)界(為可靠的傳輸需要的最小能量): 香農(nóng)極限(帶寬無限的情況下) 74 香農(nóng)界與香農(nóng)限圖解 75 應(yīng)用 YearYearRate Rate Code CodeSNR Required for BER 10SNR Required for B