信息論--信息理論與應(yīng)用1_第1頁
信息論--信息理論與應(yīng)用1_第2頁
信息論--信息理論與應(yīng)用1_第3頁
信息論--信息理論與應(yīng)用1_第4頁
信息論--信息理論與應(yīng)用1_第5頁
已閱讀5頁,還剩37頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、信息論與編碼信息論基礎(chǔ)理論與應(yīng)用信息論基礎(chǔ)理論與應(yīng)用課程說明課程說明o本課程將介紹信息科學(xué)的基礎(chǔ)理論和基本方法,課程將基于一個通訊系統(tǒng)的抽象數(shù)學(xué)模型進(jìn)行展開,課程的數(shù)學(xué)基礎(chǔ)為概率論。整個課程可分為基礎(chǔ)理論和編碼理論兩部分組成。o本課程以概率論為基礎(chǔ),數(shù)學(xué)推導(dǎo)較多,教學(xué)時本課程以概率論為基礎(chǔ),數(shù)學(xué)推導(dǎo)較多,教學(xué)時主要把注意力集中到主要把注意力集中到概念的理解概念的理解上,不過分追求上,不過分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。學(xué)習(xí)時一定要從始至終注意基數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。學(xué)習(xí)時一定要從始至終注意基本概念的理解,不斷加深概念的把握。學(xué)習(xí)時注本概念的理解,不斷加深概念的把握。學(xué)習(xí)時注意理解各個概念的意理解各個概念的“用

2、處用處”,結(jié)合其他課程理解,結(jié)合其他課程理解它的意義,而不要把它當(dāng)作數(shù)學(xué)課來學(xué)習(xí),提倡它的意義,而不要把它當(dāng)作數(shù)學(xué)課來學(xué)習(xí),提倡獨立思考,注重思考在學(xué)習(xí)中的重要性。獨立思考,注重思考在學(xué)習(xí)中的重要性。第一章第一章 緒緒 論論 第一節(jié)第一節(jié) 信息的概念信息的概念第二節(jié)第二節(jié) 信息論研究的對象、目的和內(nèi)容信息論研究的對象、目的和內(nèi)容第三節(jié)第三節(jié) 信息論的發(fā)展簡史與現(xiàn)狀信息論的發(fā)展簡史與現(xiàn)狀第一節(jié)第一節(jié) 信息的概念信息的概念o組成客觀世界的三大基本要素:物質(zhì)、能量和信息,材料科學(xué)、信息科學(xué)、和信息科學(xué)一起被稱為當(dāng)代文明的“三大支柱”。nWithout materials, there is noth

3、ing.nWithout energy, nothing happens.nWithout information, nothing makes sensen沒有物質(zhì)的世界是虛無的世界;n沒有能源的世界是死寂的世界;n沒有信息的世界是混亂的世界。不同學(xué)科內(nèi)關(guān)于信息的論斷o傳播學(xué)家呼吁:公平地信息獲取才是信息對稱的基本保傳播學(xué)家呼吁:公平地信息獲取才是信息對稱的基本保障;通訊工程師說:當(dāng)受信者對一個事件出現(xiàn)的先驗概障;通訊工程師說:當(dāng)受信者對一個事件出現(xiàn)的先驗概率估計越小時,他獲得的信息量就越大;計算機(jī)科學(xué)家率估計越小時,他獲得的信息量就越大;計算機(jī)科學(xué)家則說:微處理器時鐘頻率的大小,決定著它處

4、理信息的則說:微處理器時鐘頻率的大小,決定著它處理信息的速度高低;生物學(xué)家則高呼:脫氧核糖核酸上的信息是速度高低;生物學(xué)家則高呼:脫氧核糖核酸上的信息是控制子代和親代相象的唯一源泉??刂谱哟陀H代相象的唯一源泉。o o表達(dá)了不同的信息問題研究者對不同領(lǐng)域里信息問題的表達(dá)了不同的信息問題研究者對不同領(lǐng)域里信息問題的見解。他們用各自學(xué)科的語言闡述了自己的看法,而且見解。他們用各自學(xué)科的語言闡述了自己的看法,而且都深刻地洞察了他們自己所關(guān)懷的信息對象的本質(zhì)。都深刻地洞察了他們自己所關(guān)懷的信息對象的本質(zhì)。信息是什么?o傳統(tǒng)科學(xué)的基本概念是物質(zhì)與能量,信息傳統(tǒng)科學(xué)的基本概念是物質(zhì)與能量,信息科學(xué)的基本概

5、念是信息。信息,既是信息科學(xué)的基本概念是信息。信息,既是信息科學(xué)的出發(fā)點,也是它的歸宿。具體來說,科學(xué)的出發(fā)點,也是它的歸宿。具體來說,信息科學(xué)的出發(fā)點是認(rèn)識信息的本質(zhì)和它信息科學(xué)的出發(fā)點是認(rèn)識信息的本質(zhì)和它的運動規(guī)律;它的歸宿則是利用信息來達(dá)的運動規(guī)律;它的歸宿則是利用信息來達(dá)到某種具體的目的。對信息的認(rèn)識越透徹,到某種具體的目的。對信息的認(rèn)識越透徹,對信息的利用就會越充分、越合理;對信對信息的利用就會越充分、越合理;對信息的概念把握得越深刻,信息科學(xué)本身的息的概念把握得越深刻,信息科學(xué)本身的根基就越牢固、越扎實。根基就越牢固、越扎實。信息定義o信息就是信息,既不是物質(zhì)也不是能量。o信息是事

6、物之間的差異。o信息是集合的變異度。o信息是一種場。o信息是系統(tǒng)的復(fù)雜性。o信息是一種關(guān)系。o信息是事物相互作用的表現(xiàn)形式。o信息是事物聯(lián)系的普遍形式。o信息是物質(zhì)和能量在時間和空間分布的不均勻性。o信息是物質(zhì)的普遍屬性。o信息是收信者事先所不知道的報導(dǎo)。o信息是用以消除隨機(jī)不定性的東西。信息定義o信息是使概率分布發(fā)生變動的東西。o信息是負(fù)熵。o信息是有序性的度量。o信息是系統(tǒng)組織程度的度量。o信息是被反映的差異。o信息是被反映的變異度。o信息是被反映的物質(zhì)的屬性。o信息是人與外界相互作用的過程中所交換的內(nèi)容的名稱。o信息是與控制論系統(tǒng)相聯(lián)系的一種功能現(xiàn)象。o信息是作用于人類感覺器官的東西。o

7、信息是選擇的自由度。o信息是通信傳輸?shù)膬?nèi)容。信息定義o信息是事物運動狀態(tài)或存在方式的不確定性的描信息是事物運動狀態(tài)或存在方式的不確定性的描述述o信息是加工知識的原材料。信息是加工知識的原材料。o信息是控制的指令。信息是控制的指令。o信息就是消息。信息就是消息。o信息就是信號。信息就是信號。o信息就是數(shù)據(jù)。信息就是數(shù)據(jù)。o信息就是情報。信息就是情報。o信息就是知識信息就是知識。o信息定義的概念o“信息信息”(Information)(Information)和和“消息消息”(Message)(Message)消息消息是信息的外殼,信息則是消息的內(nèi)核。是信息的外殼,信息則是消息的內(nèi)核。n據(jù)據(jù)新辭源

8、新辭源考證,一千多年前我國唐代詩人李中就曾經(jīng)考證,一千多年前我國唐代詩人李中就曾經(jīng)有有“夢斷美人沉信息,目穿長路倚樓臺夢斷美人沉信息,目穿長路倚樓臺”的詩句,其中的詩句,其中“信息信息”一詞就是音信、消息的意思。同樣,在西方出版一詞就是音信、消息的意思。同樣,在西方出版的許多文獻(xiàn)著作中,的許多文獻(xiàn)著作中,“信息信息”(Information)(Information)和和“消消息息”(Message)(Message)兩詞也是互相通用的。兩詞也是互相通用的。o“信息就是信號信息就是信號”(電信技術(shù))(電信技術(shù))信號只是信息的信號只是信息的載體,信息是信號所載荷的內(nèi)容。載體,信息是信號所載荷的內(nèi)

9、容。o“信息就是數(shù)據(jù)信息就是數(shù)據(jù)”(計算機(jī)技術(shù))(計算機(jī)技術(shù))數(shù)據(jù),它只是數(shù)據(jù),它只是記錄信息的一種形式,而且不是唯一的形式,不能把記錄信息的一種形式,而且不是唯一的形式,不能把它等同于信息本身。它等同于信息本身。o情報只是一類專門的信息,是信息的一個子集。情報只是一類專門的信息,是信息的一個子集。信息定義的概念o1928年,哈特萊在年,哈特萊在貝爾系統(tǒng)技術(shù)雜志貝爾系統(tǒng)技術(shù)雜志上發(fā)表了一篇題上發(fā)表了一篇題為為“信息傳輸信息傳輸”的論文。在這篇論文中,他把信息理解為的論文。在這篇論文中,他把信息理解為選擇通信符號的方式,并用選擇通信符號的方式,并用選擇的自由度選擇的自由度來計量這種信息來計量這種

10、信息的大小。他認(rèn)為,發(fā)信者所發(fā)出的信息,就是他在通信符的大小。他認(rèn)為,發(fā)信者所發(fā)出的信息,就是他在通信符號表中選擇符號的具體方式。號表中選擇符號的具體方式。n例如,假定符號表是例如,假定符號表是26個英文字母及標(biāo)點符號,那么用符號個英文字母及標(biāo)點符號,那么用符號“I am well”傳達(dá)了一種信息,而用符號傳達(dá)了一種信息,而用符號“I am sick”傳達(dá)了另一種傳達(dá)了另一種信息。信息。n如果發(fā)信者只能從由如果發(fā)信者只能從由0和和1兩個符號組成的符號表中選擇符號而兩個符號組成的符號表中選擇符號而且長度限定為且長度限定為1,則發(fā)信者只有兩種選擇,即,則發(fā)信者只有兩種選擇,即0和和1,這時傳達(dá)的,

11、這時傳達(dá)的信息量很??;如果放寬限制,如長度不超過信息量很小;如果放寬限制,如長度不超過n(n1)則發(fā)信者)則發(fā)信者可以選擇的符號串有可以選擇的符號串有 個,個,n越大能傳達(dá)的信息量就越大。越大能傳達(dá)的信息量就越大。12nii哈特萊信息定義的局限性o哈特萊的這種理解能夠在一定程度上解釋哈特萊的這種理解能夠在一定程度上解釋通信工程中的一些信息問題,但是它也存通信工程中的一些信息問題,但是它也存在著一些嚴(yán)重時局限性:首先,他所定義在著一些嚴(yán)重時局限性:首先,他所定義的信息不涉及內(nèi)容和價值,只考慮的信息不涉及內(nèi)容和價值,只考慮選擇選擇的的方式方式,其次,也沒有考慮到信源的,其次,也沒有考慮到信源的統(tǒng)計

12、性統(tǒng)計性質(zhì)質(zhì);第三,把信息理解為選擇的方式,就;第三,把信息理解為選擇的方式,就必須有一個選擇的必須有一個選擇的主體主體作為限制條件。這作為限制條件。這些缺點使它的運用范圍受到很大的限制。些缺點使它的運用范圍受到很大的限制。信息定義的概念o美國數(shù)學(xué)家香農(nóng)在貝爾系統(tǒng)技術(shù)雜志 發(fā)表了一篇長文,題為“通信的數(shù)學(xué)理論”(1948)。這篇論文以概率論為工具,深刻闡述了通信工程的一系列基本理論問題,給出了計算信源信息量和信道容量的方法和一般公式,得到了一組表征信息傳遞重要關(guān)系的編碼定理。香農(nóng)在進(jìn)行信息的定量計算的時候明確地把信息量定義為隨機(jī)不定性程度的減少。這就表明了他對信息的理解:信息是用來減少隨機(jī)不確

13、定性的東西。隨機(jī)不確定性隨機(jī)不確定性是指由于隨機(jī)因素所造成的不能肯定的情形,在數(shù)值是指由于隨機(jī)因素所造成的不能肯定的情形,在數(shù)值上可以用概率熵來計量。上可以用概率熵來計量。信息定義的概念o根據(jù)這一思想,法裔美國科學(xué)家布里淵在他的名著根據(jù)這一思想,法裔美國科學(xué)家布里淵在他的名著科學(xué)科學(xué)與信息論與信息論中直接了當(dāng)?shù)刂赋觯褐兄苯恿水?dāng)?shù)刂赋觯盒畔⒕褪秦?fù)熵信息就是負(fù)熵。并且他還。并且他還創(chuàng)造了創(chuàng)造了Negentropy這一詞(由這一詞(由Negative和和Entropy合成)合成)來表示負(fù)熵的概念(來表示負(fù)熵的概念(Brillouin,1956)。)。o美國數(shù)學(xué)家、控制論的主要奠基人維納在美國數(shù)學(xué)家、

14、控制論的主要奠基人維納在1950年出版的年出版的控制論與社會控制論與社會一書中對信息的理解是:一書中對信息的理解是:“人通過感人通過感覺器官感知周圍世界覺器官感知周圍世界”,“我們支配環(huán)境的命令就是給我們支配環(huán)境的命令就是給環(huán)境的一種信息環(huán)境的一種信息”,因此,因此,“信息信息就是我們在適應(yīng)外部就是我們在適應(yīng)外部世界,并把這種適應(yīng)反作用于外部世界的過程中,世界,并把這種適應(yīng)反作用于外部世界的過程中,同外同外部世界進(jìn)行交換的內(nèi)容的名稱部世界進(jìn)行交換的內(nèi)容的名稱”。“接收信息和使用信接收信息和使用信息息的過程,就是我們適應(yīng)外界環(huán)境的偶然性的過程,也的過程,就是我們適應(yīng)外界環(huán)境的偶然性的過程,也是我

15、們在這個環(huán)境中有效地生活的過程是我們在這個環(huán)境中有效地生活的過程”。是把信息理。是把信息理解為解為廣義通信廣義通信的內(nèi)容。的內(nèi)容。維納信息定義的缺陷信息定義的概念o所以,信息是組織程度的度量,是有序程度的度量所以,信息是組織程度的度量,是有序程度的度量和負(fù)熵,是用以減少不定性的東西,這些都是和負(fù)熵,是用以減少不定性的東西,這些都是Shannon、Wiener、Brillouin等人共同的理解。等人共同的理解。這些認(rèn)識比僅僅把信息看作消息或通信內(nèi)容要深刻這些認(rèn)識比僅僅把信息看作消息或通信內(nèi)容要深刻得多。而且,在數(shù)學(xué)上很容易證明,得多。而且,在數(shù)學(xué)上很容易證明,Hartley的信的信息概念僅是息概

16、念僅是Shannon信息概念的一種特殊情形。信息概念的一種特殊情形。o總起來說,在現(xiàn)有的各種理解中,總起來說,在現(xiàn)有的各種理解中,Shannon的的定義比較深刻,而且這種定義還導(dǎo)出了相應(yīng)的算定義比較深刻,而且這種定義還導(dǎo)出了相應(yīng)的算法。法。香農(nóng)信息定義的概念o信息是信息是事物運動狀態(tài)或存在形式的不確定性的描述,所謂不確定性就是千變?nèi)f化、不規(guī)則、隨機(jī)性,用概率模型來描述并對其進(jìn)行定量的計算。o通信系統(tǒng)中接受消息的過程就是消除不確定性的過程。不確定的消除就獲得了信息。信息量與不確定性消除的程度有關(guān)。香農(nóng)信息定義的缺陷o第一,作為第一,作為Shannon信息概念的直接基礎(chǔ),信息概念的直接基礎(chǔ),通信的

17、數(shù)學(xué)理論通信的數(shù)學(xué)理論一文曾經(jīng)十分明確地指出:一文曾經(jīng)十分明確地指出:通信的任務(wù)是在收端復(fù)制發(fā)端所發(fā)出的波形,通信的任務(wù)是在收端復(fù)制發(fā)端所發(fā)出的波形,至于它的內(nèi)容含義,因與通信工程無關(guān),所以至于它的內(nèi)容含義,因與通信工程無關(guān),所以可以舍去。可見,可以舍去。可見,Shannon理論中的不定性純理論中的不定性純粹是波形形式上的不定性,與此相應(yīng)的信息概粹是波形形式上的不定性,與此相應(yīng)的信息概念也是純粹的形式化的概念(稱為念也是純粹的形式化的概念(稱為語法信息語法信息)。)。這樣的信息概念排除了信息的含義因素,(即這樣的信息概念排除了信息的含義因素,(即語義信息語義信息)和價值因素(即)和價值因素(即

18、語用信息語用信息),不考),不考慮收信者的主觀特性。因此,它的適用范圍受慮收信者的主觀特性。因此,它的適用范圍受到嚴(yán)重的限制。到嚴(yán)重的限制。香農(nóng)信息定義的缺陷o第二,它只考慮了隨機(jī)型的不定性,不能第二,它只考慮了隨機(jī)型的不定性,不能解釋與其他型式的不定性(如模糊不定性)解釋與其他型式的不定性(如模糊不定性)有關(guān)的信息問題。第三,這種信息定義只有關(guān)的信息問題。第三,這種信息定義只從功能角度上來表述,還是沒有從根本上從功能角度上來表述,還是沒有從根本上回答回答“信息是什么信息是什么”的問題。的問題。信息概念的層次o最高層次是最普遍的層次,也是無約束條件的層次。在最高層次是最普遍的層次,也是無約束條

19、件的層次。在這個層次上定義的信息是最廣義的信息,使用范圍也最這個層次上定義的信息是最廣義的信息,使用范圍也最廣。每引入一個條件,定義的層次就降低一點,使用的廣。每引入一個條件,定義的層次就降低一點,使用的范圍就變窄一點。范圍就變窄一點。o“本體論本體論”層次定義:信息是該事物運動的狀態(tài)和狀態(tài)層次定義:信息是該事物運動的狀態(tài)和狀態(tài)改變的方式。改變的方式。o認(rèn)識論層次:站在認(rèn)識主體的立場上。即信息是認(rèn)識論層次:站在認(rèn)識主體的立場上。即信息是認(rèn)識主認(rèn)識主體體(生物或機(jī)器)所感知的或所表述的相應(yīng)事物運動狀(生物或機(jī)器)所感知的或所表述的相應(yīng)事物運動狀態(tài)及其變化方式。態(tài)及其變化方式。o雖然認(rèn)識論比本體論

20、的層次要低一些,所定義信息的使雖然認(rèn)識論比本體論的層次要低一些,所定義信息的使用范圍也要窄一些,但是信息概念的內(nèi)涵比本體論要豐用范圍也要窄一些,但是信息概念的內(nèi)涵比本體論要豐富得多。富得多。全信息o全信息:同時考慮外在形式全信息:同時考慮外在形式/語法信息、內(nèi)在含義語法信息、內(nèi)在含義/語義信息、效用價值語義信息、效用價值/語用信息,稱為全信息。語用信息,稱為全信息。n語義信息是指關(guān)于語義信息是指關(guān)于“事物運動表征事物運動表征”的含義,與主體的含義,與主體的知識結(jié)構(gòu)及其理解能力密切相關(guān),的知識結(jié)構(gòu)及其理解能力密切相關(guān),n語用信息是指關(guān)于語用信息是指關(guān)于“事物運動表征事物運動表征”的效用,它與主的

21、效用,它與主體要解決的問題及其運用能力密切相關(guān)。體要解決的問題及其運用能力密切相關(guān)。n語法信息指關(guān)于語法信息指關(guān)于“事物運動表征事物運動表征”的本身結(jié)構(gòu),不涉的本身結(jié)構(gòu),不涉及這些表征的含義和效用,是最基本、最客觀的層次,及這些表征的含義和效用,是最基本、最客觀的層次,它是迄今為止在理論上研究最多的層次。根據(jù)事物運它是迄今為止在理論上研究最多的層次。根據(jù)事物運動方式的不同,分為概率型、偶然型和確定型信息。動方式的不同,分為概率型、偶然型和確定型信息。n認(rèn)識論層次的信息是全信息。認(rèn)識論層次的信息是全信息。o消息:是指包含有信息的語言、文字和圖像等,可表達(dá)客觀物質(zhì)運動和主觀思維活動的狀態(tài)。信息必須

22、依附于一定的物質(zhì)形式存在,這種運載信息的物質(zhì),稱為信息載體。消息中包含信息,是信息的載體。同一信息可用不同的消息形式來載荷。一則消息也可載荷不同的信息,可能包含豐富的信息,也可能包含很少的信息。消息和信息既有區(qū)別又有聯(lián)系。信息與消息的區(qū)分o信號:把消息變換成適合信道傳輸?shù)奈锢砹?,這種物理量稱為信號(如電信號、光信號、聲音信號等)。信號攜帶著消息,它是消息的運載工具。信號攜帶信息,但不是信息本身。同一信息可用不同的信號來表示。同一信號也可表示不同的信息。信息與信號的區(qū)分抽象性:信息本身既看不見,又摸不著,沒有氣味、沒有顏色、沒有形狀、沒有大小、沒有重量,它是非常抽象的東西。重要性:信息在信息化程

23、度越來越高的社會中將起到越來越重要的作用,是比物質(zhì)和能量更為寶貴的資源,全面掌握信息的概念,正確、及時、有效地利用信息,能夠為人類創(chuàng)造更多的財富。n 信息的抽象性和重要性信息的抽象性和重要性信息的信息的5條主要特征條主要特征信息來源于物質(zhì),又不是物質(zhì)本身;它從物質(zhì)的運動中產(chǎn)生出來又可以脫離物質(zhì)而相對獨立地存在。信息來源于精神世界,但又不局限于精神領(lǐng)域。信息與能量息息相關(guān),但又與能量有本質(zhì)的區(qū)別。信息具有知識的本性,但又比知識的內(nèi)含更廣泛。信息可以被認(rèn)識主體獲取和利用。信息的重要性質(zhì)信息的重要性質(zhì)存在的普遍性:信息存在于自然界、人類社會,其本質(zhì)是運動和變化的。哪里有事物的運動變化,哪里就會產(chǎn)生信

24、息。它處處存在,它既區(qū)別于物質(zhì)和能量,又與物質(zhì)和能量有相互依存的關(guān)系。有序性:要使一個系統(tǒng)從無序變?yōu)橛行?,必須從外界獲取信息。相對性:同一個事物,不同的觀察者獲得的信息量可能不同。可度量性:信息的多少用信息量表示??蓴U(kuò)充性:可存儲、傳輸與攜帶性可壓縮性:信息論研究的主要問題之一。可替代性:可替代勞力、資本、物質(zhì)材料、時間??蓴U(kuò)散性:可在短時間內(nèi)較大范圍擴(kuò)散開??晒蚕硇裕簺]有信息的共享性就沒有人類社會的發(fā)展和進(jìn)步。時效性:信息是有“壽命”的。第二節(jié)第二節(jié) 信息論研究的對象、目的和內(nèi)容信息論研究的對象、目的和內(nèi)容通信系統(tǒng)模型編碼器編碼器信道信道譯碼器譯碼器信宿信宿噪聲源噪聲源信源信源消息消息信號信

25、號干擾干擾信號信號+干擾干擾消息消息信息論研究的對象、目的和內(nèi)容信息論研究的對象、目的和內(nèi)容o信源:消息的來源o編碼器:把消息變換成信號,包括信源編碼器、信道編碼器、調(diào)制器o信道:傳遞信號的媒介o譯碼器:把信道輸出的信號反變換o信宿:信息的接受端o噪聲:信道中的干擾信源 Information sourceo離散信源和連續(xù)信源離散信源和連續(xù)信源o無記憶信源和有記憶信源無記憶信源和有記憶信源o核心問題:信源的消息中所包含的信息量核心問題:信源的消息中所包含的信息量以及信息如何度量。以及信息如何度量。編碼器o編碼其的功能把消息變成適合信道傳輸?shù)男盘枺壕幋a其的功能把消息變成適合信道傳輸?shù)男盘枺簅信源

26、編碼器信源編碼器 (source encoder):將信源消息變成符):將信源消息變成符號,目的提高傳輸?shù)挠行?。最常見的電報系統(tǒng)的莫爾號,目的提高傳輸?shù)挠行浴W畛R姷碾妶笙到y(tǒng)的莫爾斯電碼,原則常見消息用短的碼字表示。斯電碼,原則常見消息用短的碼字表示。o信道編碼器(信道編碼器(channel encoder):給信源編碼符號增):給信源編碼符號增加冗余符號,提高傳輸?shù)目煽啃浴<尤哂喾?,提高傳輸?shù)目煽啃?。o調(diào)制器(調(diào)制器(modulator):將編碼器輸出符號變成適合信):將編碼器輸出符號變成適合信道傳輸?shù)男盘?,提高傳輸?shù)男?,比如聲音不變成電信道傳輸?shù)男盘?,提高傳輸?shù)男?,比如聲音不變?/p>

27、電信號傳輸?shù)木嚯x很近。號傳輸?shù)木嚯x很近。信道o狹義信道狹義信道 具體的物理信道,與介質(zhì)相關(guān)具體的物理信道,與介質(zhì)相關(guān)o廣義信道廣義信道 一種邏輯關(guān)系或者通道一種邏輯關(guān)系或者通道o無噪聲信道和有噪信道無噪聲信道和有噪信道oAWGN信道信道 :加性高斯白噪聲信道:加性高斯白噪聲信道譯碼器o功能是從信號中恢復(fù)消息,包括功能是從信號中恢復(fù)消息,包括n解調(diào)器解調(diào)器n信道譯碼器信道譯碼器n信源譯碼器信源譯碼器o是編碼的逆變換是編碼的逆變換n研究目的:研究目的:提高信息系統(tǒng)的提高信息系統(tǒng)的可靠性、有效性可靠性、有效性和和安全性安全性以便達(dá)到系統(tǒng)最優(yōu)化。以便達(dá)到系統(tǒng)最優(yōu)化。通信的基本問題o在一點精確地或近似地

28、恢復(fù)另一點所選擇在一點精確地或近似地恢復(fù)另一點所選擇的消息。的消息。o通信系統(tǒng)的三項基本性能指標(biāo):通信系統(tǒng)的三項基本性能指標(biāo):n傳輸?shù)挠行詡鬏數(shù)挠行?最短的碼字,單位的時間傳最短的碼字,單位的時間傳輸更多。輸更多。n傳輸?shù)目煽啃裕簻p少差錯,降低錯誤率傳輸?shù)目煽啃裕簻p少差錯,降低錯誤率n傳輸?shù)陌踩裕翰槐晃词跈?quán)的一方獲取傳輸?shù)陌踩裕翰槐晃词跈?quán)的一方獲取數(shù)字通信的三項基本技術(shù)o數(shù)據(jù)壓縮數(shù)據(jù)壓縮o數(shù)據(jù)糾錯數(shù)據(jù)糾錯o數(shù)據(jù)加密數(shù)據(jù)加密n前兩項:前兩項:1948 香農(nóng)的論文建立理論基礎(chǔ)香農(nóng)的論文建立理論基礎(chǔ)n第三項第三項1945年:密碼學(xué)的數(shù)學(xué)理論中給出,年:密碼學(xué)的數(shù)學(xué)理論中給出,1949公公開發(fā)

29、表為保密系統(tǒng)的通信理論,奠定了現(xiàn)代密碼學(xué)開發(fā)表為保密系統(tǒng)的通信理論,奠定了現(xiàn)代密碼學(xué)的理論基礎(chǔ),使密碼學(xué)從藝術(shù)變成了科學(xué)。的理論基礎(chǔ),使密碼學(xué)從藝術(shù)變成了科學(xué)。n香農(nóng)建立了三項技術(shù)的理論基礎(chǔ),一般認(rèn)為第三項香農(nóng)建立了三項技術(shù)的理論基礎(chǔ),一般認(rèn)為第三項屬于密碼學(xué)和信息安全的范疇,而前兩項屬于信息屬于密碼學(xué)和信息安全的范疇,而前兩項屬于信息論的內(nèi)容。論的內(nèi)容。信息論的理解信息論的理解o狹義信息論(香農(nóng)信息論) 信息的測度、信道容量、信源和信道編碼理論o一般信息論 噪聲、濾波與預(yù)測、估計、保密等o廣義信息論 所有與信息相關(guān)的領(lǐng)域信息傳輸手段的五次重大變革 語言產(chǎn)生:人們用語言準(zhǔn)確地傳遞感情和意圖,使語言成為傳遞信息的重要工具。 文字產(chǎn)生:人類開始用書信的方式交換信息,使信息傳遞的準(zhǔn)確性大為提高

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論