信息論與編碼技術(shù)第一章

1、第1章 緒論第1章 緒論1.1 信息定義、特征與性質(zhì)1.2 信息的分類1.3 信息論的形成和發(fā)展1.4 信息論研究對象及內(nèi)容1.5 本書的主要內(nèi)容1.1 信息定義、特征與性質(zhì)1.1.1 信息定義1.1.2 信息的特征1.1.3 信息的性質(zhì)1.1.1 信息定義 信息一詞來源于人們的通信實(shí)踐活動，在日常生活中，信息是指“消息”、“情況”、“知識”、“情報(bào)”等等。 信息是一個十分抽象而又復(fù)雜的概念，是人們對客觀事物感觸到的新知識；消息是信息的載荷者，是描述信息的一種表現(xiàn)形式；同一種信息可以用不同的消息來載荷，即對某個事物的描述和反映，是表示事物內(nèi)涵的一種形式。 1.1.2 信息的特征 信息來源于物質(zhì)

2、，但又不是物質(zhì)本身，它從物質(zhì)的運(yùn)動中產(chǎn)生出來，又可以脫離源物質(zhì)而相對獨(dú)立地存在。 信息來源于精神世界，但又不限于精神領(lǐng)域。 信息與能量息息相關(guān)，但又與能量有本質(zhì)的區(qū)別。 信息具有知識的本質(zhì)，但比知識的內(nèi)涵更廣泛。 信息是具體的，并且可以被信息主體所感知、提取、識別，可以被傳遞、存儲、變換、處理、顯示、檢索和利用。 信息可以被眾多主體所共享。 信息可以產(chǎn)生，也可以消失。 信息是可以度量的，信息量有多少的差別。1.1.3 信息的性質(zhì) 普遍性。 無限性。 相對性。 變換性。 轉(zhuǎn)換性。 有序性。 動態(tài)性。 共享性。 可度量性。1.2 信息的分類 信息按照性質(zhì)劃分，可以分為：語法信息、語義信息、語用信息

3、三類。 按觀察的過程分類，可以有：實(shí)在信息、先驗(yàn)信息、實(shí)得信息。 按信息的地位分類，可以有：客觀信息(包括觀察對象的初始信息，經(jīng)過觀察者干預(yù)之后的效果信息、環(huán)境信息等)、主觀信息(包括決策信息、指令信息、控制信息、目標(biāo)信息等)。 按信息的作用分類，可以有：有用信息、無用信息、干擾信息。 按信息的邏輯意義分類，可以有：真實(shí)信息、虛假信息、不定信息。 按信息的傳遞方向分類，可以有：前饋信息、反饋信息。1.2 信息的分類 按信息的生成領(lǐng)域分類，可以有：宇宙信息、自然信息、社會信息、思維信息等。 按信息的應(yīng)用部門分類，可以有：工業(yè)信息、農(nóng)業(yè)信息、軍事信息、政治信息、科技信息、文化信息、經(jīng)濟(jì)信息、市場信

4、息、管理信息等。 按信息源的性質(zhì)分類，可以有：語聲信息、圖像信息、文字信息、數(shù)據(jù)信息、計(jì)算信息等。 按信息的載體性質(zhì)分類，可以有：電子信息、光學(xué)信息、生物信息等。 按攜帶信息的信號的形式分類，還可以有：連續(xù)信息、離散信息、半連續(xù)信息(混合信息)等。1.3 信息論的形成和發(fā)展 信息論理論基礎(chǔ)的建立，一般來說開始于香農(nóng)(C.E Shannon)研究通信系統(tǒng)時所發(fā)表的論文。隨著研究的深入與發(fā)展，信息論具有了較為寬廣的內(nèi)容。信息在早些時期的定義是由奈奎斯特(Nyquist，H.)和哈特萊(Hartley，L.V.R.)在20世紀(jì)20年代提出來的。1924年奈奎斯特解釋了信號帶寬和信息速率之間的關(guān)系；1

5、928年哈特萊最早研究了通信系統(tǒng)傳輸信息的能力，給出了信息度量方法；1936年阿姆斯特朗 (Armstrong)提出了增大帶寬可以使抗干擾能力加強(qiáng)。這些工作都給香農(nóng)很大的影響，他在1941至1944年對通信和密碼進(jìn)行深入研究，用概率論的方法研究通信系統(tǒng)，揭示了通信系統(tǒng)傳遞的對象就是信息，并對信息給以科學(xué)的定量描述，提出了信息熵的概念，指出通信系統(tǒng)的中心問題是在噪聲下如何有效而可靠地傳送信息以及實(shí)現(xiàn)這一目標(biāo)的主要方法是編碼等。這一成果于1948年以“通信的數(shù)學(xué)理論”(A mathematical theory of communication)為題公開發(fā)表。這是一篇關(guān)于現(xiàn)代信息論的開創(chuàng)性的權(quán)威論

6、文，為信息論的創(chuàng)立做出了獨(dú)特的貢獻(xiàn)，香農(nóng)因此成為信息論的奠基人。1.3 信息論的形成和發(fā)展 50年代信息論在學(xué)術(shù)界引起了巨大的反響。1951年美國IRE成立了信息論組，并于 1955年正式出版了信息論匯刊。60年代信道編碼技術(shù)有較大進(jìn)展，使它成為信息論的又一重要分支。它把代數(shù)方法引入到糾錯碼的研究，使分組碼技術(shù)發(fā)展到了高峰，找到了大量可糾正多個錯誤的碼，而且提出了可實(shí)現(xiàn)的譯碼方法。其次是卷積碼和概率譯碼有了重大突破；提出了序列譯碼和Viterbi譯碼方法。 信源編碼的研究落后于信道編碼。香農(nóng)1959年的文章(Coding theorems for a discrete source with

7、a fidelity criterion)系統(tǒng)地提出了信息率失真理論，它是數(shù)據(jù)壓縮的數(shù)學(xué)基礎(chǔ)，為各種信源編碼的研究奠定了基礎(chǔ)。 1.3 信息論的形成和發(fā)展 到70年代，有關(guān)信息論的研究，從點(diǎn)與點(diǎn)間的單用戶通信推廣到多用戶系統(tǒng)的研究。1972年蓋弗(Cover)發(fā)表了有關(guān)廣播信道的研究，以后陸續(xù)有關(guān)于多接入信道和廣播信道模型的研究，但由于這些問題比較難，到目前為止，多用戶信息論研究得不多，還有許多尚待解決的課題。 由于信息理論的創(chuàng)建與發(fā)展是以通信實(shí)踐與理論為基礎(chǔ)的。香農(nóng)將各種通信系統(tǒng)概括成如圖1.1所示的框圖，并且針對人類通信活動的特點(diǎn)，香農(nóng)精辟地提出了“形式化假說”、“非決定論”、“不確定性”

8、等三個論點(diǎn)，以新穎的思想和方法，打破了這個僵局，跨出了用數(shù)學(xué)方法定量描述信息的關(guān)鍵一步，開創(chuàng)了通信領(lǐng)域信息理論新局面。1.3 信息論的形成和發(fā)展圖1.1 通信系統(tǒng)框圖1.3 信息論的形成和發(fā)展 1. 形式化假說： Shannon認(rèn)為，通信的任務(wù)只是在接收端把發(fā)送端發(fā)出的消息從形式上復(fù)制出來，通信工程并不須要對復(fù)制出來的消息的語義作任何處理和判斷。對消息的語義內(nèi)容的處理和判斷，是接收者自己的事，不是通信工程師本身的任務(wù)，與通信工程師無關(guān)。至于消息的效用問題，更應(yīng)該是接收者自己的感受問題，與傳送消息的通信系統(tǒng)無關(guān)。例如網(wǎng)上出現(xiàn)一則消息，有的人看了興高采烈；有的則灰心喪氣；有的人看了漠不關(guān)心，毫無反

9、應(yīng)。不論不同的人有什么不同的效用反應(yīng)，對電視通信工程來說，已經(jīng)完成了它本身的任務(wù)。這就是香農(nóng)對通信活動的“形式化”假說。這種通信工程的“形式化”假說，大膽地去掉了消息的語義、語用因素，巧妙地保留了能用數(shù)學(xué)描述的形式因素，使用數(shù)學(xué)工具定量度量信息成為可能，打開了信息理論進(jìn)入科學(xué)殿堂的大門。1.3 信息論的形成和發(fā)展 2. 非決定論： Shannon指出一切有通信意義的消息的發(fā)生都是隨機(jī)的，是事先無法預(yù)料的。消息傳遞過程中遇到的噪聲干擾也是隨機(jī)的，通信系統(tǒng)的工程設(shè)計(jì)者也是無法事先預(yù)料的。面對公眾的通信系統(tǒng)，不是針對某一特定的通信對象設(shè)計(jì)的，什么樣的用戶，什么時候使用，傳遞什么樣的消息都是無法預(yù)料的

10、。顯然，根據(jù)通信工程系統(tǒng)的這些特點(diǎn)，必須應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計(jì)等數(shù)學(xué)工具，從大量不可預(yù)料的隨機(jī)消息(包括噪聲)中，尋求其統(tǒng)計(jì)規(guī)律，作為通信工程師設(shè)計(jì)通信系統(tǒng)的依據(jù)，用非決定論觀點(diǎn)揭示信息的本質(zhì)。這就是香農(nóng)看待通信活動的“非決定論”觀點(diǎn)。這種“非決定論”觀點(diǎn)是對通信活動的總的認(rèn)識觀，它從原則上解決了用什么樣的數(shù)學(xué)工具解決信息的度量問題。1.3 信息論的形成和發(fā)展 3. 不確定性： 由于通信后，消除了或部分消除了通信前存在的“不確定性”。所以，通信的作用就是通過消息的傳遞，使接收者從收到的消息中獲取一定的“信息”，消除原先存在的某些“不確定性”。這樣，我們就有理由明確地說，“信息就是用來消

11、除不確定性的東西”，通信后接收者獲取的“信息”，在數(shù)量上等于通信前后“不確定性”的消除量。這就是香農(nóng)從“不確定性”觀點(diǎn)出發(fā)，給“信息”下的明確的定義。它告訴我們，“信息”與“消息”兩者之間既有聯(lián)系，又有區(qū)別，兩者不應(yīng)混為一談。“消息”是表達(dá)“信息”的形式，是載荷“信息”的客體；“信息”是“消息”統(tǒng)計(jì)特性的函數(shù)，是“消息”的抽象本質(zhì)。不同形式的“消息”，可能有相同數(shù)量的“信息”，相同形式的“消息”，可能有不同數(shù)量的“信息”。信息論的研究對象不是具體的消息，而是抽象于各種不同形式的“消息”的“信息”。信息論是一門高度抽象和概括的學(xué)科。1.4 信息論研究對象及內(nèi)容 信息論的研究對象是消息傳輸系統(tǒng)。由

12、于消息中包含著信息，所以消息傳輸系統(tǒng)也是信息傳輸系統(tǒng)，簡稱通信系統(tǒng)。人們通過消息的傳輸和處理過程來研究信息傳輸和處理過程中的共同規(guī)律。 研究一個概括性很強(qiáng)的通信系統(tǒng)，其目的就是要找到信息傳輸過程的共同規(guī)律。一旦總結(jié)出這種共同規(guī)律，就可以用來指導(dǎo)具體通信系統(tǒng)的設(shè)計(jì)，使設(shè)計(jì)出來的各種通信系統(tǒng)具有更高的可靠性和有效性。 所謂可靠性高，就是要使信源發(fā)出的消息經(jīng)過信道傳輸以后，盡可能準(zhǔn)確地、不失真地再現(xiàn)于接收端。而所謂有效性高，就是經(jīng)濟(jì)效果好，即用盡可能短的時間和盡可能少的設(shè)備來傳送一定數(shù)量的信息。兩者的結(jié)合就能使系統(tǒng)達(dá)到最優(yōu)化。 1.4 信息論研究對象及內(nèi)容 歸納起來，信息論研究的內(nèi)容大致包括以下幾個

13、方面。 1. 通信的統(tǒng)計(jì)理論的研究 主要研究利用統(tǒng)計(jì)數(shù)學(xué)工具分析信息和信息傳輸?shù)慕y(tǒng)計(jì)規(guī)律，其具體內(nèi)容有：(1）信息的度量；(2）信息速率與熵；(3）信道傳輸能力信道容量。 2. 信源的統(tǒng)計(jì)特性 主要包括：(1）文字(如漢字)、字母(如英文)統(tǒng)計(jì)特性；(2）語音的參數(shù)分析和統(tǒng)計(jì)特性；(3）圖片及活動圖像(如電視)的統(tǒng)計(jì)特性；(4）其他信源的統(tǒng)計(jì)特性。 3. 收信者接收器官的研究 主要包括：(1）人的聽覺和視覺器官的特性；(2）人的大腦感受和記憶能力的模擬。這些問題的研究與生物學(xué)、生理學(xué)、心理學(xué)的研究密切相關(guān)。1.4 信息論研究對象及內(nèi)容 4. 編碼理論與技術(shù)的研究 主要包括：(1）有效性編碼：用來提高信息傳輸效率，主要是針對信源的統(tǒng)計(jì)特性進(jìn)行編碼，所以有時也稱為信源編碼；(2）抗干擾編碼：用來提高信息傳輸?shù)目煽啃?，主要是針對信道統(tǒng)計(jì)特性進(jìn)行編碼，所以有時也稱為信道編碼。 5. 提高信息傳輸效率的研究 主要包括：(1）功率的節(jié)約；(2）頻帶的壓縮；(3）傳輸時間的縮短，即快速傳輸問題。 6. 抗干擾理論與技術(shù)的研究 主要包括：(1）各種調(diào)制制度的抗干擾性；(2）理想接收機(jī)的實(shí)踐。 7. 噪聲中信號檢測理論與技術(shù)的研究 主要包括：(1）信號檢測的最佳準(zhǔn)則；(2）信號最佳檢測的實(shí)踐。 1.5 本書的主要內(nèi)容 本書將以香農(nóng)信息