管理信息學(xué) 第4章(1).ppt

1、2020年8月3日，第4章信息傳輸和信息編碼，4.1信息傳輸概念，4.2信息傳輸模型，4.3信息傳輸?shù)挠行裕?.4信息傳輸?shù)目垢蓴_性，4.5失真受限信源編碼定理，2020年8月3日，4.1信息傳輸概念，4.1信息傳輸和語法信息，4.1.2信息傳輸和信號，2020所謂的信息傳輸就是把人們需要的信息從一個(gè)點(diǎn)傳輸?shù)搅硪粋€(gè)點(diǎn)，其核心問題是如何完成就傳遞內(nèi)容而言，所謂的信息傳遞實(shí)際上只是語法信息的傳遞，主要是概率語法信息的傳遞。只要語法信息得以傳遞，語義信息和語用信息就必然隱藏其中。4.1.1信息傳遞和語法信息，2020年8月3日，信息可以獨(dú)立于其來源而存在，這種分離可以表現(xiàn)為兩種狀態(tài)。第一，時(shí)間分離

2、，它要求信息被存儲(chǔ)以使信息繼續(xù)存在；第二，空間上的分離，事物運(yùn)動(dòng)的狀態(tài)和方式必須附著在另一個(gè)事物(即載體)上，同時(shí)又與源事物分離。信息傳遞的本質(zhì)：某種信息從源頭上分離出來，附著在另一個(gè)東西(物理載體)上，通過后者的運(yùn)動(dòng)，信息從空間的一個(gè)點(diǎn)傳遞到另一個(gè)點(diǎn)。4.1.2信息傳輸和信號：承運(yùn)人，2020年8月3日，承運(yùn)人的屬性：承運(yùn)人不僅應(yīng)該能夠在空間中傳輸，從一個(gè)點(diǎn)移動(dòng)到另一個(gè)點(diǎn)，還應(yīng)該能夠表達(dá)所傳輸?shù)男畔ⅰＪ聦?shí)上，在空間信息傳遞的過程中，它可能要經(jīng)歷許多變換和改變許多不同的載體。為了描述方便，這些變換被稱為N級變換，這些載波被稱為N級載波。4.1.2信息傳遞與信號：信息轉(zhuǎn)換，2020年8月3日，載

3、體表達(dá)所傳遞信息的能力意味著它可以用載體本身的一些物理量來表達(dá)源物的運(yùn)動(dòng)狀態(tài)和運(yùn)動(dòng)方式，載體的一些物理量的各種值以及這些值之間的關(guān)系必須與所傳遞的源物的運(yùn)動(dòng)狀態(tài)以及這些狀態(tài)之間的關(guān)系一一對應(yīng)。信號：在一定的物理量和附加信息之間建立一一對應(yīng)關(guān)系的物理載體。換句話說，它是一個(gè)人自身物理量變化所表達(dá)的相應(yīng)信息的物理載體。4.1.2信息傳輸和信號：信號，2020/8/3，4.1.2信息傳輸和信號：傳輸模式。因此，就傳遞形式而言，信息的傳遞是通過信號在空間中的運(yùn)動(dòng)來完成的，在信號的一個(gè)或一些物理量與所傳遞的語法信息之間應(yīng)該建立適當(dāng)?shù)挠成潢P(guān)系。在古代，信息是通過物體或聲音來表達(dá)的，如打結(jié)的音符、篝火和狼煙

4、、鼓聲和聲音傳遞?，F(xiàn)代通信技術(shù)：電信號、無線電信號、微波和光信號等。(傳輸距離更長，傳輸速度更快，抗干擾性更好)。2020年8月3日，4.2信息傳輸模型，4.2.1信息傳輸?shù)幕灸Ｐ停?.2.2信息傳輸?shù)囊话隳Ｐ停?020年8月3日，4.2.1信息傳輸?shù)幕灸Ｐ停?020年8月3日，信息傳輸必須至少包括以下的東西、環(huán)節(jié)和過程：(4.2.1信息傳輸?shù)幕灸Ｐ停?020/8/3，4.2.2信息傳輸?shù)囊话隳Ｐ停?020/8/3。因此，在信息傳遞中討論的主要問題是：(1)信息源的性質(zhì)及其產(chǎn)生信息的能力；(2)渠道的性質(zhì)及其傳遞信息的能力；(3)信源與信道的關(guān)系，以及它們在自然界匹配的原理和方法。4.2

5、.2信息傳輸?shù)囊话隳Ｐ停?020/8/3，4.3.1信源和信源編碼4.3.2變長無損信源編碼定理4.3.3霍夫曼編碼，4.3信息傳輸?shù)挠行裕?020/8/3，信源輸出的信息經(jīng)常以符號的形式出現(xiàn)，如英文字母，如果這些符號的值是有限的或可數(shù)的，這樣的源稱為離散源。如果源只輸出一個(gè)符號，它就是ca4.3.1源和源編碼，2020/8/3，源的每個(gè)輸出都可以視為隨機(jī)事件。對于多符號離散信源，可以使用隨機(jī)變量序列來描述信源發(fā)送的信息。X=X1 X2 X3，其中每個(gè)隨機(jī)變量Xi (i=1，2)有n個(gè)輸出狀態(tài)，每個(gè)狀態(tài)的概率由概率P(Xi)描述。在這個(gè)信息源中，如果每個(gè)隨機(jī)變量Xi (i=1，2)的概率分布

6、P(Xi)相同，那么這個(gè)信息源就稱為多符號離散平穩(wěn)信息源。4.3.1源代碼和源代碼編碼，2020年8月3日。為了方便起見，假設(shè)源輸出的符號長度是有限的，如果任意兩個(gè)符號之間沒有相互依賴關(guān)系，即每個(gè)符號輸出是一個(gè)獨(dú)立的隨機(jī)事件，那么該源稱為離散無記憶平穩(wěn)源。從上面介紹的信息傳輸?shù)幕灸Ｐ涂梢钥闯?，信源發(fā)送的信息不適合在信道中直接傳輸，因此必須經(jīng)過一系列的變換。變換環(huán)節(jié)之一是對信源進(jìn)行編碼，使其能夠滿足信道特性，即適合信道傳輸?shù)姆栃蛄?一般稱為編碼序列)，以表示信源輸出的信息。4.3.1源和源編碼，2020年8月3日，例如，離散無記憶固定源的輸出為X=X1 X2 X3 Xl，其中每個(gè)Xl的可能狀

7、態(tài)為。通過編碼，信源輸出的符號序列被改變成碼序列Y=Y1 Y2 Y3 YK，其中每個(gè)YK的可能狀態(tài)是。4.3.1源代碼和源代碼編碼，2020年8月3日，示例：源代碼有四種輸出狀態(tài)，表中給出了兩種源代碼編碼方法。這兩種代碼的共同之處在于，它們都用二進(jìn)制符號集0，1對信源進(jìn)行編碼，這就是所謂的二進(jìn)制代碼。它們之間的區(qū)別在于代碼1的每個(gè)碼字的長度是相同的，并且是等長代碼；然而，代碼2中碼字的長度是不同的，它是不等長代碼或可變長度代碼。4.3.1源代碼和源代碼編碼，2020/8/3，源代碼編碼實(shí)際上是一個(gè)轉(zhuǎn)換源代碼的過程。在交流的過程中，我們總是希望信息傳輸?shù)男时M可能的高，但是源X的自然屬性往往不能

8、直接滿足高效信息傳輸?shù)囊?。因此，通過信源編碼的過程，我們應(yīng)該將信源X的信息內(nèi)容低效的情況改變?yōu)榫幋a后的信源Y的信息內(nèi)容高或盡可能高的情況，從而使每單位時(shí)間或符號傳輸?shù)男畔⒘勘M可能大。那么，如何改革信息源來實(shí)現(xiàn)這一目標(biāo)呢？4.3.1源和源編碼，2020年8月3日，讓源x有n個(gè)可能的狀態(tài)x1，x2，xN。這些狀態(tài)的相應(yīng)先驗(yàn)概率和后驗(yàn)概率是P=p(xn) | xnX P*=p*(xn) | xnX。觀察者R從該實(shí)驗(yàn)中獲得的信息是：如果P*是確定性的0-1分布，那么、4.3.1源和源編碼，2020/8/3，如果在每個(gè)狀態(tài)中有任何其他源，4.3.1源和源編碼，2020年8月3日，其被定義為任何給定的實(shí)

9、際源和接收器系統(tǒng)的信息內(nèi)容效率。顯然有，而且只有當(dāng)，當(dāng)。，4.3.1源代碼和源代碼編碼，2020年8月3日。上述結(jié)果使我們很容易認(rèn)為各種實(shí)際來源的信息內(nèi)容效率是不同的，有的更高，有的更低，因?yàn)槭挛锸嵌鄻雍筒煌?。轉(zhuǎn)換信息源的具體方法是盡可能地實(shí)現(xiàn)，使信息源各種狀態(tài)的概率滿足統(tǒng)一的先驗(yàn)概率分布，從而減少信息源的冗余，提高信息傳輸?shù)男?。這是不考慮噪聲影響的離散無記憶平穩(wěn)信源的有效編碼問題。4.3.1信源和信源編碼，2020/8/3，4.3.2可變長度無失真信源編碼定理，如果離散無記憶平穩(wěn)信源X的第K個(gè)擴(kuò)展信源XK是用M元符號表編碼的，則總是可以找到一種無損編碼方法，使得對應(yīng)于每個(gè)信源符號的碼字的

10、平均長度滿足：例如，2020/8/3，Y是已知的，并構(gòu)造一個(gè)霍夫曼碼。，4.3.2可變長度無失真信源編碼定理，2020年8月3日，解決方案：用兩個(gè)Y的符號來編碼X的8元狀態(tài)，顯然必須通過重復(fù)Y的符號來實(shí)現(xiàn)。如果由Y編碼的碼字長度都相等，則編碼8個(gè)元素，至少需要3位。例如，碼字長度為3，信源的信息熵為0，每個(gè)符號的平均熵為0，比特/符號，比特/符號，4.3.2可變長度無失真信源編碼定理，2020/8/3，即按照等長原則編碼后每個(gè)符號的平均信息量。y的概率分布為：計(jì)算結(jié)果表明等長編碼y的概率分布極不均勻。4.3.2可變長度無失真信源編碼定理，2020年8月3日/2020年8月3日，霍夫曼碼構(gòu)造步驟，按降序排列信源符號的概率。從兩個(gè)概率最小的消息開始編碼，并給出一定的編碼規(guī)則，如下面的分支(小概率)為0，上面的分支(大概率)為1(反之亦然)；如果概率相等，應(yīng)遵循相同的規(guī)則。將兩個(gè)編碼符號的對應(yīng)概率相加并組合成新的信息符號，該信息符號根據(jù)概率大小與剩余的源符號重新排列。重復(fù)步驟(2)和(3)，直到合并概率達(dá)到1.0。繪制從根節(jié)點(diǎn)(概率為1.0)到每個(gè)