測(cè)量信息論基礎(chǔ)

1、 測(cè)量信息論 “信息”一詞是本世紀(jì)20年代人們?cè)谘芯客ㄐ诺囊话阋?guī)律時(shí)由哈特來(lái)（R.V.Hartley）等人提出。而仙農(nóng)（C.E.Shannon）在1948的著名論文中奠定了信息論的理論基礎(chǔ)。1信息論源于通信工程，背景是關(guān)于通訊中的： 信息傳輸?shù)男?信息傳輸?shù)臏?zhǔn)確性 噪聲干擾 信道頻率特性2廣義通信系統(tǒng)，即信息流通系統(tǒng)3廣義通信系統(tǒng)模型信息從信息源（information source）傳送到信宿。發(fā)信器（transmitter）又稱(chēng)編碼器，把信息變換成物理信號(hào)。受信器（receiver）又稱(chēng)譯碼器，把物理信號(hào)轉(zhuǎn)換成信宿能感知的信息的裝置。信宿（destination）是信息傳輸?shù)膶?duì)象。4信息

2、的定量描述信源模型與信息熵。自然科學(xué)通常都應(yīng)作定量的描述，定性描述只能解釋一些現(xiàn)象。從理論上研究信息大小當(dāng)作定量描述。Shannon信息理論的貢獻(xiàn)在于：運(yùn)用概率論與數(shù)理統(tǒng)計(jì)學(xué)方法，對(duì)信息給予了數(shù)學(xué)描述。從而使信息論作為一門(mén)科學(xué)建立起來(lái)。 5信源的輸出是隨機(jī)的。信源的輸出常用隨機(jī)變量或隨機(jī)矢量來(lái)描述，從隨機(jī)變量出發(fā)研究信息，是shannon信息理論的基本假設(shè)。由概率論可知，隨機(jī)變量可取值于某一離散集合，也可取值于某一連續(xù)區(qū)間，相應(yīng)的信源稱(chēng)為離散信源及連續(xù)信源。6離散信源模型離散信源模型是離散型概率空間，即:x1,x2,xN 描述信源輸出的可能狀態(tài)。P（x1）P（x2）P（xN） 描述各種狀態(tài)出現(xiàn)

3、的可能性。 7信源狀態(tài)的出現(xiàn)是不相容的。 例如：拋硬幣其中，P（x1）=P（x2）=0.5，該系統(tǒng)為等概率事件，稱(chēng)為先驗(yàn)概率。 8用超聲波檢測(cè)物體內(nèi)部有無(wú)裂紋9X1 代表物體內(nèi)部有裂紋X2 代表物體內(nèi)部無(wú)裂紋10自信息某事件發(fā)生所含有信息量稱(chēng)為自信息，它是該事件發(fā)生的先驗(yàn)概率的函數(shù)，即 I（xi）=fP（xi）P（xi）是事件xi發(fā)生的先驗(yàn)概率； I（xi）表示事件xi發(fā)生所含有的信息量。 11 信源中某一狀態(tài)發(fā)生的先驗(yàn)概率很小，但一旦發(fā)生，所獲得的信息量就多。 例如：一臺(tái)新機(jī)器，具有正常工作和發(fā)生事故兩種可能狀態(tài)。 正常工作概率為P（x1）=0.99， 發(fā)生故障概率為P（x2）=0.01。一

4、旦發(fā)生故障，則是一件引人注目的事件。12I（xi）與P（xi）有以下關(guān)系： I（xi）是P（xi）的單調(diào)遞減函數(shù)； 當(dāng)P（xi）=1時(shí)，I（xi）=0，必然事件信息量為零； 當(dāng)P（xi）=0時(shí)，I（xi）=，不可能發(fā)生的事件發(fā)生了，信息量為無(wú)窮大； 兩個(gè)獨(dú)立事件的聯(lián)合信息量，應(yīng)等于它們各自信息量之和。13I（xi）與P（xi）關(guān)系用下圖表示：根據(jù)上述條件，I（xi）與P（xi）用下式表達(dá)： 14I（xi）代表兩種含義：A. 當(dāng)事件xi發(fā)生以前，表示事件xi發(fā)生的不確定性；B. 當(dāng)事件xi發(fā)生以前，表示事件xi所含有的信息量。信息量單位取決于所取對(duì)數(shù)之底：以2為底，信息量單位為比特（bit），以

5、e為底，信息量單位為奈特（nat），以10為底，信息量單位為哈特（Hart）。一般采用以2為底的對(duì)數(shù)，當(dāng)P（xi）=1/2，I（xi）=1比特。15熵-新的世界觀(guān)地球是一個(gè)封閉系統(tǒng)，其能源、資源和容積有限，人類(lèi)會(huì)的發(fā)展增長(zhǎng)必然有一個(gè)極限。16熱力學(xué)定律熵的概念是從熱力學(xué)引導(dǎo)出來(lái)的。熱力學(xué)第0定律：溫度與熱平衡。1709年荷蘭G。D。Fahrenheit建立華氏溫標(biāo)，1742年瑞典天文學(xué)家A。Celsius建立攝氏溫標(biāo)，熱力學(xué)第一定律(能量守恒定律)：能量是守恒的、不滅的，只能從一種形式轉(zhuǎn)變成另一種形式。從而否認(rèn)了第一類(lèi)“永動(dòng)機(jī)”。物理學(xué)家焦耳經(jīng)30年的研究，于1848年提出。17熱力學(xué)定律熱力

6、學(xué)第二定律（熵增加原理）：研究熱效率，否認(rèn)了第二類(lèi)“永動(dòng)機(jī)”（即認(rèn)為能量是取之不竭的）。1850年科學(xué)家克勞休斯/1851年科學(xué)家開(kāi)爾芬提出。熱力學(xué)第三定律：絕對(duì)溫度0K不可達(dá)定理，即稱(chēng)能斯脫定理。1906年科學(xué)家能斯脫提出。如果一個(gè)系統(tǒng)的溫度趨近于絕對(duì)溫度0K時(shí)，其熵趨于0，且不隨時(shí)間而變化，即有：實(shí)驗(yàn)證明：是不能達(dá)到的，因此，上式也不可能實(shí)現(xiàn)。18熵（Entropy）熵的定義：在一個(gè)熱力體系中，熱能的利用是與環(huán)境溫度有關(guān)的。蒸汽雖然有熱能，但如果周?chē)沫h(huán)境溫度與蒸汽一樣，則蒸汽的熱能就無(wú)法利用。如果周?chē)鷾囟嚷詾榻档?，則一部分蒸汽的熱能就可變?yōu)楣?，而仍有一部分不能利用。不論在任何熱力體系中，

7、這種不能利用的熱能可以用熱能除以溫度所得的商來(lái)量度它，這個(gè)商就定義為熵。19熵的特性物理學(xué)家R.Clausius提出了熱熵的概念，它是熱系統(tǒng)的一個(gè)狀態(tài)函數(shù)，反映狀態(tài)的多樣性和不可期望性的程度。在熱力學(xué)中，“熵是能量轉(zhuǎn)變?yōu)橛杏霉Φ哪芰慷嗌俚牧慷取备鶕?jù)物理學(xué)原理，自然界具有三種平衡：力學(xué)平衡熱平衡化學(xué)平衡一個(gè)系統(tǒng)愈接近平衡，則可用于作功的能量就愈少。因此，一個(gè)系統(tǒng)的熵愈大，不能作功的能量就愈多，能量的品質(zhì)就愈差。20熵的特性能量只能不可逆轉(zhuǎn)地沿著一個(gè)方向轉(zhuǎn)化，即從對(duì)人類(lèi)來(lái)說(shuō)是可利用的到不可利用的狀態(tài)，從有效的到無(wú)效的狀態(tài)轉(zhuǎn)化。用加爾文的話(huà)說(shuō)：這種無(wú)效能量已從人們那里不可挽回地失去了，盡管它并沒(méi)有消

8、滅。熵就是這種不能再被轉(zhuǎn)化作功的能量的總和，即熵是無(wú)效能量（無(wú)序狀態(tài)）的總和，熵的增加就意味著有效能量的減少。在一個(gè)封閉的系統(tǒng)里，所有能量是從有序狀態(tài)到無(wú)序狀態(tài)轉(zhuǎn)化，物質(zhì)的熵最終將達(dá)到最大值。當(dāng)熵處于最小值時(shí)，能量集中程度最高，有效能量最大，系統(tǒng)處于最有序狀態(tài)；反之，熵為最大時(shí)，有效能量完全耗盡，也就是混亂度最大的狀態(tài)。所以熱力學(xué)第二定律也稱(chēng)之為熵定律。熵定律是自然界一切定律中的最高定律。21熱寂學(xué)說(shuō)與大爆炸-地球的起源與毀滅熵定律不僅適于地球，也適于整個(gè)宇宙。這與赫爾姆霍茨的熱寂學(xué)說(shuō)是一致的。他認(rèn)為整個(gè)宇宙是一個(gè)密集能源的大爆炸開(kāi)始的。當(dāng)這個(gè)稠密能源向外膨脹時(shí)，它的膨脹速度逐漸減慢，從而形成

9、了銀河系、恒星、行星和地球。能源也漸漸失去原來(lái)的次序，最后達(dá)到最大熵，即熱寂的最終熱平衡狀態(tài)，一切能量差別趨于零，所有能量已消耗一空，處于永恒的死寂。大爆炸學(xué)說(shuō)與熵定律是一致的。22熵與時(shí)間熵是時(shí)光之箭，熵定律與時(shí)間的概念也是一致的：熵不能減少，時(shí)間也不能倒流。時(shí)間推延的過(guò)程就是熵增加的過(guò)程，我們無(wú)法逆轉(zhuǎn)時(shí)間和熵的過(guò)程，熵定律展示了時(shí)間的方向。人們的意識(shí)與時(shí)間、生命和熵是緊密聯(lián)系的。宇宙達(dá)到熱寂的平衡狀態(tài)，任何事情也不會(huì)發(fā)生，時(shí)間也就不復(fù)存在了。23熵與生命有機(jī)體的生長(zhǎng)都伴隨宇宙總熵的遞增?？茖W(xué)家們認(rèn)識(shí)到收集信息和儲(chǔ)存知識(shí)都要花費(fèi)能量，因此也是熵增加的過(guò)程。從本能、直覺(jué)、理智到抽象思維，人類(lèi)思

10、想都愈來(lái)愈復(fù)雜、集中、抽象。而且信息越多，反而更加糊涂。心理學(xué)家稱(chēng)之為“信息超載”。事實(shí)上能源和物資是一項(xiàng)資本，它不是人們生產(chǎn)出來(lái)的，而是地球所賦予的，是不可替代的有限資本。因此，世界非再生能源和物資的消耗正在使熵提高到一個(gè)危險(xiǎn)的水平。24信息熵發(fā)展歷程信息論的創(chuàng)始人香農(nóng)（C.E.Shannom）1948年發(fā)表的“通信的數(shù)學(xué)理論”中提出信息論并提出信息熵(entropy)香農(nóng)熵和互信息（mutyal information）的概念，奠定了信息論基礎(chǔ)。具有劃時(shí)代意義。漢明（R.W.Hamming）提出：信息論-信道編碼構(gòu)造理論E.T.Jaynes 1957年提出最大熵原理S.K.Kullback

11、 1959年提出并為J.S.Shore等人1980年發(fā)展的鑒別信息及最小鑒別信息(discrimination information)原理理論25信息熵發(fā)展歷程蘇聯(lián)學(xué)者A.N.Kolmogorov 1958年指出“熵”相等是動(dòng)力系統(tǒng)同構(gòu)的必要條件，開(kāi)辟了遍歷理論，即動(dòng)力系統(tǒng)的熵及其在同構(gòu)中的應(yīng)用。并提出熵，解決了連續(xù)變量下熵的定義問(wèn)題。1965年提出信息量度定義的三種方法：概率法，組合法，計(jì)算法1968年提出算法信息理論Renyi 1961年提出熵概念J.Havrda 1967年提出熵概念S.Arimoto 1971年提出熵概念S.Guiasu 1977年提出加權(quán)熵概念C.Ferreri 1

12、980年提出次熵E.T.Jaynes 1957年提出的最大熵原理是信號(hào)處理的一個(gè)重要方法。最大熵譜估計(jì)標(biāo)志著熵已開(kāi)始取代其它信號(hào)處理方法。20世紀(jì)80年代又提出交叉熵的概念，用于信號(hào)處理。26信息熵發(fā)展歷程信息量度已系統(tǒng)地發(fā)展成為信息處理的一種準(zhǔn)則，并在信息技術(shù)領(lǐng)域逐步取代功率的最小均方誤差準(zhǔn)則。信息論已成為信號(hào)與信息處理的基本理論。信息論已廣泛應(yīng)用于各科學(xué)領(lǐng)域，測(cè)試領(lǐng)域也不例外。27信息熵的計(jì)算 Shannon定義自信息的數(shù)學(xué)期望為信息熵，即信源的平均信息量28熵的單位是bit/事件。不同信源，其統(tǒng)計(jì)特性不同，熵也不同。 29信息熵分別為： 30信息熵的特性（性質(zhì)）： 對(duì)稱(chēng)性當(dāng)概率空間P（x

13、1），P（x2）順序任意互換時(shí)，熵函數(shù)值不變。 確定性如果信源的輸出只有一個(gè)狀態(tài)是必然的，即P（x1）=1，P（x2）= P（x3）=0，則信源的熵 非負(fù)性即 H（X）0因?yàn)椋? P（xi）1，所取對(duì)數(shù)的底大于1，log P（xi）0，即熵為正值。31 可加性統(tǒng)計(jì)獨(dú)立信號(hào)源X和Y的聯(lián)合信號(hào)源的熵等于它們各自的熵之和。 極值性信號(hào)源各個(gè)狀態(tài)為等概率分部時(shí)，熵值最大，并等于信源輸出符號(hào)（狀態(tài)）數(shù)。即32連續(xù)信源及最大熵定理連續(xù)信源的數(shù)學(xué)模型為連續(xù)型的概率空間。P（x）是隨機(jī)變量x的概率密度函數(shù)。33連續(xù)信源的熵為：該熵又稱(chēng)為相對(duì)熵或差熵。34最大熵定理在連續(xù)信源中，當(dāng)各約束條件不同時(shí)，信源的最大相

14、對(duì)熵值不同。峰值功率受限條件下信源的最大熵 35概率密度 36平均功率受限條件下信源的最大熵 若一個(gè)信源輸出的平均功率有限，則其輸出信號(hào)的概率密度分布是高斯分布時(shí)，信源有最大熵。一維隨機(jī)變量x的概率密度分布為：37M是x的均值，2是x的方差。該連續(xù)信源的熵正態(tài)分布的連續(xù)信源的熵與數(shù)學(xué)期望m無(wú)關(guān)，只與方差2有關(guān)。38N維： 式中： 39信息與熵的守恒定律熵描述了系統(tǒng)的不確定性程度，而信息則是消除了系統(tǒng)不確定性而得到的東西。一個(gè)體系的信息與熵的和保持恒定，并等于該體系在給定條件下所能達(dá)到的最多信息或最大熵。數(shù)學(xué)表達(dá)式為:40式中：I 對(duì)系統(tǒng)觀(guān)測(cè)后所獲得的信息；Hmax 系統(tǒng)的原始熵；H 觀(guān)測(cè)以后系

15、統(tǒng)仍具有不確定性所具有的熵。41測(cè)量信息論原理測(cè)量的目的是為了獲得被測(cè)對(duì)象的信息，確定被測(cè)量的量值。因此，測(cè)量系統(tǒng)也就是一個(gè)信息系統(tǒng)。從信息的角度來(lái)看，測(cè)量系統(tǒng)的作用是傳輸信息，以消除觀(guān)察者對(duì)被測(cè)量的不確定性；42關(guān)于測(cè)量誤差的分析與處理，在前面我們是以概率論為基礎(chǔ)進(jìn)行的。然而，信息的概念比概率更為基本，信息方法比傳統(tǒng)數(shù)理統(tǒng)計(jì)方法的應(yīng)用更為廣泛。尤其在誤差概率估計(jì)、數(shù)據(jù)處理和參數(shù)估計(jì)等分析中，測(cè)量信息論具有更強(qiáng)的能力。43用測(cè)量信息論來(lái)處理測(cè)量誤差，主要研究以下問(wèn)題：測(cè)量信息系統(tǒng)的模型；測(cè)量信息的量度；最大信息熵原理及其誤差概率估計(jì)；利用誤差熵來(lái)計(jì)算測(cè)量不確定度等。44測(cè)試系統(tǒng)的基本模型系統(tǒng)的

16、輸入是被測(cè)量A，輸出是經(jīng)測(cè)量系統(tǒng)所得的測(cè)量值X。45信息測(cè)量的過(guò)程信息測(cè)量的過(guò)程就是將被測(cè)信息從無(wú)限多個(gè)物理復(fù)雜過(guò)程的集合中分離出來(lái)的過(guò)程。因此，必須去除多余信息：初始信息形成，全部物理信息；（物理連接）信息結(jié)構(gòu)綜合，濾除無(wú)關(guān)物理信息；（傳感器）信息語(yǔ)義綜合，提取有價(jià)值的信息，實(shí)現(xiàn)信息測(cè)量；（測(cè)量原理）信息統(tǒng)計(jì)綜合，利用信息隨機(jī)特性的計(jì)算，減少信息的隨機(jī)誤差；（信息熵）信息密度逐漸減少46條件熵由于被測(cè)量A是離散隨機(jī)變量，所以，測(cè)量值X也是隨機(jī)變量：x1,x2,xn。由于任何一次測(cè)量都會(huì)有測(cè)量誤差，即測(cè)量的不確定性，因此，測(cè)量到一個(gè)測(cè)量值后，被測(cè)量值與測(cè)量值兩個(gè)隨機(jī)變量之間的不確定性，可用條件

17、熵來(lái)表示：47條件熵表示兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)依賴(lài)關(guān)系，即H（A/X）表示已知X時(shí)，A的不確定性；H（X/A）表示已知A時(shí)，X的不確定性。48測(cè)量信息量測(cè)量信息量等于測(cè)量A的信息熵H（A）減去條件熵H（A/X），它等于從測(cè)量值X中提取的關(guān)于被測(cè)量A的信息量，故測(cè)量信息量可表示為：49如果沒(méi)有測(cè)量誤差，測(cè)量值就等于被測(cè)值，即P（a1/x1）=1，也就是H（A/X）=0，所以，測(cè)量信息量就為：即表示測(cè)量可以獲得被測(cè)量值的全部信息。然而，實(shí)際上任何精確的測(cè)量都會(huì)產(chǎn)生測(cè)量誤差，因此，P（a1/x1）不等于1，即H（A/X）不等于0，所以，H（A/X）表示了由于測(cè)量誤差而引起的信息損失，故H（A/X）又稱(chēng)為損失熵。50誤差熵如果測(cè)量誤差與被測(cè)量值是相互獨(dú)立的，且被測(cè)值是測(cè)量值與誤差的線(xiàn)性相加，那么，對(duì)于任何被測(cè)量A值，測(cè)量值X的概率分布與誤差概率分布在形式上是一樣的，故H（X/A）就稱(chēng)為誤差熵，常簡(jiǎn)寫(xiě)為H（X）。測(cè)量信息量的大小，不僅與被測(cè)量取值的數(shù)目及所取值的概率分布有關(guān)，而且與測(cè)量誤差也有關(guān)。誤差