測量信息論基礎(chǔ)

測量信息論基礎(chǔ)第1頁，課件共56頁，創(chuàng)作于2023年2月信息論源于通信工程，背景是關(guān)于通訊中的：

⒈

信息傳輸?shù)男盛?/p>

信息傳輸?shù)臏?zhǔn)確性⒊

噪聲干擾⒋

信道頻率特性第2頁，課件共56頁，創(chuàng)作于2023年2月廣義通信系統(tǒng)，即信息流通系統(tǒng)

第3頁，課件共56頁，創(chuàng)作于2023年2月廣義通信系統(tǒng)模型

信息從信息源（informationsource）傳送到信宿。發(fā)信器（transmitter）又稱編碼器，把信息變換成物理信號。受信器（receiver）又稱譯碼器，把物理信號轉(zhuǎn)換成信宿能感知的信息的裝置。信宿（destination）是信息傳輸?shù)膶ο蟆５?頁，課件共56頁，創(chuàng)作于2023年2月信息的定量描述——信源模型與信息熵。

自然科學(xué)通常都應(yīng)作定量的描述，定性描述只能解釋一些現(xiàn)象。從理論上研究信息大小當(dāng)作定量描述。Shannon信息理論的貢獻(xiàn)在于：運(yùn)用概率論與數(shù)理統(tǒng)計(jì)學(xué)方法，對信息給予了數(shù)學(xué)描述。從而使信息論作為一門科學(xué)建立起來。

第5頁，課件共56頁，創(chuàng)作于2023年2月信源的輸出是隨機(jī)的。信源的輸出常用隨機(jī)變量或隨機(jī)矢量來描述，從隨機(jī)變量出發(fā)研究信息，是shannon信息理論的基本假設(shè)。由概率論可知，隨機(jī)變量可取值于某一離散集合，也可取值于某一連續(xù)區(qū)間，相應(yīng)的信源稱為離散信源及連續(xù)信源。第6頁，課件共56頁，創(chuàng)作于2023年2月離散信源模型

離散信源模型是離散型概率空間，即:x1,x2,…,xN

描述信源輸出的可能狀態(tài)。P（x1）P（x2）P（xN）

描述各種狀態(tài)出現(xiàn)的可能性。

第7頁，課件共56頁，創(chuàng)作于2023年2月信源狀態(tài)的出現(xiàn)是不相容的。

例如：拋硬幣其中，P（x1）=P（x2）=0.5，該系統(tǒng)為等概率事件，稱為先驗(yàn)概率。

第8頁，課件共56頁，創(chuàng)作于2023年2月用超聲波檢測物體內(nèi)部有無裂紋

第9頁，課件共56頁，創(chuàng)作于2023年2月X1

代表物體內(nèi)部有裂紋X2

代表物體內(nèi)部無裂紋第10頁，課件共56頁，創(chuàng)作于2023年2月自信息某事件發(fā)生所含有信息量稱為自信息，它是該事件發(fā)生的先驗(yàn)概率的函數(shù)，即

I（xi）=f[P（xi）]P（xi）是事件xi發(fā)生的先驗(yàn)概率；

I（xi）表示事件xi發(fā)生所含有的信息量。

第11頁，課件共56頁，創(chuàng)作于2023年2月信源中某一狀態(tài)發(fā)生的先驗(yàn)概率很小，但一旦發(fā)生，所獲得的信息量就多。例如：一臺新機(jī)器，具有正常工作和發(fā)生事故兩種可能狀態(tài)。

正常工作概率為P（x1）=0.99，

發(fā)生故障概率為P（x2）=0.01。一旦發(fā)生故障，則是一件引人注目的事件。第12頁，課件共56頁，創(chuàng)作于2023年2月I（xi）與P（xi）有以下關(guān)系：

I（xi）是P（xi）的單調(diào)遞減函數(shù)；當(dāng)P（xi）=1時(shí)，I（xi）=0，必然事件信息量為零；當(dāng)P（xi）=0時(shí)，I（xi）=∞，不可能發(fā)生的事件發(fā)生了，信息量為無窮大；兩個(gè)獨(dú)立事件的聯(lián)合信息量，應(yīng)等于它們各自信息量之和。第13頁，課件共56頁，創(chuàng)作于2023年2月I（xi）與P（xi）關(guān)系用下圖表示：根據(jù)上述條件，I（xi）與P（xi）用下式表達(dá)：第14頁，課件共56頁，創(chuàng)作于2023年2月I（xi）代表兩種含義：

A.當(dāng)事件xi發(fā)生以前，表示事件xi發(fā)生的不確定性；B.當(dāng)事件xi發(fā)生以前，表示事件xi所含有的信息量。信息量單位取決于所取對數(shù)之底：以2為底，信息量單位為比特（bit），以e為底，信息量單位為奈特（nat），以10為底，信息量單位為哈特（Hart）。一般采用以2為底的對數(shù)，當(dāng)P（xi）=1/2，I（xi）=1比特。

第15頁，課件共56頁，創(chuàng)作于2023年2月熵---新的世界觀

地球是一個(gè)封閉系統(tǒng)，其能源、資源和容積有限，人類會的發(fā)展增長必然有一個(gè)極限。第16頁，課件共56頁，創(chuàng)作于2023年2月熱力學(xué)定律熵的概念是從熱力學(xué)引導(dǎo)出來的。熱力學(xué)第0定律：溫度與熱平衡。1709年荷蘭G。D。Fahrenheit建立華氏溫標(biāo)，1742年瑞典天文學(xué)家A。Celsius建立攝氏溫標(biāo)，熱力學(xué)第一定律(能量守恒定律)：能量是守恒的、不滅的，只能從一種形式轉(zhuǎn)變成另一種形式。從而否認(rèn)了第一類“永動機(jī)”。物理學(xué)家焦耳經(jīng)30年的研究，于1848年提出。第17頁，課件共56頁，創(chuàng)作于2023年2月熱力學(xué)定律熱力學(xué)第二定律（熵增加原理）：研究熱效率，否認(rèn)了第二類“永動機(jī)”（即認(rèn)為能量是取之不竭的）。1850年科學(xué)家克勞休斯/1851年科學(xué)家開爾芬提出。熱力學(xué)第三定律：絕對溫度0K不可達(dá)定理，即稱能斯脫定理。1906年科學(xué)家能斯脫提出。如果一個(gè)系統(tǒng)的溫度趨近于絕對溫度0K時(shí)，其熵趨于0，且不隨時(shí)間而變化，即有：實(shí)驗(yàn)證明：是不能達(dá)到的，因此，上式也不可能實(shí)現(xiàn)。第18頁，課件共56頁，創(chuàng)作于2023年2月熵（Entropy）熵的定義： 在一個(gè)熱力體系中，熱能的利用是與環(huán)境溫度有關(guān)的。蒸汽雖然有熱能，但如果周圍的環(huán)境溫度與蒸汽一樣，則蒸汽的熱能就無法利用。如果周圍溫度略為降低，則一部分蒸汽的熱能就可變?yōu)楣Γ杂幸徊糠植荒芾?。不論在任何熱力體系中，這種不能利用的熱能可以用熱能除以溫度所得的商來量度它，這個(gè)商就定義為熵。第19頁，課件共56頁，創(chuàng)作于2023年2月熵的特性物理學(xué)家R.Clausius提出了熱熵的概念，它是熱系統(tǒng)的一個(gè)狀態(tài)函數(shù)，反映狀態(tài)的多樣性和不可期望性的程度。在熱力學(xué)中，“熵是能量轉(zhuǎn)變?yōu)橛杏霉Φ哪芰慷嗌俚牧慷取备鶕?jù)物理學(xué)原理，自然界具有三種平衡：力學(xué)平衡熱平衡化學(xué)平衡 一個(gè)系統(tǒng)愈接近平衡，則可用于作功的能量就愈少。因此，一個(gè)系統(tǒng)的熵愈大，不能作功的能量就愈多，能量的品質(zhì)就愈差。第20頁，課件共56頁，創(chuàng)作于2023年2月熵的特性能量只能不可逆轉(zhuǎn)地沿著一個(gè)方向轉(zhuǎn)化，即從對人類來說是可利用的到不可利用的狀態(tài)，從有效的到無效的狀態(tài)轉(zhuǎn)化。用加爾文的話說：這種無效能量已從人們那里不可挽回地失去了，盡管它并沒有消滅。熵就是這種不能再被轉(zhuǎn)化作功的能量的總和，即熵是無效能量（無序狀態(tài)）的總和，熵的增加就意味著有效能量的減少。在一個(gè)封閉的系統(tǒng)里，所有能量是從有序狀態(tài)到無序狀態(tài)轉(zhuǎn)化，物質(zhì)的熵最終將達(dá)到最大值。當(dāng)熵處于最小值時(shí)，能量集中程度最高，有效能量最大，系統(tǒng)處于最有序狀態(tài)；反之，熵為最大時(shí)，有效能量完全耗盡，也就是混亂度最大的狀態(tài)。所以熱力學(xué)第二定律也稱之為熵定律。熵定律是自然界一切定律中的最高定律。第21頁，課件共56頁，創(chuàng)作于2023年2月熱寂學(xué)說與大爆炸--地球的起源與毀滅熵定律不僅適于地球，也適于整個(gè)宇宙。這與赫爾姆霍茨的熱寂學(xué)說是一致的。他認(rèn)為整個(gè)宇宙是一個(gè)密集能源的大爆炸開始的。當(dāng)這個(gè)稠密能源向外膨脹時(shí)，它的膨脹速度逐漸減慢，從而形成了銀河系、恒星、行星和地球。能源也漸漸失去原來的次序，最后達(dá)到最大熵，即熱寂的最終熱平衡狀態(tài)，一切能量差別趨于零，所有能量已消耗一空，處于永恒的死寂。大爆炸學(xué)說與熵定律是一致的。第22頁，課件共56頁，創(chuàng)作于2023年2月熵與時(shí)間熵是時(shí)光之箭，熵定律與時(shí)間的概念也是一致的：熵不能減少，時(shí)間也不能倒流。時(shí)間推延的過程就是熵增加的過程，我們無法逆轉(zhuǎn)時(shí)間和熵的過程，熵定律展示了時(shí)間的方向。人們的意識與時(shí)間、生命和熵是緊密聯(lián)系的。宇宙達(dá)到熱寂的平衡狀態(tài)，任何事情也不會發(fā)生，時(shí)間也就不復(fù)存在了。第23頁，課件共56頁，創(chuàng)作于2023年2月熵與生命有機(jī)體的生長都伴隨宇宙總熵的遞增?？茖W(xué)家們認(rèn)識到收集信息和儲存知識都要花費(fèi)能量，因此也是熵增加的過程。從本能、直覺、理智到抽象思維，人類思想都愈來愈復(fù)雜、集中、抽象。而且信息越多，反而更加糊涂。心理學(xué)家稱之為“信息超載”。事實(shí)上能源和物資是一項(xiàng)資本，它不是人們生產(chǎn)出來的，而是地球所賦予的，是不可替代的有限資本。因此，世界非再生能源和物資的消耗正在使熵提高到一個(gè)危險(xiǎn)的水平。第24頁，課件共56頁，創(chuàng)作于2023年2月信息熵發(fā)展歷程信息論的創(chuàng)始人香農(nóng)（C.E.Shannom）1948年發(fā)表的“通信的數(shù)學(xué)理論”中提出信息論并提出信息熵(entropy)—香農(nóng)熵和互信息（mutyalinformation）的概念，奠定了信息論基礎(chǔ)。具有劃時(shí)代意義。漢明（R.W.Hamming）提出：信息論------信道編碼構(gòu)造理論E.T.Jaynes1957年提出最大熵原理S.K.Kullback1959年提出并為J.S.Shore等人1980年發(fā)展的鑒別信息及最小鑒別信息(discriminationinformation)原理理論第25頁，課件共56頁，創(chuàng)作于2023年2月信息熵發(fā)展歷程蘇聯(lián)學(xué)者A.N.Kolmogorov1958年指出“熵”相等是動力系統(tǒng)同構(gòu)的必要條件，開辟了遍歷理論，即動力系統(tǒng)的熵及其在同構(gòu)中的應(yīng)用。并提出ε熵，解決了連續(xù)變量下熵的定義問題。1965年提出信息量度定義的三種方法：概率法，組合法，計(jì)算法1968年提出算法信息理論Renyi1961年提出α熵概念J.Havrda1967年提出β熵概念S.Arimoto1971年提出γ熵概念S.Guiasu1977年提出加權(quán)熵概念C.Ferreri1980年提出次熵E.T.Jaynes1957年提出的最大熵原理是信號處理的一個(gè)重要方法。最大熵譜估計(jì)標(biāo)志著熵已開始取代其它信號處理方法。20世紀(jì)80年代又提出交叉熵的概念，用于信號處理。第26頁，課件共56頁，創(chuàng)作于2023年2月信息熵發(fā)展歷程信息量度已系統(tǒng)地發(fā)展成為信息處理的一種準(zhǔn)則，并在信息技術(shù)領(lǐng)域逐步取代功率的最小均方誤差準(zhǔn)則。信息論已成為信號與信息處理的基本理論。信息論已廣泛應(yīng)用于各科學(xué)領(lǐng)域，測試領(lǐng)域也不例外。第27頁，課件共56頁，創(chuàng)作于2023年2月信息熵的計(jì)算

Shannon定義自信息的數(shù)學(xué)期望為信息熵，即信源的平均信息量第28頁，課件共56頁，創(chuàng)作于2023年2月熵的單位是[bit/事件]。

不同信源，其統(tǒng)計(jì)特性不同，熵也不同。

第29頁，課件共56頁，創(chuàng)作于2023年2月信息熵分別為：

第30頁，課件共56頁，創(chuàng)作于2023年2月信息熵的特性（性質(zhì)）：

⒈

對稱性當(dāng)概率空間P（x1），P（x2）…順序任意互換時(shí)，熵函數(shù)值不變。⒉

確定性如果信源的輸出只有一個(gè)狀態(tài)是必然的，即P（x1）=1，P（x2）=P（x3）=…=0，則信源的熵⒊

非負(fù)性即

H（X）≥0因?yàn)椋?<P（xi）<1，所取對數(shù)的底大于1，logP（xi）<0，-P（xi）logP（xi）>0，即熵為正值。第31頁，課件共56頁，創(chuàng)作于2023年2月⒋可加性統(tǒng)計(jì)獨(dú)立信號源X和Y的聯(lián)合信號源的熵等于它們各自的熵之和。⒌極值性信號源各個(gè)狀態(tài)為等概率分部時(shí)，熵值最大，并等于信源輸出符號（狀態(tài)）數(shù)。即第32頁，課件共56頁，創(chuàng)作于2023年2月第33頁，課件共56頁，創(chuàng)作于2023年2月第34頁，課件共56頁，創(chuàng)作于2023年2月連續(xù)信源及最大熵定理

連續(xù)信源的數(shù)學(xué)模型為連續(xù)型的概率空間。P（x）是隨機(jī)變量x的概率密度函數(shù)。第35頁，課件共56頁，創(chuàng)作于2023年2月連續(xù)信源的熵為：

該熵又稱為相對熵或差熵。第36頁，課件共56頁，創(chuàng)作于2023年2月最大熵定理

在連續(xù)信源中，當(dāng)各約束條件不同時(shí)，信源的最大相對熵值不同。峰值功率受限條件下信源的最大熵

第37頁，課件共56頁，創(chuàng)作于2023年2月概率密度

第38頁，課件共56頁，創(chuàng)作于2023年2月平均功率受限條件下信源的最大熵

若一個(gè)信源輸出的平均功率有限，則其輸出信號的概率密度分布是高斯分布時(shí)，信源有最大熵。一維隨機(jī)變量x的概率密度分布為：第39頁，課件共56頁，創(chuàng)作于2023年2月M是x的均值，σ2是x的方差。該連續(xù)信源的熵

正態(tài)分布的連續(xù)信源的熵與數(shù)學(xué)期望m無關(guān)，只與方差σ2有關(guān)。第40頁，課件共56頁，創(chuàng)作于2023年2月N維：

式中：第41頁，課件共56頁，創(chuàng)作于2023年2月信息與熵的守恒定律

熵描述了系統(tǒng)的不確定性程度，而信息則是消除了系統(tǒng)不確定性而得到的東西。一個(gè)體系的信息與熵的和保持恒定，并等于該體系在給定條件下所能達(dá)到的最多信息或最大熵。數(shù)學(xué)表達(dá)式為:第42頁，課件共56頁，創(chuàng)作于2023年2月式中：I——

對系統(tǒng)觀測后所獲得的信息；Hmax

——

系統(tǒng)的原始熵；H——

觀測以后系統(tǒng)仍具有不確定性所具有的熵。第43頁，課件共56頁，創(chuàng)作于2023年2月測量信息論原理

測量的目的是為了獲得被測對象的信息，確定被測量的量值。因此，測量系統(tǒng)也就是一個(gè)信息系統(tǒng)。從信息的角度來看，測量系統(tǒng)的作用是傳輸信息，以消除觀察者對被測量的不確定性；第44頁，課件共56頁，創(chuàng)作于2023年2月關(guān)于測量誤差的分析與處理，在前面我們是以概率論為基礎(chǔ)進(jìn)行的。然而，信息的概念比概率更為基本，信息方法比傳統(tǒng)數(shù)理統(tǒng)計(jì)方法的應(yīng)用更為廣泛。尤其在誤差概率估計(jì)、數(shù)據(jù)處理和參數(shù)估計(jì)等分析中，測量信息論具有更強(qiáng)的能力。第45頁，課件共56頁，創(chuàng)作于2023年2月用測量信息論來處理測量誤差，主要研究以下問題：測量信息系統(tǒng)的模型；測量信息的量度；最大信息熵原理及其誤差概率估計(jì)；利用誤差熵來計(jì)算測量不確定度等。第46頁，課件共56頁，創(chuàng)作于2023年2月測試系統(tǒng)的基本模型

系統(tǒng)的輸入是被測量A，輸出是經(jīng)測量系統(tǒng)所得的測量值X。第47頁，課件共56頁，創(chuàng)作于2023年2月信息測量的過程信息測量的過程就是將被測信息從無限多個(gè)物理復(fù)雜過程的集合中分離出來的過程。因此，必須去除多余信息：初始信息形成，全部物理信息；（物理連接）信息結(jié)構(gòu)綜合，濾除無關(guān)物理信息；（傳感器）信息語義綜合，提取有價(jià)值的信息，實(shí)現(xiàn)信息測量；（測量原理）信息統(tǒng)計(jì)綜合，利用信息隨機(jī)特性的計(jì)算，減少信息的隨機(jī)誤差；（信息熵）信息密度逐漸減少第48頁，課件共56頁，創(chuàng)作于2023年2月條件熵

由于被測量A是離散隨機(jī)變量，所以，測量值X也是隨機(jī)變量：x1,x2,…xn。由于任何一次測量都會有測量誤差，即測量的不確定性，因此，測量到一個(gè)測量值后，被測量值與測量值兩個(gè)隨機(jī)變量之間的不確定性，可用條件熵來表示：第49頁，課件共56頁，創(chuàng)作于2023年2月條件熵表示兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)依賴關(guān)系，即H（A/X）表示已知X時(shí)，A的不確定性；H（X/A）表示已知A時(shí)，X的不確定性。第50頁，課件共56頁，創(chuàng)作于2023年2月測量信息量

測量信息量等于測量A的信息熵H（A）減去條件熵H（A/X），它等于從測量值X中提取的關(guān)于被測量A的信息量，故測量信息量可表示為：第51頁，課件共56頁，創(chuàng)作于2023年2月如果沒有測量誤差，測量值就等于被測值，即P（