模糊集合與模糊信息熵課程設(shè)計(jì)

1、模糊集合與模糊信息熵1948年，信息論的創(chuàng)始人Shannon發(fā)表了通信的數(shù)學(xué)理論，研究了通信系統(tǒng)，用概率方法開辟了對(duì)信息的了解和研究。21世紀(jì)的社會(huì)是一個(gè)信息大爆炸的社會(huì)，我們的身邊有著各種各樣的信息，人們對(duì)于如何有效處理這些信息的渴望促進(jìn)了信息論的發(fā)展。在信息科學(xué)發(fā)展中，模糊信息理論是一個(gè)迅速發(fā)展的信息科學(xué)的分支，它與Shannon信息論有著很大的差別，是一種基于模糊集理論的信息科學(xué)，在通信，計(jì)算機(jī)，聲吶，雷達(dá)，導(dǎo)航，制導(dǎo)，空間測(cè)控等各種電子系統(tǒng)中，模糊信息的提取，處理和利用占有極為重要的地位。本文詳細(xì)介紹了模糊信息與模糊信息熵的概念，在了解熵的發(fā)展歷程和深刻認(rèn)識(shí)模糊信息概念的基礎(chǔ)上，研究模

2、糊集合與模糊信息熵的基本性質(zhì)，并利用模糊熵的性質(zhì)解決了一些問題。一信息的概念信息是指反應(yīng)客觀世界中各種事物的特征和變化的組合，是一種有用的組合。信息具有普遍性，傳遞性，識(shí)別性，轉(zhuǎn)換性，存儲(chǔ)，再生，共享性，價(jià)值性，時(shí)效性等性質(zhì)。二模糊性指客觀事物的差異在中介過渡時(shí)呈現(xiàn)的“異此異彼”性模糊性就是無(wú)法確定其界限的性質(zhì)，事件本身的含義就是不明確的，但事件發(fā)生與否是明確的。例：“老張的病不輕”，老張有病是明確的，但老張病重到何種程度是不明確的。模糊概念：無(wú)明確的外延的概念，可以用集合來描述（即集合可以表示概念，一個(gè)概念有其外延和內(nèi)涵，內(nèi)涵指的是符合此概念的對(duì)象所具有的共同屬性，外延指的是符合此概念的那些

3、對(duì)象的全體）模糊理論不對(duì)事物做簡(jiǎn)單的肯定與否定，而是用隸屬度來反應(yīng)某一事物屬于某范疇的程度，用這種方法來表示客觀事物存在的模糊性。例：關(guān)于人，“年輕”的這個(gè)概念。究竟多大年齡以下為“年輕”，這個(gè)標(biāo)準(zhǔn)是以每個(gè)人的主觀感覺為依據(jù)的，很難劃定。我們不妨把年輕到什么程度的問題，用01之間的數(shù)來表示，如1540歲分別表示成：15-1.0,20-0.9,25-0.8,30-0.6,35-0.4,40-0.2.這就是一個(gè)模糊集合，由于這些程度是構(gòu)成該集合的元素，因此使它們對(duì)應(yīng)起來的函數(shù)就稱之為隸屬度函數(shù)。（可見模糊性的東西本身是沒有明確的界限）三模糊信息與事物的模糊性想聯(lián)系的信息稱之為模糊信息。也可以說，模

4、糊信息是以模糊狀態(tài)顯現(xiàn)出的一種表現(xiàn)形式。模糊信息論與香農(nóng)信息論同屬于語(yǔ)法信息（將事物形式因素的信息部分稱為“語(yǔ)法信息”）的研究領(lǐng)域，但有著不同的研究對(duì)象，不同的研究工具，不同的應(yīng)用環(huán)境和不同的研究目標(biāo)。四模糊信息與模糊集合定義4.1（集合）：給定論域X和給定的某一性質(zhì)P,X中具有性質(zhì)P的元素所組成的總體，叫做集合，簡(jiǎn)稱為集?？捎窒率奖硎荆篈x|p(x)(4.1)式中的p(x)為“x具有性質(zhì)p”的縮寫。設(shè)A是論域X上的集合，記RA(x)=1xeA0 x電A(4-2)為集合A的特征函數(shù)。對(duì)任一x都有唯一確定的特征函數(shù)卩A(x)e01與之對(duì)應(yīng)這種對(duì)應(yīng)的關(guān)系成為映射。即R(x):XT0,1A(4.3)

5、集合A可由R(x)來確定：A定義4.2(特征空間)：A=xIR(x)=1A(4.4)設(shè)論域?yàn)閄，xeX，稱X為對(duì)象空間，x的n個(gè)特性用特征矢量(p,p，,p)表TOC o 1-5 h z12n示。(p，p，p)所有可能的取值的集合，稱為特征空間。12n定義4.3(隸屬度函數(shù))卩(x):AX中的一個(gè)模糊集合A1由隸屬度函數(shù)卩(x=(p,p，p)，x具有性質(zhì)A12n(p,p，,p)來描述。它是一個(gè)定義在對(duì)象空間X上的特性空間到區(qū)間0,1的函數(shù)變換12n(映射)。卩(x=(p,p，p)在x點(diǎn)的數(shù)值表示x在A中的隸屬度A12n=0稱為x對(duì)A無(wú)隸屬度；1RA(x)=1稱為x對(duì)A有滿隸屬度；(4.5)11

6、T1稱為X對(duì)A有較高隸屬度。1定義4.4(模糊集合):令X是一個(gè)點(diǎn)(對(duì)象)集合，X是A中的一個(gè)元素，令p,p，p是x的n個(gè)感興12n趣的特性，那么一個(gè)x中的模糊集合A為A二(x,R(x二(p,p，p)IxeA,R(x二(p,p，p)為隸屬度函數(shù)A12nA12n也即論域X上的模糊集合A由隸屬度函數(shù)巴(x)來表征。其中，巴(x)在實(shí)軸的閉區(qū)間0，1取值，巴(x)的值反應(yīng)了x中的元素x對(duì)于A的隸屬程度。性質(zhì)4.1：A,B如對(duì)VxeX，均有卩(x)二卩(x)(4.6)AB則稱A和B相等，記為A=B。性質(zhì)4.2：A,B如對(duì)VxeX，均有卩(x)0為A的支集A與B的交集記做ADB，對(duì)VxeX，均有卩(x)

7、=卩(x)D卩(x)=min(卩(x),卩(x)(4.8)TOC o 1-5 h zADBABbABA與B的并集記做AUB，對(duì)VxeX，均有卩(x)=卩(x)U卩(x)=max(卩(x),卩(x)(4.9)AUBABbABA的補(bǔ)集記做Ac，對(duì)VxeX，均有卩(x)=1卩(x)(4.10)AcA性質(zhì)4.5：模糊集運(yùn)算的基本定律，設(shè)為論域，為中的任意模糊子集，下列等式成立冪等律：ADA=A,AUA=A結(jié)合律：AD(BDC)=(ADB)DCAU(BUC)=(AUB)UC交換律：ADB=BDA,AUB=BUAAD(BUC)=(ADB)U(ADC)分配律：分配律：AU(BDC)=(AUB)D(AUC)同

8、一律：AP0=A,AU二A零一律：an二,au0=0吸收律：An(AUB)=A,AU(AnB)=A得摩根律：(AnB)c=ACUBc(AUB)c=AcnBc雙重否定律：(Ac)c=A性質(zhì)4.6：設(shè)A,BgF(x)A與B的代數(shù)積，記做AB(4.11)卩(x)=卩(x)卩(x)TOC o 1-5 h zABABA與B的代數(shù)和，記做A+B卩(x)=p(x)+p(x)-卩(x)卩(x)(4.12)(A+B)ABABA與B的有界積，記做AB(4.13)卩(x)=max(0,卩(x)+p(x)-1)(AB)ABA與B的有界和，記做AB(4.14)卩(x)=min(1，卩(x)+y(x)(AB)AB性質(zhì)4.

9、7：模糊集A,B,C的有界運(yùn)算具有如下性質(zhì)：結(jié)合律：(AB)C=A(BC)(AB)C=A(BC)交換律：AB=BA,AB=BA得摩根律：(AB)c=AcBc(AB)c=AcBc同一律：A0=A,A=A，零一律：AO=O,A0=0互補(bǔ)律：AAc=O,AAc=0模糊集與普通集合，即分明集不同，由于不能以取值0或1來決定所考慮的元素是否屬于該集合而體現(xiàn)出了不確定性，這種不確定性在迷糊數(shù)學(xué)中就是模糊性。五熵的概念以及發(fā)展歷程德國(guó)物理學(xué)家克勞修斯(R.Clausius)在19世紀(jì)60年代把熵作為熱力學(xué)的一個(gè)概念而提出。之所以要提出熵概念，是由于熱力學(xué)第一定律(能量守恒與轉(zhuǎn)化定律)不足以描述自然界的能流變

10、化規(guī)律，因而需要一個(gè)描述轉(zhuǎn)化的量和轉(zhuǎn)化的概念，這就是熵。熵可以表示一個(gè)物質(zhì)系統(tǒng)中能量衰竭程度，是用以判別自發(fā)過程的一個(gè)狀態(tài)函數(shù)?？藙谛匏轨兀鲮卦?熱力學(xué)第二定律)：系統(tǒng)的熵只能從低到高，而且絕不會(huì)向相反的方向進(jìn)行。玻爾茲曼熵：熵是系統(tǒng)在某一熱力學(xué)狀態(tài)下分子運(yùn)動(dòng)混亂程度大小的一種度量。申農(nóng)熵(信息熵)：表達(dá)了關(guān)于事物不確定性的數(shù)學(xué)度量。信息熵雖是源于熱力學(xué)及統(tǒng)計(jì)力學(xué)熵，而又有所異化了的熵。熵既是狀態(tài)量又是遷移量，而從本質(zhì)上來說卻是透過狀態(tài)(不確定性，混亂等)代表的一種非永恒，非平衡，非實(shí)體的思想觀念。六模糊信息熵DeLuca與Trmini以模糊集理論的形式定義了一種非概率熵，這種熵是所考慮狀

11、態(tài)不確定的整體度量，可看成為與隨機(jī)試驗(yàn)無(wú)關(guān)的信息的度量，這種熵在不確定性主要來自內(nèi)部而不是統(tǒng)計(jì)上的情形是有用處的。因此它給出了狀態(tài)模糊程度的一種度量，它也可被看成在作出決策時(shí)受到的一種平均內(nèi)在信息。對(duì)模糊集的模糊程度的數(shù)量化是模糊集理論的一個(gè)重要方面。一般模糊性的度量稱為模糊熵，它是一個(gè)映射E(X):FS(x)TR+(6.1)S式中：FS(x)為有限離散論域X上的所有模糊子集的集合。s模糊熵都應(yīng)滿足以下的四條公理。其中卩(X)為模糊集A的隸屬函數(shù)，VxgXAP:E(A)=0o卩(x)=0或11AP:E(A)取最大值o卩(x)=1/22AP:如果AYB,則H(A)yH(B),其中“AyB”表示A

12、比B峰化3卩(X)(X)，若卩(X)(x),若卩(X)1/2ABBP:E(A)=E(Ac),其中Ac為A的補(bǔ)集4P表明任何分明集不存在模糊性，所以它的模糊熵為零；P表明在FS(X)中僅有一個(gè)12S模糊集具有最大程度的模糊性：P說明若A峰化則意味著它的模糊性減少了；P表明模糊34集A與它的補(bǔ)集具有相同的模糊性。Zadeh最先提出了度量迷糊不確定性的設(shè)想，這種方法是與概率聯(lián)系在一起的，設(shè)x(i=1,2,n)出現(xiàn)的概率是p，貝IiiE(A)=-r(x)plogp(6.2)Aiiii=1不滿足PP，從形式上看，它僅是加權(quán)Shannon熵。14在不參照概率的條件下，DeLuca與Trmini給出了迷糊性

13、的度量E(A)=一K工卩(x)log卩(x)+1卩(x)loglp(x)(6.3)AAAAx式中：K為歸一化因子。滿足pp14Hgashi與Klir提出一種觀點(diǎn)。以模糊集A與它的補(bǔ)集之間Ac的差異的缺少程度來度量其模糊性。顯然，模糊集A和它的補(bǔ)集Ac之間的差異程度越小，則該集合越模糊。設(shè)d為一般的距離度量，則A的熵被定義為E(A)二d(B,Be)d(A,Ac)d式中：B為論域X內(nèi)的任意一個(gè)分明子集，選擇它的原則是使得d(B,Be)可能是FS(X)S中與補(bǔ)集c運(yùn)算有關(guān)的最大的距離。N.R.Pal與S.K.Pal.以指數(shù)形式導(dǎo)出了另一類模糊熵定義：E(A)二K卩(x)exp卩(x)+1(x)exp

14、1卩(x)AiAiAiAii=1式中K為常數(shù)。(6.4)滿足PP14(APB)工count(A)(6.5)設(shè)A,BeFS(APB)工count(A)(6.5)S(B,A)/S(A,B)=(工count(APB)/工count(B)/(工count或工count(A)/工count(B)=S(B,A)/S(A,B)(6.6)這里S(A,B)表示集合A屬于集合B的程度，或A處于B中子集的程度，亦稱為B對(duì)A的模糊(AP(APB)/工count(A)(6.7)S(A,B)=Degree(AuB)=工count其中工count(A)=xy(x)(6.8)A兩邊取對(duì)數(shù)得：In(工count(A)/工cou

15、nt(B)=In(S(B,A)/S(A,B)(6.9)S(B,A)/S(A,B)可看成模糊似然比。隨著兩個(gè)模糊信息A和B之間的子集度的減少，式中的比率將趨近于1。所以式中的右邊可被解釋為鑒別所需的信息量，這種鑒別有利于A而不有利于B。讓卩()和卩()分別是A和B的隸屬度函數(shù)，那么，從式中可以推出：ln(工卩(x)/工卩(x)=ln(S(B,A)/S(A,B)(6.10)AiBiii對(duì)某個(gè)x，i=1,2,n,為鑒別所需要的信息量為iI(A,B:x)=ln(y(x)/y(x)(6.11)1iAiBi因此，有利于A而不有利于B,為了鑒別所需要的模糊期望信息是：I(A,B)=Sy(x)ln(卩(x)/

16、卩(x)(6.12)1AiAiBii類似的，在Bc中鑒定Ac所需要的模糊信息期望是:cI(A,Bc)=E1-y(x)ln(1-y(x)/(1-y(x)1AiAiBii模糊偏熵與模糊關(guān)聯(lián)熵定義6.1:設(shè)A,BeFS(X),則A關(guān)于B的偏熵定義為SE(A)=Xy(x)ln卩(x)+1卩(x)lnl卩(x)(6.14)BBiAiBiAii=1式中B稱為基準(zhǔn)模糊集。在此定義中，按慣例規(guī)定OlnO=0,InO=-g。與模糊集的熵定義相類似，偏熵E(A)也是模糊集A的不確定性程度的一種度量。B性質(zhì)6.(1非負(fù)性)：E(A)0,VA,BeFS(X)BSE(A)(nln2)E(B),E(B)nln2E(A),

17、VA,BeFS(X)TOC o 1-5 h zBASE(Ac.)=E(A)=E(AAAc)=E(AUAc),VAeFS(X),其中Ac為A的補(bǔ)。A1AcAUAcAAAcSE(Ac)=E(A)，其中Ac，Bc分別是A,B的補(bǔ)。BcB性質(zhì)6.(2可加性)：E(AUB)+E(AAB)=E(A)+E(B)(6.15)CCCC定義6.2：對(duì)于給定的模糊集A，當(dāng)基準(zhǔn)模糊集B變化時(shí)，有-丫lnmax卩(x),1一卩(x)E(A)OE(A;B)nln2E(A)+E(B),當(dāng)且僅當(dāng)A=B時(shí)，E(A;B)=nln2E(A)+E(B)E(AUB;AAB)=E(A;B),VA,BeFS(X)SE(AUB;C)0，VA

18、,BeFS(X)S性質(zhì)6.4：VA.BeFS(X),0p(B),p(A),p(A;B)(x),X-二x/xeX,卩(x)Y卩(x)ABAB以上式給定的模糊熵定義為例，來研究?jī)蓚€(gè)模糊熵之間的熵關(guān)系。雖然在下面借用了Shannon熵的提法，但從概念上是完全不同的定義6.4：設(shè)A,BeFSs(X),則它們之間的聯(lián)合熵被定義為：TOC o 1-5 h zE(AUB)=-K工卩(x)v(x)log卩(x)v(x)AiBiAiBixeX+1卩(x)vy(x)logl卩(x)vy(x)(6.21)AiBiAiBiEV(x)log卩(x)+卩(x)log卩(x)+1卩(x)log1卩(x)+乙:B/B、/a1

19、(6.22)AiAAA1卩(x)10g1-R(x)xeX+xeXBiBi定義6.5：給定B下A的條件熵以及給定A下B的條件熵分別定義為E(A/B)=KY卩(x)log卩(x)一卩(x)log卩(x)AABBxeX+1-卩(x)10g1-卩(x)-1-卩(x)log1-卩(x)AABBE(B/A)二-K工卩(x)log卩(x)-卩(x)log卩(x)(6.24)BBAAxeX-+1-卩(x)logl-卩(x)-1-卩(x)logl-卩(x)BBAA性質(zhì)6.6：E(A/B)E(A),E(B/A)E(B)(6.25)性質(zhì)6.7：E(AUB)二E(A)+E(B)-E(AAB)(6.26)定義6.6：稱E(AAB)=E(A)-E(A/B)=E(B)-E(B/A)=E(BAA)為模糊集A與B的模糊交互熵模糊交互熵E(AAB)或E(AUB)度量了模糊集與所共有的模糊信息，在某種程度上描述了它們之間的相似性。在已知B下的A模糊不確定性，小于A本身的模糊不確定性，也就是說，A所包含的模糊信息量在B確知的條件下減少了。這種減少量是絕對(duì)減少量，下面將定義模糊信息的相對(duì)減少量。定義6.7設(shè)模糊集A和B定義在論域上，則分別稱T(A,B)=E(A)-E(A/B)/E(A)=1-