原創(chuàng)用馮向軍知覺模型實現(xiàn)HARTLEY信息

1、原創(chuàng)用用馮向軍知知覺模型實實現(xiàn)HARRTLEYY信息、香香儂信息、復雜度信信息、本質質信息、KKULLBBACK相相對信息、魚罩子廣廣義信息、觀控隸屬屬度、觀控控隸屬域的的超大統(tǒng)一一(待續(xù))馮向軍2006/01/229 于 美國(甲)信息最終要要被信息接接受者所反反映。這就就是為什么么馮向軍要要在WEBBER-FFECHNNER的基基礎上建立起更一一般的知覺覺模型deltaaS = a(deeltaOOS/ OOS) + b(ddeltaaOS) (1)這其中a、b為待待定常數。OS為某種種客觀的刺刺激；deltaaS 為因因客觀刺激激的變化而而引發(fā)的感感官變化；a(delltaOSS/ OS

2、S) 是因因客觀刺激激的相對變變化而引發(fā)發(fā)的感官變變化；deltaaOS是因因客觀刺激激的絕對變變化(或相對于于某種不變變的客觀標標準的變化化)而引發(fā)的的感官變化化；通過這些日日子的討論論，我已逐逐步展示確確實可以用用上述模型型來實現(xiàn)HHARTLLEY信息息、香儂信信息、復雜雜度信息、本質信息息、KULLLBACCK相對信信息、魚罩罩子廣義信信息、觀控控隸屬度、觀控隸屬屬域的超大大統(tǒng)一。(乙)(一)我們從WEEBER-FECHHNER對對數律推導導出廣義的的相對信息息的一種一一般形式，從從馮向軍的的知覺模型得到到了更一般般的形式.現(xiàn)在再把視視野稍微擴擴展一點。把U視為刻劃劃與信息有有關的不確定

3、性性，復雜性性，可區(qū)分性的某種種參數.我們誠懇地地認為，幾幾乎所有比比較流行的的信息測度度模式均可可歸于如下下方程、定定律、模型(A)RI = log22 (U/Ub) (1-11)(廣義相對對信息的一一種一般形形式)(B)REs = p1* logg2(U11/Ub) + pp2* llog2(U2/UUb) +.+ pn* logg2(Unn/Ub) (2-1)(具有單獨獨可變門檻檻Ub的廣義義相對熵。)REm = p1* logg2(U11/Ub11) + p2* log22(U2/Ub2) + ppn* llog2(Un/UUbn) (3-11)(具有多種種可變門檻檻的廣義相相對熵。)

4、(C)WEBERR-FECCHNERR對數律deltaa S = a(ddeltaaU/U) (4-1)(D)馮向軍的知知覺模型deltaa S = a(ddeltaaU/U) + bb(delltaU) (5-1)這其中 UU為描述與與信息密切切相關的不確定性性，復雜性性，可區(qū)分分性的某種參參數，Ub, Ub11,Ub22,Ubn為為這種參數數的可控達達門檻。p1, pp2, pnn是一概率率分布，p1 + p2 +.+pn =1(二)現(xiàn)舉例說明明。當 U 為為 1/pp, 而p為符號的的概率， Ub = 1/mmax(pp) =11，按(1-1)我們們就有RI = log22 (1/p)

5、(1-2)這RI就是是漢明先生生給出的信信息的工程程定義。當 U 為為 張學文玻玻爾茲曼狀狀態(tài)數W，而Ub = miin(W) =1， 按(1-11)我們就就有RI = log22 (W) (2-2)這RI就是是張學文廣廣義集合的的一種很好好的復雜度度。當 U = 1/NN， 而N為N種可能性性， Ubb = 11/minn(N) = 1，按按(1-11)我們就有有RI = log22 (N) (3-2)這RI就是是HARTTLEY信信息。當 Ui = 1/pi, pi 為為符號i的概率， i = 1，2， , nUb = 1/maax(p) = 11, 按 (2-1)式就就有REs = -p

6、11log22 (p11) -pp2logg2(p22) -ppnlogg2(pnn) (44-2)這REs就就是SHAANNONN信息熵。當 Ui = pii, pii 為符號號i的概率， i = 1，2， , nUb = 1/n, 按 (2-1)式就就有REs = logg2 (nn) - p11log22 (p11) -pp2logg2(p22) -ppnlogg2(pnn) (5-2)這REs就就是于宏義義先生的風風險熵，我我稱之為聚聚集熵。(表面兩者者矛盾，實實際上在不不同條件下下兩者在某某種程度上上相通。)當 Ubii = 11/pi, 而Ui =1/qii，qi是另一一概率分布布

7、，i = 1，2，.,n，按 (33-1)式式就有REm = p1llog(pp1/q11) +pp2logg(p2/q2) + pkklog(pk/qqk) (6-2)這REm就就是Kulllbacck-Leeibleer 相對對熵。當 U = 混淆概概率 Q(Aj/xxi), Ub= Q(Ajj), 按按(1-11)就有魚魚罩子廣義義互信息RI = I(xii, Ajj) = log22(Q(AAj/xii) /QQ(Aj) (77-2)當 U = 觀控隸隸屬域f(I)，Ub = 任意指指定的門檻檻隸屬域ffb，按 (11-1)就就有觀控互互信息GKI(xxi,I) = llog2( f(

8、II/xi)/fb ) (88-2)當pi = p(xxi/zkk), UUi =QQk(xii/zk), Ubbi =QQ(xi), 按 (3-1)就有有魚罩子廣廣義Kulllbacck公式REm = p(xx1/zkk)logg2 (QQ(x1/zk)/Q(x11) +p(x22/zk)log22 (Q(x2/zzk)/QQ(x2) +p(xn/zk)llog2 (Q(xxn/zkk)/Q(xn) (9-2)互信息不過過是對廣義義相對信息息RI求2次數學期期望而已。于宏義先生生的觀控隸隸屬度和我我的觀控隸隸屬域新公公式都能從從WEBEER-FCCHNERR感覺模型型和馮向軍的知覺覺模型推出

9、出. 我的本本質信息也也可以從馮馮向軍的知知覺模型推推導出來。 HYPERLINK /forum/ftopic3272-0-asc-60.html http:/wwww.qiiji.ccn/foorum/ftoppic32272-00-ascc-60.htmll附錄 信息息熵的基本本數學性質質 HYPERLINK /forum/ftopic3392.html httpp:/fforumm/ftoopic33392.htmll信息熵的基基本數學性性質的簡單單數學證明明 定理1.22.1 當當 正數 p 0, pp*logg(p) 00 證明： 將p*loog(p)寫成 loog(p)/(1/p)

10、, 當p0用 羅必塔法法則求導，即即有 log(p)/(1/p) ( 11/p)/(-1/p2) p00. 證畢畢。 定理1.22.2 對對于兩個事事件組成的的分布，若若其中一個個事件(符號)的概率為為p, 那么么信息熵 H = -pLOOG(p) -(11-p)LLOG(11-p), H取最最大值1比特，當當且僅當 p = 0.5。 當p0或1，H取最小值值0。其中LOOG表以2為底的對對數。 證明： 對于兩個個事件組成成的分布，當當其中一事事件的概率率為p, 則另一事事件的概率率為1-pp. 于 是按信息息熵H的定義 H = -p*LLOG (p)-(1-p)*LOGG (1-p) 考考慮

11、到不等等式 looge (x) 0均成成立，且等等號只在xx = 11成立，有有 H -11=H - LOGG(2) = p*LOG(1/p) + (1-p)*LOGG(1/(1-p) +(p +11-p)LLOG(11/2) =p*LLOG(11/(2pp) + (1-p)*LLOG(11/(2(1-p) =lOGG(e) p*( 1/(2p) -1) +(1-p)*(1/(22(1-pp) -1) =LOGG(e) 1/22 -p + 1/2 -(1-p) = lOG(e)11- p-1+p =0 所以 H 0, 按定理理1.2.1, HH=0; 當 p1,按定理1.2.1, H=00.

12、證畢 定理1.22.3 對對于任何 x 0, 恒恒有 looge (x) 0, 定義函數數 f = logee(x) -x +1 則有有 df /dx = 1/xx -1 令 df /dx = 0 則則有極值點點 x = 1 但是是，當 xx = 11時 二階導數數 d2 f / d2 x = -1/xx2 0 所所以 x = 1 是極大值值點。 有 f = logee(x) -x +1 = logge(1) -1 + 1 = 0 或 loge(x) = x - 1 且 等號僅在在 x = 1 時時成立。 證畢 定理 1.2.4 對于 滿足 x1+xx2+xqq =1; y1+y2+yyq=

13、11 的兩組組概率分布布 xi, i=1,2,q 以及 yi, i = 1,2,.,q 恒有有 x1*LLOG(yy1/x11) + x2*LLOG(yy2/x22) +xxq*LOOG(yqq/xq) =00 且等號號只在 yi = xi ( i = 1, 2, .,q)時成成立。 證明： 根據定理理1.2.3有 x1*LOOG(y11/x1) + xx2*LOOG(y22/x2) +xqq*LOGG(yq/xq) =00 且等號號只在 pi = qi ( i = 1, 2, .,k)時成成立。 證明： 根據定理理1.2.3有 p1*LLOG(pp1/q11) + p2*LLOG(pp2/q

14、22) +ppk*LOOG(pkk/qk) =-p1*LLOG(qq1/p11) + p2*LLOG(qq2/p22) +ppk*LOOG(qkk/pk) =- LLOG(ee) (q1+qq2+qkk) - ( p11+p2+.+pk) = -LOGG(e) 1 - 1 = 00 且 等號僅在在 pi = qi 時成立， i = 1, 22, , kk. 證畢畢。 定理1.22.6 對對于q個符號的的以比特為為單位的信信息熵H，恒有 H = LOGG(q) 其中等號號只能在qq個符號具具有等概率率分布才成成立。此時時 p1 = p2 = = 11/q, 其中pi為第i個符號的的信息，ii =

15、 11, 2, q。 證明 H -LOG(q) = -p11LOG(p1) -p2LLOG(pp2) -.-pqLOOG(pqq) - (p1 + p22 + +ppq)LOOG(q) =p11LOG(1/(pp1*q) +pp2LOGG(1/(p2*qq) +.+pqLOOG(1/(pq* q) = lOG(e)pp1( 11/(p11*q) -1) + p22(1/(p2*qq) -11) +ppq(1/(pq*q) -1) =lOGG(e)(1 -pp1-p22 -pqq) = (1-11) = 0 等號號當且僅當當 p1 = p2 = = ppq = 1/q 時成立。 證畢。 定理1.

16、22.7 信信息熵H給出了唯唯一可譯碼碼的平均碼碼長(L)的下限，或或 H = L。這這里等號只只有在二元元情況才成成立。 證明：要要證明上述述定理，就就要證明很很有意思的的Krafft不等式式： 一個具有有q個符號sii(i = 1, 2, q)，碼字長長為 L1 = L22 = . = LLq的即時時碼存在的的必要和充充分的條件件是 1/rL1 + 1/rrL2 + + 11/rLLq =1. 對對于最大碼碼長為1的即時碼碼，可以用用最大長度度為1的即時樹樹來描述。我們有11條或兩條條 長度為1的支路。所以 對于1個符號的的情況有： 1/2 =1 而對于2個符號的的情況有： 1/2 +1/

17、22 =11。 所以對于于最大碼長長為1的即時碼碼Krafft不等式式成立。 假定Kraaft不等等式不等式式對所有長長度小于nn的樹皆成成立。 那么當樹樹的最大長長度為n時，第一一個節(jié)點引引出一對長長度不超過過n-1的子子樹，對于于子樹 我們有不不等式 K1 = 1 K2 = 1 但是當子子樹接入主主樹時所有有長度Lii均增加1。 所以在不不等式中就就增添了系系數1/22。 于是有 1/2(K1+KK2) = 1。 Krafft不等式式證畢。經典信息論論的一種關關于信息的的理解和信信息的工程程定義式 我一直認認同并采用用漢明碼發(fā)發(fā)明人漢明明(R. W. HHammiing) 對信息的的工程定

18、義義式。 漢明先生生說： 假定我們們有一個含含有q個符號 ss1, ss2,sqq的信源字字母表，每每個符號的的概率各為為 p(s11) = p1, p(s22) = p2, ., p(ssq) = pq. 當我們們接受其中中一個符號號時，我們們得到多少少信息呢？ 例如，若若p1=1(當然此時時所有其它它的pi = 0), 那么么收到它就就毫不“意外”。 所以沒有有信息，因因為我們知知道消息必必定是什么么。反之，若若這些概率率差異很大大，那么 在小概率率事件發(fā)生生時我們會會感到比較較意外，因因而我們獲獲得的信息息比大概率率事件發(fā)生生時獲得的的信息要多多。 所以信息息與事件發(fā)發(fā)生的概率率有點象反

19、反比例關系系。 我們還直直觀地感到到：“意外”是可加的的由兩兩個獨立符符號得到的的信息是分分別從各個個符號所得得信息和。由于復合合事件的概概率是兩個個獨立事件件概率的乘乘積，所以以很自然地地把信息量量定義為 I(sii) = log22(1/ppi) 這這樣就得到到如下的結結果： I(s11) + I(s22) = log22(1/(p1p22) =I(s11, s22) 此式式清楚地表表明如果概概率取積那那么信息量量就取和。所以這一一定義和我我們頭腦中中關于信息息應該是什什么的概念念大致吻合合。 這是根據據符號的概概率來建立立的一個工工程定義,而不是根根據這個符符號對人的的實際意義義來建立的

20、的定義。對對信息論一一知半解的的人在這一一點上認識識往往非常常模糊。他他們根本不不明確這是是一個純技技術定義。這一定義義僅抓住了了信息一詞詞在通常的的概念中所所包含的豐豐富內容的的一小部分分。 熵Hr就是這這個信息的的技術定義義下的平均均信息。 Hr = p1llogr(1/p11) +pp2loggr(1/p2) + + ppqloggr(1/pq) 其中r為對數的的底。 盡管我對對信息的本本質有自己己的看法，但但真正做信信息的科學學計算時，從從來就是用用漢明這一一套。 參考文文獻 1 R.WW. 漢明明，編碼和和信息理論論，朱雪龍龍譯，科學學出版社。19844 2 HYPERLINK /n

21、on/Forum2/HTML/003303.html htttp:/www.systtemscciencce.orrg/noon/Foorum22/HTMML/00033033.htmml3 張張學文. 組成論MM合肥：中國科技技大學出版版社，20003年12月第1版，第1次印刷.4 馮馮向軍, 1比特本本質信息論論 - 一種種定性-定量兼顧顧融合各家家的原創(chuàng)信信息論 (特邀論文文), 世界界華人一般般性科學論論壇EBB ( ISBNN 0-997550039-22-8 )，第1卷第3期，20005年9月。5 CC. E. Shaannonn, “A maathemmaticcal ttheo

22、rry off commmuniicatiion,”Belll Sysstem Techhnicaal Joournaal, vvol. 27, pp. 379-423 and 623-656, Jully annd Occtobeer, 11948.6 魯魯晨光. 廣義信息息論M 合肥：中國科技技大學出版版社，19983年10月第1版，第1次印刷.7 YYu Hoong Yi; Leonn (Xiiangjjun) Fengg; Yuu Rann. Pannsysttems GuannKongg tecchnollogy and infoormattion quanntizaationn.

23、Kybberneetes: Thee Intternaationnal JJournnal oof Syystemms & Cybeernettics. Yeaar: 22003 Voluume: 32 PPage: 9055 9911.8 于于宏義, HYPERLINK /YHY20060126.doc 信息量化化測度, 世界華華人一般性性科學論壇壇EB(ISBBN 0-97555039-0-)，第第2卷第1期，20006年1月。附錄命題： “廣義Kuullbaack信息息”0，ii =1,2,n 假設QQ1+Q22+Qn = 11, 就恒恒有P1llog(QQ1/U11) + P2loog

24、(Q22/U2) + PPnlogg(Qn/Un) =P11log(P1/UU1) + P2llog(PP2/U22)+ PPnlogg(Pn/Un) (1)這這是因為1P11log(Q1/UU1) + P2llog(QQ2/U22) + Pnloog(Qnn/Un) -( P1llog(PP1/U11) + P2loog(P22/U2)+ Pnnlog(Pn/UUn) )= P11log(Q1/PP1) +P2loog(Q22/P2) +Pnnlog(Q2/PPn)= k *( P1nn(Q1/P1) +P2lln(Q22/P2) +Pnnln(QQ2/Pnn) )=k*( Q1+Q2+QQ

25、n - P1-PP2-Pn) =k* (Q11+Q2+.+Qn -1) 0, i =1,2,.,n假設QQ1/U11+Q2/U2+QQn/Unn = 1, 就就恒有P11log(Q1/UU1) + P2llog(QQ2/U22) + Pnloog(Qnn/Un) =PP1logg(P1) + PP2logg(P2) +Pnnlog(Pn) (1)這這是因為1P11log(Q1/UU1) + P2llog(QQ2/U22) + Pnloog(Qnn/Un) -( P1llog(PP1) + P2llog(PP2) +.+ Pnllog(PPn) )= P11log(Q1/U1)/P1) +P2l

26、log(Q2/UU2)/PP2) +.+Pnloog(QQn/Unn)/Pnn)= kk *( P1n(Q1/U1)/P1) +P2lln(QQ2/U22)/P22) +PPnln(Q2/Un)PPn) )=k*( Q11/U1+Q2/UU2+Qn/Un - P1-P2-Pnn) =kk* (QQ1/U11+Q2/U2+QQn/Unn -1) 0i =1,22,n假設設Q1(VV1/U11)+Q22(V2/U2)+.+Qn(VVn/Unn) = 1, 就恒有PP1logg(Q1/U1) + P22log(Q2/UU2) +.+ Pnllog(QQn/Unn) =P1loog(P11/V1) +

27、 PP2logg(P2/V2)+.+ Pnllog(PPn/Vnn) (11)這是因因為1P1loog(Q11/U1) + PP2logg(Q2/U2) + Pnnlog(Qn/UUn) -( PP1logg(P1/V1) + P22log(P2/VV2)+ Pnloog(Pnn/Vn) )= P1loog(QQ1V1/U1)/P1) +P2llog(Q2V22/U2)/P2) +Pnnlog(QnVVn/Unn)/Pnn)= kk *( P1n(Q1VV1/U11)/P11) +PP2ln(Q2VV2/U22)/P22) +PPnln(Q2VVN/Unn)Pn) )=k*( Q1V11/U1+Q2V22/U2+QQnVn/Un - P1-P2-Pnn) =kk* (QQ1V1/U1+QQ2V2/U2+QQn