工智能及專家系統(tǒng)敖志剛第11章基于神經(jīng)網(wǎng)絡的專家系統(tǒng)課件

編制第11章基于神經(jīng)網(wǎng)絡的專家系統(tǒng)

敖志剛

編制第11章基于神經(jīng)網(wǎng)絡的專家系統(tǒng)

第11章基于神經(jīng)網(wǎng)絡的專家系統(tǒng)11．1神經(jīng)網(wǎng)絡的概念與模型11．1．1生物神經(jīng)元11．1．2人工神經(jīng)網(wǎng)絡11．2神經(jīng)網(wǎng)絡模型和算法11．2．1感知器的學習結(jié)構(gòu)與算法11．2．2B-P模型11．2．3Hopfield模型11．2．4典型的人工神經(jīng)網(wǎng)絡模型11．3神經(jīng)網(wǎng)絡專家系統(tǒng)11．3．1基于神經(jīng)網(wǎng)絡的知識表示與推理11．3．2基于神經(jīng)網(wǎng)絡的故障診斷專家系統(tǒng)11．1．1生物神經(jīng)元

細胞核神經(jīng)末稍軸突細胞體樹突突觸細胞質(zhì)細胞膜來自其他細胞軸突的神經(jīng)末稍圖11-1生物神經(jīng)元的結(jié)構(gòu)閾值函數(shù)器

軸突細胞體樹突突觸結(jié)合其他神經(jīng)元的神經(jīng)末稍圖11-2生物神經(jīng)元的等效方框模式神經(jīng)元的一些重要特性①動態(tài)極化：每一神經(jīng)元的信息都是以預定方向流動的。②時空整合處理功能。③神經(jīng)元具有兩種常規(guī)工作狀態(tài)：即興奮狀態(tài)與抑制狀態(tài)。④結(jié)構(gòu)的可塑性。⑤脈沖與電位轉(zhuǎn)換：突觸界面具有脈沖/電位信號轉(zhuǎn)換功能。⑥響應不應期：細胞在相鄰的二次沖動之間對激勵不響應、不能傳遞神經(jīng)沖動。11．1．2人工神經(jīng)網(wǎng)絡1.神經(jīng)網(wǎng)絡研究的發(fā)展歷史⑴1890年，美國生物學家W.James出版了《生理學》一書。⑵1943年McCulloch和Pitts提出M-P模型。⑶1949年DonalaU.Hebb提出突觸聯(lián)系強度可變的假設。⑷1957年FrankRosenblatt定義了一個NN結(jié)構(gòu)，稱為感知器(Perceptron)。⑸1960年威德羅和霍夫率先把NN用于自動控制研究。⑹70年代,日本Fukusima的Neocognitron；芬蘭Kohonen的自組織NN；StephenCrossberg的共振自適應理論ART網(wǎng)絡等。⑺1982年JohnJ.Hopfield提出了全連接網(wǎng)絡，離散的NN模型，并證明了網(wǎng)絡可達到穩(wěn)定的離散和連續(xù)兩種情況。⑻1986年美國的一個平行計算研究小組提出了前向反饋NN的BackPropagation（BP）學習算法。⑼1987年在美國召開了第一屆世界NN大會1000人參加。。⑽88年日本國際貿(mào)易工業(yè)省提出以NN為核心的NN計算機的研究計劃。3.人工神經(jīng)網(wǎng)絡的主要特點⑴能較好地模擬人的形象思維、人腦神經(jīng)系統(tǒng)結(jié)構(gòu)和功能，對信息進行并行分布處理。⑵具有大規(guī)模并行協(xié)同處理能力。組合簡單的、數(shù)量巨大的神經(jīng)元進行并行、協(xié)同的工作和集體計算。⑶具有較強的容錯能力和聯(lián)想能力。當少量神經(jīng)元或它們的連接發(fā)生故障時，對網(wǎng)絡功能的影響是很微小的，這使得網(wǎng)絡在整體上具有較強的魯棒性(硬件的容錯性)。⑷具有較強的學習能力。⑸適應性集成。NN能夠適應在線運行，并能同時進行定量和定性操作。⑹硬件實現(xiàn)。NN不僅能夠通過軟件而且可借助軟件實現(xiàn)并行處理。人工智能與神經(jīng)網(wǎng)絡之間的對比神經(jīng)網(wǎng)絡計算機和數(shù)字電子計算機的主要區(qū)別5.人工神經(jīng)網(wǎng)絡的分類⑴按網(wǎng)絡的拓撲結(jié)構(gòu)劃分：ANN可分為單純的階層網(wǎng)絡、具有反饋的階層網(wǎng)絡、層內(nèi)互聯(lián)的階層網(wǎng)絡、相互連接型網(wǎng)絡。⑵按網(wǎng)絡的學習方法劃分：可分為有師學習網(wǎng)絡、無師學習網(wǎng)絡和強化學習網(wǎng)絡。有師學習算法能夠根據(jù)期望的和實際的網(wǎng)絡輸出之間的差來調(diào)整神經(jīng)元間連接的強度或權。無師學習算法不需要知道期望輸出。⑶按網(wǎng)絡的性能劃分：可以分為連續(xù)型與離散型網(wǎng)絡；或分為確定型與隨機型網(wǎng)絡。⑷按連接突觸的性質(zhì)劃分，可分為一階線性關聯(lián)網(wǎng)絡與高階非線性關聯(lián)網(wǎng)絡。6.NN的學習規(guī)則第一類稱為相關學習規(guī)則。這種規(guī)則只根據(jù)連接間的激活水平改變權系數(shù)。第二類稱為糾錯學習規(guī)則。這種規(guī)則根據(jù)輸出節(jié)點的外部反饋改變權系數(shù)。例如BP算法，用于統(tǒng)計性算法的模擬退火算法也屬于這種學習規(guī)則。

第三類稱為無教師學習規(guī)則。它是一種對輸入測檢進行自適應的學習規(guī)則。7.人工神經(jīng)網(wǎng)絡的研究與應用⑴生物原型研究：從生理學、心理學、解剖學、腦科學、病理學等生物科學方面，從定性與定量、靜態(tài)與動態(tài)、微觀與宏觀等各種觀察角度，研究NN、神經(jīng)細胞、神經(jīng)系統(tǒng)的生物原型的微觀和宏觀結(jié)構(gòu)及功能機理，探明腦中物理平面向認知平面映射的原理。⑵ANN模型的研究：包括NN的概念模型、理論模型、知識模型、物理化學模型、數(shù)學模型、算法模型、聯(lián)想記憶模型等。⑶NN基本理論的研究。①非線性特性；②特征分析：包括網(wǎng)絡的拓撲結(jié)構(gòu)、網(wǎng)絡容量、計算能力、算法分析；③基本性能：包括穩(wěn)定性、收斂性、容錯性、魯棒性、動力學復雜性；④認知科學的研究：探索包括感知、思考、記憶和語言等的腦信息處理模型以及聯(lián)想存儲、思維機制、模糊輸入、隨機輸入、不全信息輸入和動態(tài)連接機制等方法。8.人工神經(jīng)元的功能表示和結(jié)構(gòu)人工神經(jīng)元的功能表示類似生物神經(jīng)元，其功能可用圖11-3來表示。W1W2Wn閾值函數(shù)器∑輸出S1S2Sn輸入狀態(tài)求和器權輸入圖11-3人工神經(jīng)元功能方框圖xi8.人工神經(jīng)元的功能表示和結(jié)構(gòu)根據(jù)生物神經(jīng)元的功能和結(jié)構(gòu)，提出了一個將神經(jīng)元看作二進制閾值元件的簡單模型，即MP模型，如圖11-4所示。Ui——第i個神經(jīng)元的內(nèi)部狀態(tài)；x1—xn——表示從U1——Un來的輸出信號；Wji——表示從Uj到Ui傳遞信號的權；Si——外部輸入信號；xi——輸出信號；Qi——閾值；

Qi

xix1x2x3xnSiUi圖11-4MP神經(jīng)元模型

xi=f(Wji×xj+Si－Qi)

1u≥00u＜0sgn(u)=9.人工神經(jīng)元網(wǎng)絡的互連結(jié)構(gòu)1．2．1感知器的學習結(jié)構(gòu)與算法學習機構(gòu)可用圖11-7所示的結(jié)構(gòu)表示。在圖中，Xl，X2，…，Xn是輸入樣本信號，W1，W2，…，Wn是權系數(shù)。u=∑WiXi=W1X1+W2X2+…+WnXn2.感知器的學習算法感知器是具有單層計算單元的NN，由線性元件及閾值元件組成，如圖11-8所示。⑴感知器的數(shù)學模型

1u≥00u＜0f(u)=

1A類-1B類y=X2X1A類B類邊界W1X1+W2X2-θ=0圖11-9感知器的分類AB⑵感知器學習算法的步驟①對權系數(shù)W置初值。記為Wl(0)，W2(0)，…，Wn(0)，同時有Wn+1(0)＝-θ。②輸入一樣本X＝(X1，X2，…，Xn+1)以及它的期望輸出d。③計算實際輸出值：。④根據(jù)實際輸出求誤差：e＝d-Y(t)。

⑤用誤差e去修改權系數(shù)。Wi(t+1)=Wi(t)+η·e·Xi,當實際輸出和期望值d相同時有Wi(t+1)=Wi(t)。⑥轉(zhuǎn)到第②點，一直執(zhí)行到一切樣本均穩(wěn)定為止。11．2．2B-P模型1.B-P(Back-Progagation)模型概念B-P模型是一種用于前向多層NN的誤差反傳學習算法，用于多層網(wǎng)絡，網(wǎng)絡中不僅有輸入層節(jié)點及輸出層節(jié)點，而且還有一層至多層隱層節(jié)點，如圖11-11所示。1.B-P(Back-Progagation)模型概念輸入：net=x1w1+x2w2+…+xnwn輸出：y和f＇(net)的曲線如圖11-12所示。f＇(net)y00.510.250y

1(0,0.5)

net(0,0)圖11-12y和f＇(net)函數(shù)的曲線2.學習算法⑺向量表示①輸入向量為X=(x1,x2,…,xn)；②隱含層輸入向量為hi=(hi1,hi2,…,hip)；③隱含層輸出向量ho=(ho1,ho2,…,hop)；④輸出層輸入向量為yi=(yi1,yi2,…,yiq)；⑤輸出層輸出向量yo=(yo1,yo2,…,yoq)；⑥期望輸出向量為d0=(d1,d2,…,dq)。2.學習算法⑻學習算法的步驟：第一步，網(wǎng)絡初始化。給各連接權值分別賦一個區(qū)間(-1，1)內(nèi)的隨機數(shù)，設定誤差函數(shù)e，給定計算精度值ε和最大學習次數(shù)M。第二步,隨機選取第k個輸入樣本及對應期望輸出，X(k)=(x1(k),x2(k),…,xn(k))，d0(k)=(d1(k),d2(k),…,dq(k))。第三步，計算隱含層各神經(jīng)元的輸入和輸出。⑻學習算法的步驟第四步，用期望輸出和實際輸出,計算誤差函數(shù)對輸出層各神經(jīng)元的偏導數(shù)δo(k)。⑻學習算法的步驟第五步，利用隱含層到輸出層的連接權值、輸出層的δo(k)和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導數(shù)δh(k)。

⑻學習算法的步驟第六步，用輸出層各神經(jīng)元的δ0(k)和隱含層各神經(jīng)元的輸出來修正連接權值w0h(k)。第七步，利用隱含層各神經(jīng)元的δh(k)和輸入層各神經(jīng)元的輸入修正連接權。⑻學習算法的步驟第八步，計算全局誤差第九步，判斷網(wǎng)絡誤差是否滿足要求。當誤差達到預設精度或?qū)W習次數(shù)大于設定的最大次數(shù)，則結(jié)束算法。否則，選取下一個學習樣本及對應的期望輸出，返回到第三步，進入下一輪學習。⑼BP算法直觀解釋圖11-13直觀表達情況一ee圖11-14直觀表達情況二11．2．3Hopfield模型1982年，J．Hopfield提出了Hopfield網(wǎng)絡模型，它可用作聯(lián)想記憶、分類和優(yōu)化計算的互連網(wǎng)絡。這是一種帶有反饋連接的循環(huán)NN，由于其輸出端有反饋到其輸入端，當有輸入之后，可以求取出Hopfield的輸出，這個輸出反饋到輸入從而產(chǎn)生新的輸出，這個反饋過程一直進行下去。如果Hopfield網(wǎng)絡是一個能收斂的穩(wěn)定網(wǎng)絡，則這個反饋與迭代的計算過程所產(chǎn)生的變化越來越小，一旦到達了穩(wěn)定平衡狀態(tài)，那么Hopfield網(wǎng)絡就會輸出一個穩(wěn)定的恒值。Hopfield網(wǎng)絡有離散型和連續(xù)型兩種。1.離散Hopfield網(wǎng)絡在離散Hopfield網(wǎng)絡中，所采用的神經(jīng)元是二值神經(jīng)元，所輸出的離散值1和0分別表示神經(jīng)元處于激活和抑制狀態(tài)。1.離散Hopfield網(wǎng)絡對于二值神經(jīng)元，它的計算公式為，這里xi為外部輸入，并且有：當Ui≥θi時，Yi=1；當Ui<θi時，Yi=0。對于一個輸出層是n個神經(jīng)元的網(wǎng)絡，則其t時刻的狀態(tài)為一個n維向量。Y(t)=[Y1(t),Y2(t),...,Yn(t)]T因為Yj(t)(j＝1……n)可以取值1或0，所以n維向量Y(t)有2n種網(wǎng)絡狀態(tài)。n×n權系數(shù)矩陣W：W={Wij}i=1,2,...,n；j=1,2,...,n有n維閾值向量θ：θ=[θ1,θ2,...θn]T

1.離散Hopfield網(wǎng)絡節(jié)點的下一個時刻(t+1)的狀態(tài)可以求出如下：當Wij在i＝j時等于0，則說明一個神經(jīng)元的輸出并不會反饋到它自己的輸入；這時，離散的HopfieId網(wǎng)絡稱為無自反饋網(wǎng)絡。當Wij在i＝j時不等于0，則說明—個神經(jīng)元的輸出會反饋到它自己的輸入；這時，離散的Hopfield網(wǎng)絡稱為有自反饋的網(wǎng)絡。離散Hopfield網(wǎng)絡有二種不同的工作方式：串行和并行1.離散Hopfield網(wǎng)絡⑴串行(異步)方式在時刻t時，只有某一個神經(jīng)元j(隨機或確定性選擇)參與計算，它的狀態(tài)產(chǎn)生變化，而其它n-1個神經(jīng)元的狀態(tài)都保持不變，這種情況稱串行工作方式。對于第j個神經(jīng)元有：對于任意i≠j時有：1.離散Hopfield網(wǎng)絡⑵并行(同步)方式在任一時刻t，所有的神經(jīng)元都參與了計算，它們的狀態(tài)都產(chǎn)生了變化；則稱并行工作方式。并且有：若對于任何△t>0，當NN從t＝0開始，有初始狀態(tài)Y(0)；經(jīng)過有限時刻t，有Y(t+△t)=Y(t)，則稱網(wǎng)絡是穩(wěn)定的。2.連續(xù)Hopfield網(wǎng)絡連續(xù)Hopfield網(wǎng)絡的每一個神經(jīng)元的輸入和輸出關系為連續(xù)可微單調(diào)上升函數(shù)，和其它神經(jīng)元之間有連接權的關系。狀態(tài)變量直接影響輸入變量，使系統(tǒng)變成一個隨時間變化的動態(tài)系統(tǒng)。連續(xù)Hopfield網(wǎng)絡穩(wěn)定條件都要求Wij=Wji。這種拓撲結(jié)構(gòu)和生物的神經(jīng)系統(tǒng)中大量存在的神經(jīng)反饋回路是相一致的。兩種網(wǎng)絡不同的地方在于其函數(shù)g不是階躍函數(shù)，而是S形的連續(xù)函數(shù)。一般取g(u)=1/(1+e-u)

連續(xù)Hopfield網(wǎng)絡中各神經(jīng)元是處于同步方式工作的。神經(jīng)元j，其內(nèi)部膜電位狀態(tài)用uj表示．細胞膜輸入電容為Cj，細胞膜的傳遞電阻為Rj，輸出電壓為Vj，外部輸入電流用Ij表示，則該網(wǎng)絡可用圖11-16所示的電路表示。2.連續(xù)Hopfield網(wǎng)絡設有n個神經(jīng)元互聯(lián)，vj(t)和Uj(t)分別為輸出和輸入電位。2.連續(xù)Hopfield網(wǎng)絡根據(jù)圖11-16，定義系統(tǒng)的能量函數(shù)E(t)為：其中：g-1(v)是Vj(t)＝gj(uj(t))的反函數(shù)。2.連續(xù)Hopfield網(wǎng)絡定理：如果連續(xù)Hopfield網(wǎng)絡中神經(jīng)元傳遞函數(shù)是單調(diào)增長的連續(xù)并有界函數(shù)，并且Wij＝Wji，則沿系統(tǒng)的運動軌跡有dE(t)/dt≤0，當且僅當dVj(t)/dt=0時，有dE(t)/dt=0,j=1,2,…,n。

這個定理說明Hopfield網(wǎng)絡系統(tǒng)隨著時間的增長，網(wǎng)絡的各個神經(jīng)元的狀態(tài)變化所造成的系統(tǒng)狀態(tài)軌跡在狀態(tài)空間中總是向能量減小方向變化，網(wǎng)絡穩(wěn)定點就是能量的極小點。因此保證了，該網(wǎng)絡是可以達到求解最優(yōu)點（極值點）。11．2．4典型的人工神經(jīng)網(wǎng)絡模型11.2.4典型的人工神經(jīng)網(wǎng)絡模型11．3神經(jīng)網(wǎng)絡專家系統(tǒng)把神經(jīng)網(wǎng)絡與傳統(tǒng)的ES有機地集成起來，協(xié)同工作，達到取長補短的目的。這兩者在集成時有三種模式。⑴神經(jīng)網(wǎng)絡(NN)支持ES。比如對ES提供的知識和樣例，通過NN自動獲取知識；運用NN的并行推理技術以提高推理效率。⑵ES支持NN。以NN的有關技術為核心，建立相應領域的ES，采用ES的相關技術完成解釋等方面的工作。⑶協(xié)同式的NN與ES。針對每個子問題的特點，選擇用NN和ES加以實現(xiàn)，在NN和ES之間建立一種耦合聯(lián)系。11．3．1基于神經(jīng)網(wǎng)絡的知識表示與推理1、基于NN的知識表示NN中的知識表示是一種隱式的表示方法。NN的知識表示是把某一問題領域的若干知識彼此關聯(lián)地表示在一個NN中。一個NN可以用一個加權有向圖表示。加權有向圖中的節(jié)點連接關系和權值分布可以用一個矩陣來表示，這個矩陣稱為鄰接權矩陣。一個有m個節(jié)點的NN的鄰接權矩陣W=[wij]m×n的定義為：，若節(jié)點i有至節(jié)點j的鄰接且權值為wij

，若節(jié)點i無至節(jié)點j的鄰接1、基于NN的知識表示如對圖11-17所示的異或邏輯()的NN來說，其鄰接矩陣為：圖11-17中神經(jīng)元內(nèi)的數(shù)據(jù)表示減去閾值(如-θ3=-1.0)。1、基于NN的知識表示如果用產(chǎn)生式規(guī)則描述，則該網(wǎng)絡代表下述4條規(guī)則：IFx1=0ANDx2=0THENy=0IFx1=0ANDx2=1THENy=1IFx1=1ANDx2=0THENy=1IFx1=1ANDx2=1THENy=02.神經(jīng)網(wǎng)絡的知識自動獲取NN是通過實例學習來實現(xiàn)知識自動獲取的。使在具有同樣輸入的條件下NN能夠獲得與領域?qū)＜医o出的解答盡可能相同的輸出。解答的精度可用它與專家解答之間的方差一類準則來度量。在進行知識獲取時，要求領域?qū)＜姨峁W習實例及其相應的期望解，經(jīng)過網(wǎng)絡自適應學習算法不斷修改網(wǎng)絡的權值分布，一旦網(wǎng)絡穩(wěn)定后，就把領域?qū)＜仪蠼庠搯栴}的知識和經(jīng)驗(通過提供的學習實例來表示)分布到網(wǎng)絡的互連結(jié)構(gòu)及權值分布上，從而得到推理所需要的知識庫。

NN專家系統(tǒng)的簡單結(jié)構(gòu)如圖11-18所示。圖11-18神經(jīng)網(wǎng)絡專家系統(tǒng)的簡單結(jié)構(gòu)知識獲取解釋器知識庫推理機專家用戶3.神經(jīng)網(wǎng)絡的知識推理與解釋NN專家系統(tǒng)是經(jīng)過網(wǎng)絡計算，把用戶提供的原始證據(jù)作為網(wǎng)絡輸入，通過網(wǎng)絡計算最終得出。NN的推理是一種正向的非線性數(shù)值計算過程。它的推理過程包括如下幾個步驟：⑴把已知證據(jù)作為輸入賦給網(wǎng)絡輸入層的各個節(jié)點。⑵利用特征函數(shù)分別計算網(wǎng)絡中各層的輸出，計算時，前面層次的輸出將作為直接后繼層各節(jié)點的輸入，逐層進行計算，直至計算出輸出層的輸出值。⑶用閾值函數(shù)對輸出層的輸出進行判定，從而得到輸出結(jié)果。NN的推理是一種并行推理機制。由于NN各輸出節(jié)點的輸出是數(shù)值的，因此，需要一個解釋器對輸出模式進行解釋。要實現(xiàn)神經(jīng)網(wǎng)絡ES的解釋機能，需利用神經(jīng)網(wǎng)絡中的各個數(shù)據(jù)，如輸入數(shù)據(jù)，輸出數(shù)據(jù)及隱含層神經(jīng)元輸出數(shù)據(jù)。經(jīng)過訓練形成各項權值，得出解釋規(guī)則，完成解釋任務。3.組合神經(jīng)網(wǎng)絡專家系統(tǒng)由于一個NNES可以用一個加權有向圖表示，因此，可以方便地把同一個知識領域的幾個獨立的NNES組合成一個規(guī)模更大的NNES，只要知道這幾個NN之間有哪些節(jié)點有連接關系，可根據(jù)專家知識來判斷兩個節(jié)點之間是否有模糊的因果關系，可以通過學習來獲得連接權值。對于基于規(guī)則的幾個ES組合成一個更大的ES，由于規(guī)則的冗余程度和不一致性都較大，各自的規(guī)則越多，組合的知識庫越不可靠。11．3．2基于神經(jīng)網(wǎng)絡的故障診斷專家系統(tǒng)1.基于神經(jīng)網(wǎng)絡故障診斷專家系統(tǒng)的結(jié)構(gòu)2.神經(jīng)網(wǎng)絡在醫(yī)學專家系統(tǒng)中的應用⑴構(gòu)造神經(jīng)網(wǎng)絡假設整個系統(tǒng)的簡易診斷模型只有六種癥狀、兩種疾病、三種冶療方案。癥狀：對每一癥狀只采集有、無及沒有記錄這三種信息。疾病：對每一疾病也只采集有、無及沒有記錄這三種信息。治療方案：對每一治療方案只采集是否采用這兩種信息。其中，對“有”、“無”、“沒有記錄”分別用1、-1、0表示。這樣對每一個病人就可以構(gòu)成訓練樣例。假設通過訓練樣例對網(wǎng)絡的訓練得到了如圖11-20所示的NN。其中x1，x2，…，x6為癥狀輸入；x7,x8為疾病名；x9，x10,x11為治療方案。⑵、基于神經(jīng)網(wǎng)絡的推理如將X=(x1，x2，…，x6)輸入網(wǎng)絡，通過網(wǎng)絡計算最終得到輸出結(jié)果(患者得病)Y=(x7,x8)，以及針