《數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)》第6章人工神經(jīng)網(wǎng)絡

第6章人工神經(jīng)網(wǎng)絡

《數(shù)據(jù)挖掘與知識發(fā)現(xiàn)》(第2版)數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-2)緒論

本章討論人工神經(jīng)網(wǎng)絡的一般知識，討論人工神經(jīng)網(wǎng)絡在數(shù)據(jù)挖掘領域的重要性。具體介紹如下幾個方面的內(nèi)容：人工神經(jīng)元與人工神經(jīng)網(wǎng)絡前向神經(jīng)網(wǎng)絡反饋神經(jīng)網(wǎng)絡自組織競爭神經(jīng)網(wǎng)絡基于人工神經(jīng)網(wǎng)絡的數(shù)據(jù)挖掘數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-3)引言

人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwork，簡稱ANN）是指由簡單計算單元組成的廣泛并行互聯(lián)的網(wǎng)絡，能夠模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。1943年提出最早的形式化神經(jīng)元數(shù)學模型是M-P模型。1949年提出通過改變神經(jīng)元連接強度達到學習目的的Hebb學習規(guī)則。1958年提出感知器（Perceptron）的概念。（第一次高潮）1982年提出Hopfield網(wǎng)絡模型，該模型可以用電路實現(xiàn)。（第二次高潮）1985年提出BP算法、Boltzman機模型。人工神經(jīng)網(wǎng)絡應用領域：模式識別計算機視覺智能控制信號處理語音識別知識處理機器學習數(shù)據(jù)挖掘數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-4)人工神經(jīng)元及人工神經(jīng)網(wǎng)絡模型(一)M-P模型人工神經(jīng)網(wǎng)絡是由若干簡單處理單元組成的廣泛并行互聯(lián)的網(wǎng)絡，神經(jīng)網(wǎng)絡的基本處理單元是若干神經(jīng)元（也稱為處理單元或節(jié)點）。最早的神經(jīng)元模型是M-P模型。其中，Ii{-1,1}表示輸入，Y{-1,1}表示輸出，權(quán)值Wi{-1,1}為輸入的連接強度，正數(shù)權(quán)值表示興奮性輸入，負數(shù)權(quán)值表示抑制性輸入。θ表示神經(jīng)元興奮時的閾值。

數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-5)人工神經(jīng)元及人工神經(jīng)網(wǎng)絡模型(二)人工神經(jīng)元的形式化描述當神經(jīng)元沒有內(nèi)部狀態(tài)時，g(ui)=ui，h=f，yi=ui。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-6)人工神經(jīng)元及人工神經(jīng)網(wǎng)絡模型常用的神經(jīng)元狀態(tài)轉(zhuǎn)移函數(shù)：1.階躍函數(shù)

2.準線形函數(shù)

3.Sigmoid函數(shù)

4.雙曲正切函數(shù)數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-7)人工神經(jīng)元及人工神經(jīng)網(wǎng)絡模型（三）神經(jīng)網(wǎng)絡的分類按網(wǎng)絡性能連續(xù)型網(wǎng)絡離散型網(wǎng)絡確定型網(wǎng)絡隨機型網(wǎng)絡（如，Boltzmann機）按網(wǎng)絡拓撲結(jié)構(gòu)前向神經(jīng)網(wǎng)絡（如，徑向基函數(shù)神經(jīng)網(wǎng)絡）反饋神經(jīng)網(wǎng)絡（如，Hopfield神經(jīng)網(wǎng)絡）數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-8)人工神經(jīng)元及人工神經(jīng)網(wǎng)絡模型（四）人工神經(jīng)網(wǎng)絡的學習方式神經(jīng)網(wǎng)絡的學習過程是指網(wǎng)絡權(quán)值的調(diào)整。主要的學習方式：1.死記式學習如，Hopfield網(wǎng)絡。2.有監(jiān)督學習如BP算法。3.無監(jiān)督學習如，自組織特征映射網(wǎng)絡。4.有監(jiān)督與無監(jiān)督的混合學習數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-9)前向神經(jīng)網(wǎng)絡（一）感知器單層感知器神經(jīng)網(wǎng)絡如圖6.4所示，其中，輸入向量為X=(X1,X2,…,Xn

)，輸出向量為Y=(Y1,Y2,…,Ym

)。只含一個神經(jīng)元的感知器的輸入向量為XRn。權(quán)值向量為WRn，可以通過學習訓練調(diào)整W。單元的輸出為Y{-1,1}。其中，

若令Wn+1=θ，Xn+1=-1,則有：

數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-10)前向神經(jīng)網(wǎng)絡單層感知器的學習算法：(1)初始化權(quán)值和閾值用較小的隨機非零值初始化Wi(0)。其中，Wi(t)(1≤i≤n)為t時刻第i個輸入的權(quán)值，Wn+1(t)為t時刻的閾值。(2)輸入樣本

X=(X1,X2,…,Xn,T)，T稱為教師信號（即期望輸出）。(3)計算網(wǎng)絡的實際輸出：

(4)修正權(quán)值

Wi(t+1)=Wi(t)+η

(T–Y(t))Xi

，i=(1,2,…,n,n+1)

其中，η(0,1)為學習率，用于控制修正速度。η太大會影響Wi

(t)的穩(wěn)定η太小會使Wi

(t)的收斂速度太慢(5)轉(zhuǎn)到步驟(2)重復執(zhí)行，直到W對一切樣本均穩(wěn)定不變?yōu)橹埂Ｈ艉瘮?shù)f是線性可分的，則感知器的學習算法在有限次迭代后收斂。

數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-11)前向神經(jīng)網(wǎng)絡（二）多層前向神經(jīng)網(wǎng)絡的BP算法多層前向神經(jīng)網(wǎng)絡有一個輸入層、一個輸出層和若干個隱層。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-12)前向神經(jīng)網(wǎng)絡BP算法描述：(1)設定學習次數(shù)初值t=0；用小的隨機數(shù)初始化網(wǎng)絡權(quán)值和閾值，Wij(t)[-1,1]，Wjk(t)[-1,1]，θj

(t)[-1,1]，θk

(t)[-1,1]。(2)輸入一個學習樣本(Xp,Tp)，其中p{1,2,…,N}、N為樣本數(shù)，XpRn，TpRm

。(3)計算隱層各節(jié)點的輸出值：

（6.31）(4)計算輸出層各節(jié)點的輸出：（6.32）(5)計算輸出層節(jié)點和隱層節(jié)點之間連接權(quán)值的修正量：（6.33）(6)計算隱層節(jié)點和輸入層節(jié)點間連接權(quán)值的修正量：

（6.34）數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-13)前向神經(jīng)網(wǎng)絡(7)利用(6.35)式修正輸出層節(jié)點k和隱層節(jié)點j的連接權(quán)值Wjk，利用(6.36)式修正輸出層節(jié)點k的閾值。其中δk為(6.33)中求出的誤差修正量。（6.35）（6.36）(8)利用(6.37)式修正隱層節(jié)點j和輸入層節(jié)點i的連接權(quán)值Wij，利用(6.38)式修正隱層節(jié)點j的閾值。其中δj為(6.34)中求出的誤差修正量。（6.37）（6.38）(9)如果未取完全部學習樣本，則返回步驟(2)。(10)計算誤差函數(shù)E，如果E小于誤差上限，或已達到學習次數(shù)，則算法結(jié)束；否則更新學習次數(shù)t=t+1，返回步驟(2)。其中，步驟(2)至(4)為信號前向傳播計算步驟(5)至(8)為誤差后向傳播計算數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-14)前向神經(jīng)網(wǎng)絡(三)徑向基函數(shù)神經(jīng)網(wǎng)絡徑向基函數(shù)（RadialBasisFunction，簡稱RBF）神經(jīng)網(wǎng)絡是一種三層前向神經(jīng)網(wǎng)絡。RBF神經(jīng)網(wǎng)絡只有一個隱層，隱層單元的轉(zhuǎn)移函數(shù)采用徑向基函數(shù)，以對輸入層的激勵產(chǎn)生局部化響應，即僅當輸入落在輸入空間中某一指定的小范圍內(nèi)時，隱層單元才會作出有意義的非零響應。輸出節(jié)點對各隱層單元的輸出求加權(quán)和。輸入單元和隱層單元的連接權(quán)值固定為1，只有隱層單元和輸出單元的連接權(quán)值可調(diào)。最常用的徑向基函數(shù)形式是高斯函數(shù)，其可調(diào)參數(shù)有：中心位置方差b（函數(shù)的寬度參數(shù)）網(wǎng)絡的可調(diào)參數(shù)（待訓練的參數(shù)）有三組：基函數(shù)的中心位置方差輸出單元的權(quán)值通常選擇隱層的節(jié)點數(shù)為訓練樣本個數(shù)，每個節(jié)點都有一個徑向基函數(shù)的中心向量，該中心向量為訓練樣本的輸入向量。

Ck=(Ck1,Ck2,…,Ckn)k=1,2,…,N

數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-15)前向神經(jīng)網(wǎng)絡隱層節(jié)點的凈輸入定義為輸入模式X與隱層節(jié)點的徑向基函數(shù)中心向量間的歐氏距離，即：（6.43）隱層節(jié)點的轉(zhuǎn)移函數(shù)為Gauss函數(shù)：

f(x)=exp(-x2/b)（6.44）隱層節(jié)點的輸出反映了輸入模式離開該隱節(jié)點代表的徑向基函數(shù)中心的程度。輸出層節(jié)點數(shù)為輸出向量的維數(shù)，節(jié)點j的輸出為：（6.45）其中，Wj=(w1j,w2j,…,wNj)，R=(r1,r2,…,rN)。RBF網(wǎng)絡的中心向量和權(quán)值均由學習樣本確定，由于輸出單元是線性單元，所以它的權(quán)值可以用最小二乘法直接計算。因此，設計一個RBF網(wǎng)絡時只有一個參數(shù)b需要調(diào)整，即高斯函數(shù)中的平滑因子b，它控制著高斯曲線鐘型的寬度。RBF網(wǎng)絡的中心向量、平滑因子b和權(quán)值W也可由BP算法學習訓練得到。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-16)反饋神經(jīng)網(wǎng)絡(一)反饋神經(jīng)網(wǎng)絡模型考慮輸入輸出間的時間延遲，是非線性動力學系統(tǒng)，用動態(tài)方程描述。Hopfield神經(jīng)網(wǎng)絡是典型的反饋神經(jīng)網(wǎng)絡。提出能量函數(shù)概念，為判斷網(wǎng)絡運行穩(wěn)定性提供可靠且簡單的依據(jù)。成功應用于聯(lián)想記憶和優(yōu)化計算等領域，拓展了神經(jīng)網(wǎng)絡的應用范圍。單層全反饋神經(jīng)網(wǎng)絡如圖6.6所示。每個節(jié)點的輸出都和其他節(jié)點的輸入相連，輸入輸出關(guān)系為：數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-17)反饋神經(jīng)網(wǎng)絡由n個節(jié)點組成的反饋網(wǎng)絡，在任意時刻t的狀態(tài)向量為X=(x1,x2,…,xn)，XRn，輸出向量為Y=(y1,y2,…,yn)，YRn。t時刻網(wǎng)絡的狀態(tài)可以通過X(t)和Y(t)表示。對于不同的權(quán)值Wij和輸入Ii

(i,j＝1,2,…,n)，網(wǎng)絡的狀態(tài)軌跡情況：1.經(jīng)過時間t(t>0)后，狀態(tài)軌跡不再延伸，停留在X(t0+t)狀態(tài)，稱網(wǎng)絡收斂到穩(wěn)定點或平衡點。在反饋網(wǎng)絡中，可能存在多個穩(wěn)定點：(1)漸近穩(wěn)定點Xe(2)不穩(wěn)定的平衡點Xf(3)網(wǎng)絡的解(4)網(wǎng)絡的偽穩(wěn)定點2.軌跡為環(huán)狀，稱為極限環(huán)。3.如果X(t)的軌跡在某個確定的范圍內(nèi)變化，但既不重復又不能停下來，狀態(tài)變化為無窮多個，軌跡不發(fā)散到無窮遠，稱為混沌（Chaos）。4.如果X(t)的軌跡隨時間一直延伸到無窮遠，此時狀態(tài)發(fā)散，系統(tǒng)的輸出也發(fā)散。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-18)反饋神經(jīng)網(wǎng)絡(二)離散型Hopfield神經(jīng)網(wǎng)絡離散型Hopfield神經(jīng)網(wǎng)絡(DiscreteHopfieldNeuralNetwork，DHNN)是一個單層結(jié)構(gòu)的全反饋網(wǎng)絡。有n個節(jié)點，W是一個n×n的對稱零對角權(quán)值矩陣，θ為n維閾值向量。每個節(jié)點可處于兩個可能的狀態(tài)之一，即1或-1。假設各節(jié)點的外加輸入Ii=0，i=1,2,…,n。令Xi

(t)表示t時刻節(jié)點i的狀態(tài)，則節(jié)點i的下一個狀態(tài)由下面的算式?jīng)Q定：其中，網(wǎng)絡的狀態(tài)向量為X(t){1,-1}n，且wii

=0，i=1,2,…,n。1.串行（異步）工作方式任一時刻t，只有某一個節(jié)點i的狀態(tài)變化，即：

2.并行（同步）工作方式任一時刻t，所有的節(jié)點都改變狀態(tài)，即：數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-19)反饋神經(jīng)網(wǎng)絡若網(wǎng)絡從一個初態(tài)X(t0)出發(fā)，經(jīng)過一個有限時刻t，網(wǎng)絡的狀態(tài)不再發(fā)生變化，即：

X(t0+t+

t)=X(t0+t)t>0（6.51）則稱網(wǎng)絡是穩(wěn)定。離散型Hopfield網(wǎng)絡的能量函數(shù)定義為：（6.52）能量函數(shù)用來衡量網(wǎng)絡的穩(wěn)定性。若每步迭代的E≤0，則網(wǎng)絡能量逐漸減少，網(wǎng)絡將逐漸趨于穩(wěn)定點。定理6.1當網(wǎng)絡工作在串行方式下時，若滿足wij=wji

，wii=0，i、j=1,2,…,n，則能量函數(shù)單調(diào)下降，網(wǎng)絡必定收斂。定理6.2當網(wǎng)絡工作在串行方式下時，若滿足wij=wji

，wii>0，i、j=1,2,…,n，則能量函數(shù)單調(diào)下降，且網(wǎng)絡必收斂。定理6.3當網(wǎng)絡工作在并行方式下時，若滿足wij=wji，則網(wǎng)絡或者收斂于一個穩(wěn)定點，或者收斂于極限環(huán)為2的一個周期解。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-20)反饋神經(jīng)網(wǎng)絡離散型Hopfield使用Hebb規(guī)則來調(diào)整網(wǎng)絡的權(quán)值。網(wǎng)絡待記憶的學習樣本有N個，Xp，p=1,2,…,N，XpRn，其每個分量為Xip，i=1,2,…,n，利用已知需要存儲的樣本來設計n個節(jié)點間的連接權(quán)值，如節(jié)點i和j間的連接權(quán)值為：（6.53）其中，α為一個正常數(shù)，初始化時wij=0，每輸入一個樣本，就在權(quán)值上加修正量，wij=wij+αXiKXjK。αXiKXjK>0時，XiK和XjK同時興奮或同時抑制。αXiKXjK<0時，XiK和XjK一個興奮一個抑制。用Hebb規(guī)則修正權(quán)值可以滿足wij=wji的條件，從而使網(wǎng)絡在串行工作時保證收斂；在并行工作時系統(tǒng)或收斂，或出現(xiàn)極限環(huán)為2的振蕩。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-21)反饋神經(jīng)網(wǎng)絡(3)連續(xù)型Hopfield神經(jīng)網(wǎng)絡連續(xù)型Hopfield神經(jīng)網(wǎng)絡（ContinuousHopfieldNeuralNetwork，CHNN）在結(jié)構(gòu)上和離散型相同。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-22)反饋神經(jīng)網(wǎng)絡Hopfield利用模擬電路構(gòu)造了反饋神經(jīng)網(wǎng)絡的電路模型，用來模仿生物神經(jīng)網(wǎng)絡的主要特性。圖中標有正負號的元件是有正反向輸出的運算放大器，其輸入輸出用來模擬神經(jīng)元的輸入和輸出。電容Ci和電阻Ri使放大器的輸出和輸入信號之間產(chǎn)生延遲，用來模擬人工神經(jīng)元的動態(tài)特性。Tij反映人工神經(jīng)元的連接權(quán)值wij。I為外加偏置電流，相當于人工神經(jīng)網(wǎng)絡的閾值θ。若定義網(wǎng)絡中第i個節(jié)點的輸入為ui，輸出為vi，那么輸入輸出的關(guān)系為：（6.54）其中，n為網(wǎng)絡的節(jié)點數(shù)，狀態(tài)轉(zhuǎn)移函數(shù)為Sigmoid型函數(shù)，一般取

f(x)=1/(1+e-λx)或者f(x)=th(λx)。網(wǎng)絡工作方式分為異步、同步和連續(xù)更新三種。對圖6.7中的每個神經(jīng)元，根據(jù)克希荷夫定律可得：其中，vi是運算放大器i的輸出電壓，并且vi

=f(ui)。

數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-23)反饋神經(jīng)網(wǎng)絡連續(xù)型Hopfield神經(jīng)網(wǎng)絡的能量函數(shù)E定義為：（6.56）定理6.4假定神經(jīng)元轉(zhuǎn)移函數(shù)為f(·)，存在反函數(shù)f-1(·)，并且是單調(diào)連續(xù)遞增函數(shù)，同時網(wǎng)絡結(jié)構(gòu)對稱，即Tij=Tji，Tii=0，那么沿系統(tǒng)的運行軌跡有dE/dt≤0；當且僅當dvi

/dt

=0時，dE/dt=0，i,j{1,2,…,n}。由定理6.4可知，隨時間t的變化，網(wǎng)絡狀態(tài)不斷改變，網(wǎng)絡能量逐漸降低。當且僅當網(wǎng)絡中所有節(jié)點的狀態(tài)不再變化時，網(wǎng)絡達到能量極小點，也就是說，網(wǎng)絡的穩(wěn)定點就是使得能量函數(shù)取到極小的點。如果網(wǎng)絡的結(jié)構(gòu)不是對稱的，就無法保證網(wǎng)絡的穩(wěn)定性。可能出現(xiàn)極限環(huán)或者混沌現(xiàn)象。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-24)反饋神經(jīng)網(wǎng)絡(三)Boltzmann機Boltzmann機模型誕生于1984年。在節(jié)點的狀態(tài)變化中引入了概率和隱節(jié)點，并用模擬退火算法(SimulatedAnnealing，SA)進行學習。Boltzmann機是一種有反饋的相互結(jié)合型網(wǎng)絡，假定網(wǎng)絡由n個節(jié)點構(gòu)成，任意一個節(jié)點i的輸出為：vi(t){0,1}，且假定節(jié)點之間的連接權(quán)值矩陣是對稱的，即，wij=wji，wii=0。當節(jié)點i的輸入發(fā)生變化時，將引起輸出vi(t+1)的更新。這種更新在各節(jié)點之間是以異步方式進行的，并且由概率值Pi來決定vi(t+1)。在此，規(guī)定vi(t+1)取值為1的概率Pi為：

Pi=f(ui(t)/T)（6.57）取，可得：

Pi=1/(1+exp(-ui(t)/T))（6.58）網(wǎng)絡的能量函數(shù)定義為：（6.59）根據(jù)概率Pi，考查vi(t+1)更新為1時，網(wǎng)絡能量的變化為：（6.60）數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-25)反饋神經(jīng)網(wǎng)絡Boltzmann機網(wǎng)絡狀態(tài)變化規(guī)則：(1)從n個節(jié)點中隨機地選取節(jié)點i

(2)計算節(jié)點i(1≤i≤n)的輸入ui(t)：（6.61）(3)以概率Pi來決定i的輸出vi(t+1)：

Pi=f(ui(t)/T)（6.62）(4)其他節(jié)點不變化：

vj(t+1)=vj(t),ji

（6.63）(5)返回步驟(1)。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-26)前向神經(jīng)網(wǎng)絡與反饋神經(jīng)網(wǎng)絡比較前向神經(jīng)網(wǎng)絡只表達輸入輸出之間的映射關(guān)系，實現(xiàn)非線性映射；反饋神經(jīng)網(wǎng)絡考慮輸入輸出之間在時間上的延遲，需要用動態(tài)方程來描述，反饋神經(jīng)網(wǎng)絡是一個非線性動力學系統(tǒng)。前向神經(jīng)網(wǎng)絡的學習訓練主要基于BP算法，計算過程和收斂速度比較慢；反饋神經(jīng)網(wǎng)絡的學習主要采用Hebb規(guī)則，一般情況下計算的收斂速度較快，并且它與電子電路有明顯的對應關(guān)系，使網(wǎng)絡易于用硬件實現(xiàn)。前向神經(jīng)網(wǎng)絡學習訓練的目的是快速收斂，一般用誤差函數(shù)來判定其收斂程度；反饋神經(jīng)網(wǎng)絡的學習目的是快速尋找到穩(wěn)定點，一般用能量函數(shù)來判別其是否趨于穩(wěn)定點。兩者都有局部極小問題。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-27)自組織競爭神經(jīng)網(wǎng)絡動物直接依靠外部刺激達到自學習的某種功能。生物神經(jīng)元的激活經(jīng)過軸突傳遞到離其較近的神經(jīng)元。圖6.8所示的墨西哥帽形曲線刻畫了神經(jīng)元的側(cè)向鄰近效應，即激活神經(jīng)元對最鄰近的神經(jīng)元有激勵作用，對稍遠的神經(jīng)元有抑制作用，而對更遠的神經(jīng)元又有較弱的激勵作用。神經(jīng)元的側(cè)抑制現(xiàn)象使神經(jīng)元之間出現(xiàn)競爭，輸出最大的神經(jīng)元“獲勝”。1981年，提出自組織特征映射(Self-OrganizingFeatureMap，SOM)神經(jīng)網(wǎng)絡模型。神經(jīng)網(wǎng)絡在接受外界輸入模式時，會分成不同區(qū)域，各區(qū)域?qū)斎肽Ｊ接胁煌捻憫匦?，而且這一過程可以自動完成。數(shù)據(jù)挖掘與知識發(fā)現(xiàn)(第2版)(31-28)自組織競爭神經(jīng)網(wǎng)絡數(shù)據(jù)挖掘與知識