神經(jīng)網(wǎng)絡(luò)模式識(shí)別西安電子科技大學(xué)

第9章神經(jīng)網(wǎng)絡(luò)模式識(shí)別9.1神經(jīng)網(wǎng)絡(luò)的根本要素9.2前饋神經(jīng)網(wǎng)絡(luò)9.3自組織特征映射神經(jīng)網(wǎng)絡(luò)9.4支持向量機(jī)9.5神經(jīng)網(wǎng)絡(luò)模式識(shí)別習(xí)題9.1神經(jīng)網(wǎng)絡(luò)的根本要素9.1.1人工神經(jīng)元模型人工神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的根本處理單元，是對(duì)生物神經(jīng)元的簡化與模擬，單個(gè)的神經(jīng)元模型如圖9-1所示。圖9-1單個(gè)人工神經(jīng)元模型人工神經(jīng)元是一個(gè)多輸入、單輸出的非線性元件，其輸入輸出關(guān)系可表示為(9-1)其中:u1,u2,…,un是從外部環(huán)境或其他神經(jīng)元傳來的輸入信號(hào);k1,k2,…,kn是對(duì)應(yīng)于輸入的連接權(quán)值;θ是一個(gè)閾值;函數(shù)g:R→R為傳遞函數(shù),也稱為激活函數(shù),表示神經(jīng)元的輸出。常用的三種根本激活函數(shù)如下:(1)閾值型函數(shù)。常用的閾值型函數(shù)有階躍函數(shù)和符號(hào)函數(shù)。階躍函數(shù)的表達(dá)式為(9-2)符號(hào)函數(shù)的表達(dá)式為(9-3)(2)分段線性函數(shù)。函數(shù)表達(dá)式為(9-4)(3)Sigmoid函數(shù)。如圖9-2所示,函數(shù)表達(dá)式為(9-5)或(9-6)圖9-2Sigmoid函數(shù)示意圖(a)取值在(0,1)內(nèi);(b)取值在(－1,1)內(nèi)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)是由大量的人工神經(jīng)元廣泛互連而成的網(wǎng)絡(luò)。根據(jù)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)不同,神經(jīng)網(wǎng)絡(luò)可分為層次型網(wǎng)絡(luò)和網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)。在層次型網(wǎng)絡(luò)模型中,神經(jīng)元按層次結(jié)構(gòu)分成假設(shè)干層順序相連。網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)又可稱為相互結(jié)合型網(wǎng)絡(luò),在這種模型中,任意兩個(gè)神經(jīng)元之間都可能存在連接,網(wǎng)絡(luò)從某一個(gè)狀態(tài)開始,經(jīng)過假設(shè)干次的變化,逐漸趨于某一穩(wěn)定狀態(tài)。常見的層次型網(wǎng)絡(luò)有前饋網(wǎng)絡(luò)和反響網(wǎng)絡(luò),下面簡單介紹這兩種神經(jīng)網(wǎng)絡(luò)的根本結(jié)構(gòu)。1.前饋網(wǎng)絡(luò)前饋網(wǎng)絡(luò)中神經(jīng)元分層排列,網(wǎng)絡(luò)由輸入層、中間層(也稱隱含層)、輸出層組成,每一層的各神經(jīng)元只能接受前一層神經(jīng)元的輸出,作為自身的輸入信號(hào)。根據(jù)是否有中間層,前饋網(wǎng)絡(luò)分為單層前饋網(wǎng)絡(luò)和多層前饋網(wǎng)絡(luò)。常用的前饋網(wǎng)絡(luò)有感知器、BP網(wǎng)絡(luò)、RBF網(wǎng)絡(luò)等。單層前饋網(wǎng)絡(luò)沒有中間層。圖9-3給出了輸入、輸出均為四節(jié)點(diǎn)的單層前饋網(wǎng)絡(luò)。由于輸入層只接受外界輸入,無任何計(jì)算功能,因此輸入層不納入層數(shù)的計(jì)算中?！皢螌莹暿侵妇哂杏?jì)算節(jié)點(diǎn)的輸出層。圖9-3單層前饋神經(jīng)網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)有一個(gè)或多個(gè)隱含層。隱含層節(jié)點(diǎn)的輸入和輸出都是對(duì)網(wǎng)絡(luò)內(nèi)部的,隱含層節(jié)點(diǎn)具有計(jì)算功能,所以隱含層納入層數(shù)的計(jì)算中。多層前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖9-4所示。圖9-4多層前饋神經(jīng)網(wǎng)絡(luò)2.反響網(wǎng)絡(luò)反響網(wǎng)絡(luò)和前饋網(wǎng)絡(luò)的不同在于,反響網(wǎng)絡(luò)的輸出層接有反響環(huán)路,將網(wǎng)絡(luò)的輸出信號(hào)回饋到輸入層。一個(gè)無隱含層的反響網(wǎng)絡(luò)如圖9-5所示,網(wǎng)絡(luò)由單層神經(jīng)元構(gòu)成,每個(gè)神經(jīng)元都將其輸出反響到其他所有神經(jīng)元的輸入。圖9-5中所描述的結(jié)構(gòu)不存在自反響環(huán)路,即沒有輸出神經(jīng)元將輸出反響到其本身輸入的情況。單層反響網(wǎng)絡(luò)有多種,其中最典型的是Hopfield網(wǎng)絡(luò)。圖9-5單層反響神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)信息處理包括學(xué)習(xí)和執(zhí)行兩個(gè)階段。(1)學(xué)習(xí)階段也稱為訓(xùn)練階段,給定訓(xùn)練樣本集,按一定的學(xué)習(xí)規(guī)那么調(diào)整權(quán)系數(shù),使某種代價(jià)函數(shù)到達(dá)最小,也就是使權(quán)系數(shù)收斂到最優(yōu)值。(2)執(zhí)行階段是指,利用學(xué)習(xí)階段得到的連接權(quán)系數(shù),對(duì)輸入信息進(jìn)行處理,并產(chǎn)生相應(yīng)的輸出。根據(jù)學(xué)習(xí)過程的組織與管理,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可分為兩大類:①有教師(有監(jiān)督)學(xué)習(xí)。對(duì)每一個(gè)輸入訓(xùn)練樣本,都有一個(gè)期望得到的輸出值(也稱教師信號(hào)),將它和實(shí)際輸出值進(jìn)行比較,根據(jù)兩者之間的差值不斷調(diào)整網(wǎng)絡(luò)的連接權(quán)值,直到差值減小到預(yù)定的要求。②無教師(無監(jiān)督、自組織)學(xué)習(xí)。網(wǎng)絡(luò)的學(xué)習(xí)完全是一種自我調(diào)整的過程,不存在教師信號(hào)。輸入模式進(jìn)入網(wǎng)絡(luò)后,網(wǎng)絡(luò)按照預(yù)先設(shè)定的某種規(guī)那么反復(fù)地自動(dòng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值,使網(wǎng)絡(luò)最終具有模式分類等功能。假設(shè)yj為神經(jīng)元j的輸出,xi為神經(jīng)元i對(duì)神經(jīng)元j的輸入,wij是神經(jīng)元i與神經(jīng)元j之間的連接權(quán)值,Δwij為連接權(quán)值wij的修正值,即wij(n+1)=wij(n)+Δwij。下面介紹8種常用的學(xué)習(xí)規(guī)那么。1.Hebb學(xué)習(xí)規(guī)那么Hebb學(xué)習(xí)規(guī)那么是假定兩個(gè)神經(jīng)元同時(shí)興奮時(shí),它們之間的連接強(qiáng)度應(yīng)該加強(qiáng)。連接權(quán)值的學(xué)習(xí)規(guī)那么按下式計(jì)算:(9-7)其中,η為學(xué)習(xí)速率參數(shù)。2.感知器的學(xué)習(xí)規(guī)那么感知器的學(xué)習(xí)規(guī)那么屬于有教師訓(xùn)練,連接權(quán)值的學(xué)習(xí)規(guī)那么按下式計(jì)算:(9-8)其中:dj為神經(jīng)元j的期望響應(yīng);dj－yj為誤差信號(hào),一般用rj表示,也稱為學(xué)習(xí)信號(hào)。3.δ學(xué)習(xí)規(guī)那么δ學(xué)習(xí)規(guī)那么是由輸出值和期望值之間的最小均方誤差推導(dǎo)出來的。均方誤差定義為(9-9)從而(9-10)要使期望誤差最小,要求在負(fù)梯度方向上改變,所以取(9-11)其中,η為學(xué)習(xí)速率參數(shù)。一般地,學(xué)習(xí)速率參數(shù)η選得很小。4.Widrow-Hoff學(xué)習(xí)規(guī)那么Widrow-Hoff學(xué)習(xí)規(guī)那么也是使期望輸出值和實(shí)際輸出值之間平方誤差最小。連接權(quán)值的學(xué)習(xí)規(guī)那么按下式計(jì)算:(9-12)(9-13)該規(guī)那么可以看做δ規(guī)那么的特殊情況。5.相關(guān)學(xué)習(xí)規(guī)那么相關(guān)學(xué)習(xí)規(guī)那么為(9-14)這是Hebb規(guī)那么的特殊情況,但相關(guān)規(guī)那么是有教師的,要求權(quán)初始化wij=0。6.Winner-Take-All(勝者為王)學(xué)習(xí)規(guī)那么第m層中有一個(gè)神經(jīng)元有最大響應(yīng),這個(gè)神經(jīng)元被宣布為獲勝者,那么(9-1５)其中,α是小的學(xué)習(xí)常數(shù)。7.內(nèi)星和外星學(xué)習(xí)規(guī)那么內(nèi)星和外星學(xué)習(xí)規(guī)那么按下式計(jì)算：〔內(nèi)星訓(xùn)練法〕(9-16)〔外星訓(xùn)練法〕(9-17)8.梯度下降算法梯度下降算法的學(xué)習(xí)規(guī)那么按下式計(jì)算:(9-18)其中,E為誤差函數(shù)。9.2前饋神經(jīng)網(wǎng)絡(luò)感知器1.單層感知器網(wǎng)絡(luò)如圖9-6所示,單層感知器網(wǎng)絡(luò)只含有輸入層和輸出層,輸入層不涉及計(jì)算。輸入模式為n維矢量x=(x1,x2,…,xn)T,此時(shí),輸入層包含n個(gè)節(jié)點(diǎn)。輸出模式為m個(gè)類別ω1,ω2,…,ωm,輸出層有m個(gè)輸出節(jié)點(diǎn)y1,y2,…,ym,其中,每個(gè)輸出節(jié)點(diǎn)對(duì)應(yīng)一個(gè)模式類。輸入節(jié)點(diǎn)i和輸出節(jié)點(diǎn)j的連接權(quán)為wij(i=1,2,…,n;j=1,2,…,m)。輸出層第j個(gè)神經(jīng)元的輸出為(9-19)其中,傳遞函數(shù)f采用符號(hào)函數(shù)。假設(shè)yj=1,那么將輸入模式x判屬ωj類;假設(shè)yj=－1,那么輸入模式x不屬于ωj類。感知器的學(xué)習(xí)規(guī)那么為式(9-8)。圖9-6單層感知器網(wǎng)絡(luò)結(jié)構(gòu)圖2.多層感知器網(wǎng)絡(luò)單層感知器網(wǎng)絡(luò)只能解決線性可分問題。在單層感知器網(wǎng)絡(luò)的輸入層和輸出層之間參加一層或多層感知器單元作為隱含層,就構(gòu)成了多層感知器網(wǎng)絡(luò)。多層感知器網(wǎng)絡(luò)可以解決線性不可分的輸入向量的分類問題。9.2.2BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)是采用誤差反向傳播(BackPropagation,BP)算法的多層前饋網(wǎng)絡(luò),其中,神經(jīng)元的傳遞函數(shù)為S型函數(shù),網(wǎng)絡(luò)的輸入和輸出是一種非線性映射關(guān)系。BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)那么采用梯度下降算法。在網(wǎng)絡(luò)學(xué)習(xí)過程中,把輸出層節(jié)點(diǎn)的期望輸出(目標(biāo)輸出)與實(shí)際輸出(計(jì)算輸出)的均方誤差,逐層向輸入層反向傳播,分配給各連接節(jié)點(diǎn),并計(jì)算出各連接節(jié)點(diǎn)的參考誤差,在此根底上調(diào)整各連接權(quán)值,使得網(wǎng)絡(luò)的期望輸出與實(shí)際輸出的均方誤差到達(dá)最小。第j個(gè)樣本輸入到網(wǎng)絡(luò)時(shí),均方誤差為(9-20)其中:n0為輸出層的節(jié)點(diǎn)數(shù);ei,j表示輸入第j個(gè)樣本時(shí),輸出層第i個(gè)節(jié)點(diǎn)的期望輸出值yi,j與實(shí)際輸出值間的差值,即。連接權(quán)的調(diào)整主要有逐個(gè)處理和成批處理兩種方法。逐個(gè)處理,是指每輸入一個(gè)樣本就調(diào)整一次連接權(quán)。成批處理,是指一次性輸入所有訓(xùn)練樣本,計(jì)算總誤差,然后調(diào)整連接權(quán)。采用逐個(gè)處理的方法,并根據(jù)誤差的負(fù)梯度修改連接權(quán)值,BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)那么為(9-21)其中:k為迭代次數(shù);W(r)p,k表示第r層(從第一個(gè)隱含層開始r=1,輸入層r=0)的連接權(quán)陣W(r)的第p行,即W(r)p,k是由第r－1層各節(jié)點(diǎn)到第r層的第p個(gè)節(jié)點(diǎn)所有連接權(quán)值組成的一個(gè)行向量;η為學(xué)習(xí)步長,0<η<1;Ek為第k次迭代的均方誤差。設(shè)BP網(wǎng)絡(luò)有l(wèi)個(gè)隱含層,由神經(jīng)元的輸入與輸出關(guān)系,有(9-22)其中:為輸出層的傳遞函數(shù);表示最后一個(gè)隱含層各節(jié)點(diǎn)到輸出層第i個(gè)節(jié)點(diǎn)的加權(quán)和;nl表示最后一個(gè)隱含層的節(jié)點(diǎn)數(shù);wj,i表示最后一個(gè)隱含層的第j個(gè)節(jié)點(diǎn)和輸出層的第i個(gè)節(jié)點(diǎn)之間的權(quán)值;表示第l隱含層的第j個(gè)節(jié)點(diǎn)的輸出。下面討論各層連接權(quán)陣的計(jì)算。1.輸出層(第l+1層)輸出層連接權(quán)陣W(l+1)的第p行W(l+1)p,k=(w1,p,w2,p,…,wnl,p)的調(diào)整方程為(9-23)其中(9-24)為第k次迭代中輸出的局部誤差,取決于輸出誤差ep,k和輸出層傳遞函數(shù)的偏導(dǎo)；為第l隱含層各神經(jīng)元的輸出。2.隱含層(第r層,r=1,2,…,l)第r－1層各節(jié)點(diǎn)到第r(r=1,2,…,l)層第p個(gè)節(jié)點(diǎn)的加權(quán)和為(9-25)其中:nr－1表示第r－1隱含層的節(jié)點(diǎn)數(shù);

表示第r－1隱含層的第j個(gè)節(jié)點(diǎn)和第r隱含層的第p個(gè)節(jié)點(diǎn)之間的權(quán)值;表示第r－1隱含層的第j個(gè)節(jié)點(diǎn)的輸出。對(duì)第r(r=1,2,…,l)隱含層,連接權(quán)陣W(r)的第p行的調(diào)整方程為(9-26)其中，為第k次迭代中第r隱含層的局部誤差;為r－1第隱層各神經(jīng)元的輸出。下面分析的迭代方法：(9-27)其中:fr(·)為第r隱含層的傳遞函數(shù);f′r(·)為fr(·)的導(dǎo)數(shù)。BP網(wǎng)絡(luò)的誤差反向傳播為(9-28)因此,(9-29)逐個(gè)處理的BP算法訓(xùn)練步驟如下:(1)初始化。根據(jù)實(shí)際問題,設(shè)計(jì)網(wǎng)絡(luò)連接結(jié)構(gòu),例如,輸入變量和輸出變量個(gè)數(shù)、隱含的層數(shù)、各層神經(jīng)元的個(gè)數(shù),并隨機(jī)設(shè)置所有的連接權(quán)值為任意小值。假設(shè)輸入變量為n個(gè),輸出變量為m個(gè),每個(gè)訓(xùn)練樣本的形式為(x1,x2,…,xn;y1,y2,…,ym),其中,y=(y1,y2,…,ym)是輸入為x=(x1,x2,…,xn)時(shí)的期望輸出。(2)輸入一個(gè)樣本,用現(xiàn)有的權(quán)值計(jì)算網(wǎng)絡(luò)中各神經(jīng)元的實(shí)際輸出。(3)利用式(9-24)和式(9-29)計(jì)算局部誤差ε(i)p,k(i=1,2,…,l,l+1),l為隱含層的個(gè)數(shù)。(4)根據(jù)遞推式(9-23)和式(9-26)計(jì)算ΔW(i)p,k(i=1,2,…,l,l+1),并更新相應(yīng)的權(quán)值。有時(shí)為了加快網(wǎng)絡(luò)的收斂速度,考慮過去權(quán)值變化的影響,使權(quán)值變得平滑些,可增加一個(gè)動(dòng)量項(xiàng),即(9-30)其中,α稱為動(dòng)量常數(shù)。(5)輸入另一樣本,轉(zhuǎn)步驟(2)。訓(xùn)練樣本是隨機(jī)輸入的,并且要求把訓(xùn)練集中所有樣本都加到網(wǎng)絡(luò)上,直到網(wǎng)絡(luò)收斂且均方誤差小于給定的閾值,才結(jié)束訓(xùn)練。此時(shí),固定權(quán)值,網(wǎng)絡(luò)就構(gòu)成了一個(gè)模式分類器。成批處理時(shí),將全部N個(gè)樣本依次輸入,累加N個(gè)輸出誤差后對(duì)連接權(quán)進(jìn)行一次調(diào)整,連接權(quán)矩陣各行的調(diào)整方程可表示為(9-31)

【例9.1】隱含層為一層的BP網(wǎng)絡(luò)的結(jié)構(gòu)如圖9-7所示。網(wǎng)絡(luò)共分為三層:i為輸入層節(jié)點(diǎn),j為隱含層節(jié)點(diǎn),k為輸出層節(jié)點(diǎn)。隱含層節(jié)點(diǎn)的激活函數(shù)采用Sigmoid函數(shù):定義網(wǎng)絡(luò)的誤差函數(shù)為其中:dk表示網(wǎng)絡(luò)的期望輸出;yk表示網(wǎng)絡(luò)的實(shí)際輸出。圖9-7一個(gè)隱含層的BP網(wǎng)絡(luò)的結(jié)構(gòu)圖各層連接權(quán)值修正公式如下:(1)隱含層與輸出層:〔2〕輸入層與隱含層其中:η為學(xué)習(xí)率;δk、δj為修正值;xj′為隱含層節(jié)點(diǎn)j的輸出,即，，BP學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中最常用的學(xué)習(xí)方法之一,BP網(wǎng)絡(luò)被廣泛應(yīng)用于模式識(shí)別、函數(shù)逼近、數(shù)據(jù)壓縮等多個(gè)方面。但是,BP算法存在一些缺乏,例如,隱含層數(shù)和隱含層神經(jīng)元數(shù)目通常是通過實(shí)驗(yàn)確定的,缺乏理論依據(jù);有可能收斂到一個(gè)局部極小點(diǎn),得到局部最優(yōu)解;學(xué)習(xí)算法的收斂速度較慢。徑向基函數(shù)網(wǎng)絡(luò)

徑向基函數(shù)(RadialBasisFunction,RBF)網(wǎng)絡(luò)的結(jié)構(gòu)與BP網(wǎng)絡(luò)類似,它是一個(gè)三層前饋網(wǎng)絡(luò),包含1個(gè)輸入層、1個(gè)隱含層和1個(gè)輸出層,其結(jié)構(gòu)如圖9-8所示。圖9-8RBF網(wǎng)絡(luò)結(jié)構(gòu)在RBF神經(jīng)網(wǎng)絡(luò)中,隱含層單元提供了一系列“函數(shù)〞,這些函數(shù)就稱作為徑向基函數(shù),它是關(guān)于中心點(diǎn)對(duì)稱的非線性函數(shù)。當(dāng)輸入模式(向量)傳輸?shù)诫[含層時(shí),這些徑向基函數(shù)構(gòu)成了輸入模式的一個(gè)“基〞。當(dāng)RBF的中心點(diǎn)確定后,映射關(guān)系就確定了,將輸入向量直接映射到隱含層空間,其中不需要連接權(quán)。隱含層空間到輸出層空間為線性映射,也就是說,網(wǎng)絡(luò)的輸出是隱含層單元輸出的線性加權(quán)和:(9-32)其中:wij為隱含層中節(jié)點(diǎn)i到輸出層節(jié)點(diǎn)j的連接權(quán)值,有監(jiān)督學(xué)習(xí)時(shí),可利用δ學(xué)習(xí)規(guī)那么反向修改權(quán)值;L為徑向基函數(shù)的個(gè)數(shù),即隱含層節(jié)點(diǎn)數(shù);bj為輸出層節(jié)點(diǎn)j的偏移(閾值);zi為隱含層中節(jié)點(diǎn)i的輸出:(i=1,2,…,L)(9-33)這里,x=(x1,x2,…,xn)T∈Rn為輸入信號(hào);φi為一個(gè)正的徑向基函數(shù),其中心矢量為ui∈Rn,分布寬度為αi>0(形狀參數(shù))。BF函數(shù)有多種形式,例如:(1)高斯核,其函數(shù)表達(dá)式為(i=1,2,…,L)(9-34)(2)三角核,其函數(shù)表達(dá)式為(i=1,2,…,L)(9-35)(3)雙指數(shù)核,其函數(shù)表達(dá)式為(i=1,2,…,L)(9-36)最常用的RBF函數(shù)形式是高斯核函數(shù)。網(wǎng)絡(luò)學(xué)習(xí)時(shí),RBF函數(shù)的中心矢量ui和形狀參數(shù)αi也參與學(xué)習(xí)修正。中心矢量修正的方法主要有自組織特征映射方法和K均值聚類方法。RBF函數(shù)的形狀參數(shù)αi應(yīng)根據(jù)樣本的特性自適應(yīng)地選擇。假設(shè)αi取得較大,那么隱含層中節(jié)點(diǎn)i能感受較大范圍內(nèi)的模式,容錯(cuò)性好,但局部性差;假設(shè)αi取得較小,那么容錯(cuò)性差,但局部性好。理論上而言,RBF網(wǎng)絡(luò)和BP網(wǎng)絡(luò)一樣可近似任何的連續(xù)非線性函數(shù),二者的主要差異在于各使用不同的傳遞函數(shù)。BP網(wǎng)絡(luò)中隱含層單元的傳遞函數(shù)一般為非線性函數(shù),RBF網(wǎng)絡(luò)隱含層單元的傳遞函數(shù)是關(guān)于中心對(duì)稱的徑向基函數(shù)。BP網(wǎng)絡(luò)各層單元間通過權(quán)連接,RBF網(wǎng)絡(luò)輸入層和隱含層間為直接連接,隱含層到輸出層通過權(quán)連接。9.3自組織特征映射神經(jīng)網(wǎng)絡(luò)生理學(xué)研究說明,人腦中不同的細(xì)胞其作用并不相同,處于空間不同位置的腦細(xì)胞區(qū)域有各自的分工,控制著人體不同部位的運(yùn)動(dòng)。類似地,處于不同區(qū)域的腦細(xì)胞對(duì)來自某一方面的或特定的刺激信號(hào)的敏感程度也不同。某一外界信息所引起的興奮刺激并不只針對(duì)某一個(gè)神經(jīng)細(xì)胞,而是針對(duì)以某一個(gè)神經(jīng)細(xì)胞為中心的一個(gè)區(qū)域內(nèi)各細(xì)胞的興奮刺激,并且響應(yīng)強(qiáng)度在區(qū)域中心最大,隨著與中心距離的增大,強(qiáng)度逐漸減弱,遠(yuǎn)離中心的神經(jīng)元反而還要受到抑制。這種特定細(xì)胞對(duì)特定信號(hào)的特別反響能力是由后來的經(jīng)歷和訓(xùn)練形成的。網(wǎng)絡(luò)結(jié)構(gòu)

自組織特征映射神經(jīng)網(wǎng)絡(luò)由輸入層和輸出層組成,輸出層也稱為競(jìng)爭(zhēng)層。其網(wǎng)絡(luò)結(jié)構(gòu)如圖9-9所示。輸入層為輸入模式的一維陣列,其節(jié)點(diǎn)數(shù)為輸入模式的維數(shù)。輸入層和輸出層神經(jīng)元間為全互連方式,即所有輸入層節(jié)點(diǎn)到所有輸出層節(jié)點(diǎn)都有權(quán)值連接。輸出層神經(jīng)元按二維陣列形式排列,且相互間也可能存在局部連接,每個(gè)神經(jīng)元代表一種輸入樣本。圖9-9自組織特征映射網(wǎng)絡(luò)結(jié)構(gòu)圖對(duì)于給定的輸入模式,網(wǎng)絡(luò)在學(xué)習(xí)過程中不斷調(diào)整連接權(quán)值,形成興奮中心神經(jīng)元(獲勝神經(jīng)元)j*。在神經(jīng)元j*的鄰域NEj*內(nèi)的神經(jīng)元都在不同程度上得到興奮,而在NEj*以外的神經(jīng)元都被抑制。這個(gè)鄰域NEj*可以是任意形狀,如正方形、六邊形。區(qū)域NEj*的大小是時(shí)間t的函數(shù),用NEj*(t)表示。隨著時(shí)間t的增大,NEj*(t)的面積逐漸減小,最后只剩下一組神經(jīng)元或一個(gè)神經(jīng)元,反映了某一類輸入模式的特性。采用正方形的鄰域形狀圖如圖9-10所示。圖9-10不同時(shí)刻特征映射的拓?fù)溧徲?t0<t1<t2)自組織特征映射算法設(shè)自組織特征映射網(wǎng)絡(luò)的輸入模式x=(x1,x2,…,xn)T,輸出層每個(gè)節(jié)點(diǎn)(神經(jīng)元)對(duì)應(yīng)一個(gè)權(quán)向量Wj=(w1j,w2j,…,wnj)T,wij是輸入節(jié)點(diǎn)i到輸出節(jié)點(diǎn)j的連接權(quán)值。輸入一個(gè)模式x時(shí),將其和輸出層每個(gè)節(jié)點(diǎn)的權(quán)向量都進(jìn)行比較,然后對(duì)距離最近的節(jié)點(diǎn)及其鄰域中的節(jié)點(diǎn)的權(quán)向量進(jìn)行修正。Kohonen給出了自組織特征映射算法,具體過程如下:(1)初始化權(quán)值。初始化從n個(gè)輸入節(jié)點(diǎn)到m個(gè)輸出節(jié)點(diǎn)的權(quán)值,取值為小的隨機(jī)數(shù),設(shè)定鄰域的半徑的初始值。(2)提交t時(shí)刻的輸入模式:x(t)=(x1(t),x2(t),…,xn(t))T。(3)計(jì)算輸入模式到所有輸出節(jié)點(diǎn)的距離:(9-37)其中:xi(t)是t時(shí)刻輸入節(jié)點(diǎn)i的輸入;wij(t)是t時(shí)刻輸入節(jié)點(diǎn)i到輸出節(jié)點(diǎn)j的連接權(quán)值;dj為輸入模式到輸出節(jié)點(diǎn)j的距離。(4)選擇具有最小距離的輸出節(jié)點(diǎn)j*:(9-38)(5)更新節(jié)點(diǎn)j*及其鄰域NEj*(t)中的節(jié)點(diǎn)的權(quán)值:(1≤i≤n,j∈NEj*(t))(9-39)其中:η(t)為增益項(xiàng),0<η(t)<1,η(t)是時(shí)間t的遞減函數(shù);NEj*(t)為節(jié)點(diǎn)j*的鄰域。(6)假設(shè)還有輸入樣本數(shù)據(jù),令t=t+1,那么返回到步驟(2)。在學(xué)習(xí)過程中,鄰域在初始時(shí)可選大些,然后逐步收縮;學(xué)習(xí)系數(shù)η(t)在初始時(shí)可取接近于1.0的常數(shù),然后逐漸變小。SOFM網(wǎng)絡(luò)中,輸出層各神經(jīng)元的連接權(quán)向量的空間分布能夠準(zhǔn)確反映輸入模式空間的概率分布,這就是SOFM網(wǎng)絡(luò)的自組織能力。因此,可以利用SOFM網(wǎng)絡(luò)對(duì)未知概率分布模式進(jìn)行學(xué)習(xí),由網(wǎng)絡(luò)的連接權(quán)向量的空間分布獲得輸入模式的概率分布。自組織特征映射算法屬于非監(jiān)督學(xué)習(xí),SOFM網(wǎng)絡(luò)也可用于有監(jiān)督的學(xué)習(xí)。當(dāng)類別的學(xué)習(xí)模式x輸入網(wǎng)絡(luò)時(shí),仍按式(9-38)選擇獲勝神經(jīng)元j*。如果獲勝神經(jīng)元是輸入模式的正確類別,那么將獲勝神經(jīng)元的連接權(quán)向量向x靠攏的方向調(diào)整,否那么向反方向調(diào)整。調(diào)整方程為(j*是正確類別)(j*不是正確類別)9.4支持向量機(jī)統(tǒng)計(jì)學(xué)習(xí)理論是一種建立在小樣本統(tǒng)計(jì)學(xué)上的理論。小樣本統(tǒng)計(jì)學(xué)理論指的是依據(jù)有限樣本進(jìn)行統(tǒng)計(jì)推斷。支持向量機(jī)(SupportVectorMachine,SVM)是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)算法,建立在統(tǒng)計(jì)學(xué)習(xí)理論的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原那么之上。針對(duì)兩類分類問題,SVM在高維空間中尋找一個(gè)超平面作為兩類的分割,以保證最小的分類錯(cuò)誤率。少數(shù)與超平面最接近的那些訓(xùn)練樣本稱為支持向量,它們決定了推廣性能。SVM有三個(gè)關(guān)鍵的概念:分類間隔(margin)、對(duì)偶(duality)以及核。線性可分情況SVM從線性可分情況下的最優(yōu)分類開展而來,如圖9-11所示。方點(diǎn)和圓點(diǎn)各代表一類樣本,H為分類線,H1和H2分別為過兩類中距離分類線最近的樣本且平行于分類線的直線,它們之間的距離稱為分類間隔。最優(yōu)分類線就是要求分類線不但能將兩類樣本正確分開,而且使分類間隔最大。圖9-11線性可分情況下的最優(yōu)分類假設(shè)存在訓(xùn)練樣本(xi,yi),i=1,2,…,N,xi∈Rn,yi∈{-1,+1}在線性可分情況下會(huì)有一個(gè)超平面使得這兩類樣本完全分開。n維空間中線性判別函數(shù)的一般形式為f(x)=〈w,x〉+b,那么超平面描述為(9-40)其中,〈w,x〉是n維向量空間中的兩個(gè)向量的內(nèi)積,w是超平面的法向量。判別函數(shù)滿足以下條件:(yi=+1)(yi=－1)將判別函數(shù)進(jìn)行歸一化,使兩類所有樣本都滿足|f(x)|≥1,那么判別函數(shù)變?yōu)?i=1,2,…,N)(9-41)此時(shí)樣本點(diǎn)到超平面的最小距離為,分類間隔等于使使最大等價(jià)于使‖w‖2最小。滿足式(9-41)并且使‖w‖2最小的分界面稱為最優(yōu)分界面,H1和H2上的訓(xùn)練樣本點(diǎn)稱為支持向量。統(tǒng)計(jì)學(xué)習(xí)理論指出:在n維空間中,設(shè)樣本分布在一個(gè)半徑為R的超球形范圍內(nèi),那么滿足條件‖w‖≤A的正那么超平面構(gòu)成的指示函數(shù)集f(x,w,b)=sgn{〈w,x〉+b}(sgn()為符號(hào)函數(shù))的VC維(VapnikChervonenkisDimension)h滿足下式說明的界:(9-42)因此,使‖w‖2最小就變成了求下面的函數(shù)解:最小化：(9-43)使?jié)M足：(9-44)利用Lagrange優(yōu)化方法可以把上面問題轉(zhuǎn)化為其對(duì)偶問題:(9-45)使?jié)M足：(9-46)其中,ai為每個(gè)樣本對(duì)應(yīng)的Lagrange乘子。這是一個(gè)在等式約束和不等式約束下的凸二次優(yōu)化問題,存在唯一解,且解中只有一局部ai不為零,對(duì)應(yīng)的樣本就是支持向量。此時(shí)最優(yōu)分類函數(shù)為(9-47)上式求和計(jì)算取ai中不為零的值,b可以利用任一支持向量滿足式(9-41)中的等號(hào)求得。線性不可分情況對(duì)于線性不可分情況,可以在條件中增加松弛項(xiàng)ξi≥0,約束條件為yi(〈w,xi〉+b)≥1－ξi,其中ξi≥0,i=1,2,…,N,此時(shí)目標(biāo)函數(shù)變?yōu)?9-48)其中,C為可調(diào)參數(shù),表示對(duì)錯(cuò)誤的懲罰程度,C越大懲罰越重。上述問題可描述為最大化：(9-49)使?jié)M足:(9-50)非線性SVM問題的根本思想是:通過非線性變換將非線性問題轉(zhuǎn)換為某個(gè)高維空間中的線性問題,在變換空間求最優(yōu)分類面。一般地,新空間維數(shù)要高于原空間維數(shù)。這種映射可表示為:將x作變換Φ:Rn→H(H為某個(gè)高維特征空間)(9-51)其中,Φi(x)是實(shí)函數(shù)。那么可以建立在新空間中的優(yōu)化超平面:(9-52)注意到,對(duì)偶問題中只涉及訓(xùn)練樣本之間的內(nèi)積運(yùn)算〈xi,xj〉,這種內(nèi)積運(yùn)算是可以用原空間中的函數(shù)實(shí)現(xiàn)的,甚至不需要知道變換的形式。根據(jù)泛函的有關(guān)理論,只要一種核函數(shù)K(xi,xj)滿足Mercer條件,它就對(duì)應(yīng)某一變換空間中的內(nèi)積。定義非線性映射Φ:Rn→H,H為高維Hilbert空間,核函數(shù)K(x,y)=〈Φ(x),Φ(y)〉,那么最大間隔非線性支持向量機(jī)的目標(biāo)函數(shù)就變?yōu)?9-53)相應(yīng)的分類函數(shù)為(9-54)非線性支持向量機(jī)的最優(yōu)化問題為最大化：(9-55)使?jié)M足：(9-56)采用不同的內(nèi)積核函數(shù)將形成不同的算法,常用的核函數(shù)有以下幾種:(1)多項(xiàng)式函數(shù),表達(dá)式為(c≥0)(9-57)此時(shí),支持向量機(jī)是一個(gè)q階多項(xiàng)式學(xué)習(xí)機(jī)器。當(dāng)c>0時(shí),稱它為非齊次多項(xiàng)式核;當(dāng)c=0時(shí),稱為齊次多項(xiàng)式核。(2)高斯徑向基函數(shù)(RBF),表達(dá)式為(9-58)(3)Sigmoid函數(shù),表達(dá)式為(9-59)其中,μ>0,c<0。9.5神經(jīng)網(wǎng)絡(luò)模式識(shí)別人工神經(jīng)網(wǎng)絡(luò)由大量結(jié)構(gòu)和功能簡單的處理單元廣泛互連組成,用以模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能。模式識(shí)別的研究目標(biāo)是利用計(jì)算機(jī)實(shí)現(xiàn)人類的識(shí)別能力,而人對(duì)外界感知的主要生理根底就是神經(jīng)系統(tǒng),因此,根據(jù)人腦生理結(jié)構(gòu)構(gòu)造而成的人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有模式識(shí)別的理論和結(jié)構(gòu)根底。事實(shí)上,模式識(shí)別是神經(jīng)網(wǎng)絡(luò)理論應(yīng)用最成功的一個(gè)方面。目前,被廣泛用于模式識(shí)別的神經(jīng)網(wǎng)絡(luò)模型包括感知器、BP網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)、自組織特征映射網(wǎng)絡(luò)和支持向量機(jī)等。神經(jīng)網(wǎng)絡(luò)模式識(shí)別與統(tǒng)計(jì)模式識(shí)別神經(jīng)網(wǎng)絡(luò)模式識(shí)別與統(tǒng)計(jì)模式識(shí)別是模式識(shí)別的兩個(gè)重要分支,它們之間關(guān)系密切。一方面,統(tǒng)計(jì)模式識(shí)別為神經(jīng)網(wǎng)絡(luò)分類器設(shè)計(jì)提供指導(dǎo);另一方面,神經(jīng)網(wǎng)絡(luò)分類器可以提高統(tǒng)計(jì)分類器的性能。傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別包括Bayes分類器、線性判別函數(shù)、分段線性判別函數(shù)、近鄰分類器、特征提取和聚類分析等內(nèi)容。這些內(nèi)容均可以找到相應(yīng)的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)方法。例如,單層感知器網(wǎng)絡(luò)實(shí)際上就是一種線性分類器,多層感知器網(wǎng)絡(luò)那么可看做非線性分類器;自組織特征映射網(wǎng)絡(luò)可以較好地完成聚類的任務(wù);神經(jīng)網(wǎng)絡(luò)的隱含層具有特征提取的功能。當(dāng)表征模式的不是特征向量,而是包含特征的原始數(shù)值時(shí),統(tǒng)計(jì)模式識(shí)別必須解決特征提取和選擇問題。例如,圖像識(shí)別中,需要從圖像點(diǎn)陣中提取圖像特征;語音識(shí)別中,需要從采樣量化后得到的原始數(shù)據(jù)中提取語音特征。統(tǒng)計(jì)模式識(shí)別的性能對(duì)特征提取和選