模式識(shí)別第3章人工神經(jīng)網(wǎng)絡(luò)及模式識(shí)別

第3章

人工神經(jīng)網(wǎng)絡(luò)及模式識(shí)別

2023/2/12引言

模式識(shí)別：研究的是如何用計(jì)算機(jī)實(shí)現(xiàn)人腦的一些功能。人腦：可看作是由大量神經(jīng)元組成的巨大的神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)：1943年，McCulloch和Pitts提出了神經(jīng)元的數(shù)學(xué)模型1949年，Hebb提出神經(jīng)元的學(xué)習(xí)準(zhǔn)則，為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)50年代末，Rosenblatt提出了感知器模型，首次把神經(jīng)網(wǎng)絡(luò)的研究付諸工程實(shí)踐。1982年，Hopfield提出了神經(jīng)網(wǎng)絡(luò)模型，設(shè)計(jì)出用電子線路實(shí)現(xiàn)這一網(wǎng)絡(luò)的方案，開(kāi)拓了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑，大大促進(jìn)了神經(jīng)網(wǎng)絡(luò)的研究。1986年，Rumelhart及LeeCun等提出了多層感知器的反向傳播算法，克服了阻礙感知器模型發(fā)展的重要障礙?，F(xiàn)在神經(jīng)網(wǎng)絡(luò)的應(yīng)用已滲透到多個(gè)領(lǐng)域，如智能控制、模式識(shí)別、信號(hào)處理、計(jì)算機(jī)視覺(jué)、優(yōu)化計(jì)算、知識(shí)處理、生物醫(yī)學(xué)工程等。2023/2/133.1人工神經(jīng)元

3.1.1生物神經(jīng)元

胞體。是神經(jīng)細(xì)胞的本體（可看成系統(tǒng)）樹(shù)突。長(zhǎng)度較短，接受自其他神經(jīng)元的信號(hào)（輸入）軸突。它用以輸出信號(hào)突觸。它是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元相聯(lián)系的部位，是一個(gè)神經(jīng)元軸突的端部將信號(hào)（興奮）傳遞給下一個(gè)神經(jīng)元的樹(shù)突或胞體；

對(duì)樹(shù)突的突觸多為興奮性的，使下一個(gè)神經(jīng)元興奮；

而對(duì)胞體的突觸多為抑制性，其作用是阻止下一個(gè)神經(jīng)元興奮。2023/2/14神經(jīng)元的基本工作機(jī)制一個(gè)神經(jīng)元有兩種狀態(tài)：興奮和抑制。平時(shí)處于抑制狀態(tài)的神經(jīng)元，其樹(shù)突和胞體接收其他神經(jīng)元經(jīng)由突觸傳來(lái)的興奮電位;多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加；如果輸入興奮總量超過(guò)某個(gè)閾值，神經(jīng)元就會(huì)被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其他神經(jīng)元。神經(jīng)元被觸發(fā)之后有一個(gè)不應(yīng)期，在此期間內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復(fù)興奮性。2023/2/153.1.2人工神經(jīng)元

(1)輸入xi:相當(dāng)于其他神經(jīng)元的輸出;(2)權(quán)值ωi

:相當(dāng)于突觸的連接強(qiáng)度(3)f:是一個(gè)非線性函數(shù)，如閾值函數(shù)或Sigmoid函數(shù)2023/2/16神經(jīng)元的動(dòng)作：當(dāng)f為閾值函數(shù)時(shí)，其輸出為：也可寫為：或：其中：2023/2/17選取不同的輸出函數(shù)f，y的取值范圍也不同則則某些算法要求f可微，此時(shí)通常選用Sigmoid函數(shù)：

若或：若則則或：Sigmoid函數(shù)的特性：1）非線性，單調(diào)性。2）無(wú)限次可微。3）當(dāng)權(quán)值很大時(shí)可近似閾值函數(shù)。當(dāng)權(quán)值很小時(shí)可近似線性函數(shù)。2023/2/18如果神經(jīng)元ui接收來(lái)自另一神經(jīng)元uj的輸出，則當(dāng)這兩個(gè)神經(jīng)元同時(shí)興奮時(shí)，從uj到ui的權(quán)值wij就得到加強(qiáng)。具體到前述的神經(jīng)元模型，可以將Hebb規(guī)則表現(xiàn)為如下的算法：

式中是對(duì)第i個(gè)權(quán)值的修正量η是控制學(xué)習(xí)速度的系數(shù)。太大會(huì)影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢，一般取0＜η≤1；人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作3.1.3神經(jīng)元的學(xué)習(xí)算法–--

Hebb學(xué)習(xí)規(guī)則2023/2/193.2前饋神經(jīng)網(wǎng)絡(luò)3.2.1前饋神經(jīng)網(wǎng)絡(luò)(用于監(jiān)督學(xué)習(xí))網(wǎng)絡(luò)的神經(jīng)元接受前一級(jí)輸入，并輸出到下一級(jí)，無(wú)反饋。節(jié)點(diǎn)分為兩類：輸入節(jié)點(diǎn)與計(jì)算單元。每個(gè)計(jì)算單元可有任意個(gè)輸入，但只有一個(gè)輸出，而輸出可藕合到任意多個(gè)其他節(jié)點(diǎn)的輸入。前饋網(wǎng)絡(luò)通常分為不同的層，第i層的輸入只與第i-1層的輸出相聯(lián)。輸入節(jié)點(diǎn)為第一層。輸入和輸出節(jié)點(diǎn)由于可與外界相連，稱為可見(jiàn)層，而其他的中間層則稱為隱層。2023/2/1103.2.2感知器（Perceptron）也稱雙層神經(jīng)網(wǎng)絡(luò)、單計(jì)算層感知器(1)輸入層,也稱為感知層每個(gè)節(jié)點(diǎn)接收一個(gè)輸入信號(hào)，n個(gè)輸入信號(hào)構(gòu)成輸入列向量X

(2)具有計(jì)算單元的輸出層有m個(gè)神經(jīng)元節(jié)點(diǎn)，均有信息處理能力，m個(gè)節(jié)點(diǎn)向外部輸出信息，構(gòu)成輸出列向量O。(3)兩層之間的連接權(quán)值

用權(quán)值列向量Wj表示，m個(gè)權(quán)向量構(gòu)成單層感知器的權(quán)值矩陣W。

感知器模型示意圖

2023/2/111感知器用于模式識(shí)別

輸入X：樣本的特征向量。

輸出O：每個(gè)節(jié)點(diǎn)輸出為：

輸出向量O可以用來(lái)表示類別屬性：例如：

若X∈ωj時(shí)，應(yīng)使對(duì)應(yīng)于該類的輸出節(jié)點(diǎn)的輸出Oj=1，

而其他節(jié)點(diǎn)的輸出則為Oi=0（或-1），2023/2/112例:單計(jì)算節(jié)點(diǎn)感知器(1)設(shè)輸入向量X=(x1,x2)T則輸出為：ojx1-Tx2則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線。(2)輸入n維向量，X=(x1，x2,…，xn)Twijx1+w2jx2+…+wnj

–Tj=0確定了n維空間上的一個(gè)分界平面可見(jiàn)：一個(gè)最簡(jiǎn)單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能?？蓪?shí)現(xiàn)線性分類器感知器的學(xué)習(xí)規(guī)則可以用已知類別的模式向量或特征向量作為訓(xùn)練集若X∈ωj，應(yīng)使對(duì)應(yīng)于該類的輸出節(jié)點(diǎn)的輸出Oj=1，

而其他節(jié)點(diǎn)的輸出則為Oi=0（或-1）設(shè)理想的輸出為：Y=[y1,y2,y3,….,ym]T某次迭代(k)上的實(shí)際輸出為：Y’=[y’1,y’2,y’3,….,y’m]T對(duì)權(quán)值ω利用Hebb規(guī)則作如下的修改:wij(k+1)=wij(k)+Δwij(k)其中：Δwij(k)=η(yj-y’j)xj,i=1,2,…,n;j=1,…,m

η為學(xué)習(xí)率，用于控制調(diào)整速度，太大會(huì)影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢，一般0＜η≤1；2023/2/113感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1)對(duì)各權(quán)值w0j(0),w1j(0),┄,wnj(0)，j=1,2,┄,m

（m為計(jì)算層的節(jié)點(diǎn)數(shù)）賦予較小的非零隨機(jī)數(shù)；(2)輸入樣本對(duì){Xp,Yp}，其中Xp=(-1,x1p,x2p,┄,xnp)，

Yp為期望的輸出向量，上標(biāo)p代表樣本對(duì)的序號(hào)，樣本集中的樣本總數(shù)為P，p=1,2,┄,P；(3)計(jì)算各節(jié)點(diǎn)的實(shí)際輸出:yjp(k)=sgn[WjT(k)Xp],j=1,2,...,m(4)調(diào)整各節(jié)點(diǎn)對(duì)應(yīng)的權(quán)值:Wj(k+1)=Wj(k)+η[Yjp-Yjp(k)]Xp,j=1,2,┄,m,(5)返回到步驟(2),輸入下一對(duì)樣本，周而復(fù)始直到對(duì)所有樣本，感知器的實(shí)際輸出與期望輸出相等:Yjp(k)=Yjp2023/2/1142023/2/115感知器的學(xué)習(xí)過(guò)程與求取線性判別函數(shù)的過(guò)程是等價(jià)的感知器的一些特性：①兩層感知器只能用于解決線性可分問(wèn)題。②學(xué)習(xí)過(guò)程收斂很快，且與初始值無(wú)關(guān)。2023/2/116例:單計(jì)算節(jié)點(diǎn)感知器，3個(gè)輸入。給定3對(duì)訓(xùn)練樣本對(duì)如下：X1=(-1，1，-2，0)T

y1=1 X2=(-1，0，1.5，-0.5)T

y2=1X3=(-1，-1，1，0.5)T

y3=1設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，輸入向量中第一個(gè)分量x0恒等于-1，權(quán)向量中第一個(gè)分量為閾值，試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。2023/2/117解：第一步輸入X1，得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5,y1(0)=sgn(2.5)=1W(1)=W(0)+η[y1-y1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T第二步輸入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6y2(1)=sgn(-1.6)=-1W(2)=W(1)+η[y2-y2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T=W(1)第三步輸入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1y3(2)=sgn(-2.1)=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T

第四步返回到第一步,繼續(xù)訓(xùn)練直到y(tǒng)p(k)-yp=03.2.3三層前饋網(wǎng)絡(luò)及MLP三層前饋網(wǎng)絡(luò)由輸入層、中間層和輸出層構(gòu)成。有兩個(gè)計(jì)算層也稱三層感知器能夠求解非線性問(wèn)題三層或三層以上的前饋網(wǎng)絡(luò)通常又被叫做多層感知器（Multi-LayerPerceptron．簡(jiǎn)稱MLP）。由三部分組成：①、一組感知單元組成輸入層；②、一層或多層計(jì)算節(jié)點(diǎn)的隱藏層；③、一層計(jì)算節(jié)點(diǎn)的輸出層。MLP的表示：輸入節(jié)點(diǎn)數(shù)-第1隱層節(jié)點(diǎn)數(shù)-第2隱層節(jié)點(diǎn)數(shù)-…，-輸出節(jié)點(diǎn)數(shù)。如圖，可表示為：4-4-3網(wǎng)絡(luò)2023/2/118用感知器實(shí)現(xiàn)邏輯“與”功能y=sgn(0.5x1+0.5x2-0.75)2023/2/119感知器結(jié)構(gòu)x1 x2 y0 0 00 1 01 0 01 1 1邏輯“與”真值表用感知器實(shí)現(xiàn)邏輯“或”功能y=sgn(x1+x2-0.5)2023/2/120感知器結(jié)構(gòu)x1 x2 y0 0 00 1 11 0 11 1 1邏輯“或”真值表2023/2/121用感知器實(shí)現(xiàn)邏輯“與非”功能感知器結(jié)構(gòu)y=sgn(-0.5x1-0.5x2+0.75)x1 x2 y0 0 10 1 11 0 11 1 0“與非”真值表2023/2/122單感知器不能實(shí)現(xiàn)“異或”功能“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0只能解決線性可分問(wèn)題2023/2/123多層感知器可實(shí)現(xiàn)非線性函數(shù)人工神經(jīng)元可實(shí)現(xiàn)與非門，任何邏輯函數(shù)都可以由與非門組成任何邏輯函數(shù)都可用一個(gè)三層（只有兩層計(jì)算單元）的前饋網(wǎng)絡(luò)實(shí)現(xiàn)。當(dāng)神經(jīng)元的輸出函數(shù)為Sigmoid函數(shù)時(shí)，上述結(jié)論可以推廣到連續(xù)的非線性函數(shù)。在很寬松的條件下，三層前饋網(wǎng)絡(luò)可以逼近任意的多元非線性函數(shù)，突破了二層前饋網(wǎng)絡(luò)線性可分的限制。

感知器，決策域：平面；雙層計(jì)算單元，決策域：凸區(qū)域三層計(jì)算單元，決策域：任意形狀2023/2/1242023/2/124MLP能實(shí)現(xiàn)“異或”功能“異或”的真值表x1 x2 yy1y2 0 0 0 000 1 1 011 0 1 101 1 000只能解決線性可分問(wèn)題2222-2-2x1x2yy1=sgn(2x1-2x2)；y12=sgn(-2x1+2x2)y=sgn(2y1+2y2)2023/2/1253.2.4反向傳播算法（BP法)三層前饋網(wǎng)絡(luò)的適用范圍大大超過(guò)二層前饋網(wǎng)絡(luò)，但學(xué)習(xí)算法較為復(fù)雜，主要困難是中間的隱層不直接與外界連接，無(wú)法直接計(jì)算其誤差。

BP算法(Back-Propogation）可解決這一問(wèn)題。主要思想：從后向前（反向）逐層傳播輸出層的誤差，以間接算出隱層誤差。算法分為兩個(gè)階段：第一階段（正向過(guò)程）：輸入信息從輸入層經(jīng)隱層逐層計(jì)算各單元的輸出值；第二階段（反向傳播過(guò)程）：輸出誤差逐層向前算出隱層各單元的誤差，并用此誤差修正前層權(quán)值。在反向傳播算法中通常采用梯度法修正權(quán)值，為此要求輸出函數(shù)可微，通常采用Sigmoid函數(shù)作為輸出函數(shù)。2023/2/126第一階段（正向過(guò)程）考慮如圖所示的某層的某單元Oj當(dāng)輸入樣本某個(gè)樣本時(shí)，則若

輸出函數(shù)是Sigmoid函數(shù)，則2023/2/126i:前層第i個(gè)單元k:后層第k個(gè)單元Oj:代表本層輸出wij：前層到本層的權(quán)值第二階段（反向傳播過(guò)程）

對(duì)于輸出層，Oj是實(shí)際輸出，與理想輸出yj的誤差：局部梯度:

權(quán)值對(duì)誤差的影響：負(fù)梯度修正權(quán)值：修正算法：2023/2/127i:前層第i個(gè)單元；:后層第k個(gè)單元Oj:本層輸出；wij：前層到本層的權(quán)值實(shí)際計(jì)算時(shí)，為了加快收斂速度，一般要加上前次權(quán)值修正量，稱為慣性量：η：步長(zhǎng)α：慣性系數(shù)局部梯度的計(jì)算若節(jié)點(diǎn)j是輸出單元，則輸出量可得到:yj’=Oj2023/2/128若節(jié)點(diǎn)j不是輸出單元，則若

輸出函數(shù)是Sigmoid函數(shù)輸出單元：非輸出單元2023/2/1292023/2/129（逐個(gè)樣本修正的）BP算法（1）選定權(quán)系數(shù)初始值wij,

步長(zhǎng)η,慣性系數(shù)α（2）重復(fù)下述過(guò)程直至收斂（對(duì)各樣本依次計(jì)算）①?gòu)那跋蚝蟾鲗佑?jì)算各單元（前向）計(jì)算誤差：若E=0或小于一個(gè)設(shè)定的小常數(shù)E0，算法終止②對(duì)輸出層計(jì)算:③從后向前計(jì)算各隱層:④計(jì)算并保存各權(quán)值修正量⑤修正權(quán)值（成批樣本修正的）BP算法在（逐個(gè)樣本修正的）BP算法中，可以按所有樣本得到的求和，然后按總誤差修正。算法類似。2023/2/130訓(xùn)練誤差與迭代次數(shù)的關(guān)系曲線，稱為學(xué)習(xí)曲線。學(xué)習(xí)曲線可以看出收斂速率及收斂情況。誤差

迭代次數(shù)學(xué)習(xí)曲線2023/2/131BP算法的問(wèn)題BP算法解決了隱層權(quán)值修正問(wèn)題?？梢杂糜谌龑踊蚋鄬拥那梆伨W(wǎng)絡(luò)。問(wèn)題：可能陷入局部極小點(diǎn)，不能達(dá)到全局收斂。初始權(quán)值不能設(shè)為0或都相同（此時(shí)，各隱層單元無(wú)差異，運(yùn)算不能正常進(jìn)行）。初始權(quán)值對(duì)收斂有影響。解決辦法：用較小的隨機(jī)數(shù)做初始權(quán)值。不收斂時(shí)，改變權(quán)值，試算。2023/2/132參數(shù)η和α的影響η：影響收斂性影響

不同的問(wèn)題其最佳值相差很大通?？稍?.1~0.3之間試探，復(fù)雜的問(wèn)題用較大的值。α：影響收斂速度

在很多應(yīng)用中其值可在0.9~1之間選擇（比如0.95)

α≥1時(shí)，不收斂；

也可不用慣性項(xiàng)（即α=0）。2023/2/1332023/2/134MLP用于模式識(shí)別三層網(wǎng)絡(luò)可以應(yīng)付任何問(wèn)題，但對(duì)于較復(fù)雜的問(wèn)題，更多層的網(wǎng)絡(luò)有可能獲得更精簡(jiǎn)的結(jié)果。輸入層：由特征向量構(gòu)成。輸入單元數(shù)是特征維數(shù)輸出層：由類別構(gòu)成。輸出單元數(shù)目可以是類數(shù)。隱層單元數(shù)：?jiǎn)卧獢?shù)目如何確定則缺乏有效的方法。問(wèn)題越復(fù)雜，需要的隱層單元越多；隱層單元越多越容易收斂。但會(huì)增加計(jì)算量，而且會(huì)產(chǎn)生“過(guò)學(xué)習(xí)”效果，使對(duì)未出現(xiàn)過(guò)的樣本的推廣能力變差。隱層單元數(shù)難以確定時(shí)，可以先選較多單元數(shù)，待學(xué)習(xí)完成后，再逐步刪除一些隱層單元。若性能明顯變壞，則恢復(fù)原狀，逐個(gè)測(cè)試各隱層單元的貢獻(xiàn)，把不必要的刪去。2023/2/1353.2.5其他神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)（可用于非監(jiān)督學(xué)習(xí)）自組織映射神經(jīng)網(wǎng)絡(luò)（SOM）網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)：是一種反饋網(wǎng)絡(luò)2023/2/1362023/2/1363.3競(jìng)爭(zhēng)學(xué)習(xí)和側(cè)抑制前述前饋網(wǎng)絡(luò)屬于監(jiān)督學(xué)習(xí)，需要同時(shí)提供輸入樣本和相應(yīng)的理想輸出。引進(jìn)競(jìng)爭(zhēng)機(jī)制的前饋網(wǎng)絡(luò)可以實(shí)現(xiàn)無(wú)監(jiān)督學(xué)習(xí)，完成聚類的任務(wù)。競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)與二層前饋網(wǎng)絡(luò)類似，只是在輸出層加上了側(cè)抑制，如圖所示。競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)示意圖2023/2/1372023/2/137側(cè)抑制（不講，自學(xué)）側(cè)抑制是在輸出層各單元之間相互用較大的負(fù)權(quán)值輸入對(duì)方的輸出，這種互連構(gòu)成正反饋，類似于雙穩(wěn)態(tài)或多穩(wěn)態(tài)觸發(fā)器。競(jìng)爭(zhēng)的結(jié)果是，具有較大輸入的單元輸出為1,而其他單元的輸出都為0。網(wǎng)絡(luò)動(dòng)作機(jī)制為：2023/2/1382023/2/138初始值及權(quán)向量的處理：學(xué)習(xí)時(shí)先用隨機(jī)數(shù)作為權(quán)值初始值，為了防止某個(gè)輸出單元的權(quán)值過(guò)大造成不應(yīng)有的側(cè)重，在初始值和整個(gè)學(xué)習(xí)過(guò)程中隨時(shí)將權(quán)向量進(jìn)行歸一化處理，即使得學(xué)習(xí)算法：當(dāng)樣本為歸一化樣本（||x||=1）時(shí)，學(xué)習(xí)可按如下算法進(jìn)行：2023/2/1392023/2/139注意的問(wèn)題網(wǎng)絡(luò)不可能收斂。因此可以采取強(qiáng)制收斂的方法，在學(xué)習(xí)過(guò)程中將步長(zhǎng)參數(shù)緩慢減少至零。學(xué)習(xí)結(jié)果受初始值和學(xué)習(xí)樣本順序影響很大。聚類的結(jié)果未必是我們想要的結(jié)果，因此在實(shí)際應(yīng)用時(shí)需要加入適當(dāng)?shù)娜斯じ深A(yù)。例如先選擇少量典型性好的樣本作為權(quán)向量初始。2023/2/1403.4神經(jīng)網(wǎng)絡(luò)用于模式識(shí)別的典型做法

3.4.1多層前饋網(wǎng)絡(luò)用于模式識(shí)別在各種人工神經(jīng)網(wǎng)絡(luò)模型中，在模式識(shí)別中應(yīng)用最多的也是最成功的當(dāng)數(shù)多層前饋網(wǎng)絡(luò)，其中又以采用BP學(xué)習(xí)算法的多層感知器（習(xí)慣上也簡(jiǎn)稱為BP網(wǎng)絡(luò)）為代表。由于網(wǎng)絡(luò)采用的是監(jiān)督學(xué)習(xí)方式進(jìn)行訓(xùn)練，因此只能用于監(jiān)督模式識(shí)別問(wèn)題。一般有以下兩種應(yīng)用方式：1、多輸出型2、單輸出型2023/2/141一、多輸出型

輸入層：對(duì)應(yīng)樣本特征向量，每一個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)特征輸出層：節(jié)點(diǎn)數(shù)等于類別數(shù)，一個(gè)輸出節(jié)點(diǎn)對(duì)應(yīng)一個(gè)類。訓(xùn)練階段：如果輸入訓(xùn)練樣本的類別標(biāo)號(hào)是i，則訓(xùn)練時(shí)的期望輸出設(shè)為第個(gè)節(jié)點(diǎn)為1，而其余輸出節(jié)點(diǎn)均為0。識(shí)別階段：未知類別的樣本作用到輸入端時(shí)，樣本的類別判定為與輸出值最大的那個(gè)節(jié)點(diǎn)對(duì)應(yīng)的類別。若輸出最大的節(jié)點(diǎn)與其他節(jié)點(diǎn)輸出的差較小，可作拒絕決策?！?-0”編碼模式或者“C中取1”模式：m個(gè)輸出節(jié)點(diǎn)，用它們的某種編碼來(lái)代表C個(gè)類別。2023/2/1