前向多層人工神經(jīng)網(wǎng)絡(luò)

前向多層人工神經(jīng)網(wǎng)絡(luò)第1頁/共30頁2023/3/8第2頁ANN的主要功能之二——聯(lián)想

(AssociativeMemory)聯(lián)想的心理學(xué)定義：當(dāng)一個(gè)事物的表象被激活時(shí)，也就是說該表象所包含的若干屬性單元同時(shí)有效時(shí)，我們的注意力焦點(diǎn)就集中在這個(gè)表象上，如果對該表象的處理使得表象被否決時(shí)，也就是說由于一些屬性單元的失效（或被抑制，或處于高阻）導(dǎo)致該表象無法成立的時(shí)候，剩余的屬性單元或許可以構(gòu)成另一種事物的表象，或許還需要結(jié)合那些被激活了的新的屬性（或是由外界事物具有的新的屬性所激活，或是因降低了對一些屬性的抑制所導(dǎo)致的激活）。

例如：看到檸檬，感覺到嘴里口水增多。因?yàn)?，由檸檬?lián)想到了酸味。

字符識別：第2頁/共30頁2023/3/8第3頁再論模式識別：對表征事物或現(xiàn)象的各種形式的（數(shù)值的、文字的或邏輯的）信息進(jìn)行處理和分析，以對事物或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類和解釋的過程稱為“模式識別”，是信息科學(xué)和人工智能的重要組成部分。

人在分辨不同類別的事物時(shí)，抽取了同類事物之間的相同點(diǎn)以及不同類事物之間的不同點(diǎn)；字符識別：例如漢字“中”可以有各種寫法，但都屬于同一類別。更為重要的是，即使對于某個(gè)“中”的具體寫法從未見過，也能把它分到“中”這一類別。識別目標(biāo)：人們走向一個(gè)目的地的時(shí)候，總是在不斷的觀察周圍的景物，判斷所選擇的路線是否正確。實(shí)際上，是對眼睛看到的圖象做“正確”和“不正確”的分類判斷。人腦的這種思維能力就構(gòu)成了“模式”的概念和“模式識別”的過程。

模式是和類別（集合）的概念分不開的，只要認(rèn)識這個(gè)集合的有限數(shù)量的事物或現(xiàn)象，就可以識別這個(gè)集合中的任意多的事物或現(xiàn)象。為了強(qiáng)調(diào)能從具體的事物或現(xiàn)象中推斷出總體，我們就把個(gè)別的事物或現(xiàn)象稱作“模式”，而把總體稱作類別或范疇。特征矢量：最簡單的情況是用一組稱為“特征參數(shù)”的數(shù)值信息表示一個(gè)客觀對象。例如，水果品質(zhì)分類中用到的大小、重量、比重、果型、顏色，其取值均為數(shù)值。表示成特征矢量形式：Xi=[xi1,xi2,xi3,xi4,xi5]；樣本：對一個(gè)具體對象進(jìn)行觀測得到的一個(gè)特征矢量稱為一個(gè)“樣本”，Xi稱為第i個(gè)樣本，或者第i個(gè)樣本的特征矢量。特征空間：即特征矢量張成的空間，每個(gè)樣本對應(yīng)于特征空間上的一點(diǎn)。針對一個(gè)具體的模式識別問題，選定特征參數(shù)非常重要，關(guān)乎模式識別的成敗。著名大師傅京孫教授曾說過模式識別問題的關(guān)鍵是特征提取。特征參數(shù)應(yīng)能區(qū)分所定義的模式，同時(shí)有沒有過多的重復(fù)，即：完備而不冗余。選定特征參數(shù)的過程稱為“特征提取”。特征提取沒有統(tǒng)一的方法，事實(shí)上，特征提取是一個(gè)不同專業(yè)領(lǐng)域范疇內(nèi)的問題。正因?yàn)槿绱?，模式識別應(yīng)用問題往往是跨專業(yè)領(lǐng)域的工程。第3頁/共30頁2023/3/8第4頁模式類：特征參數(shù)選擇合理時(shí)，不同類的模式，在特征空間中占據(jù)不同的分布區(qū)域；模式識別所要做的事情，包含兩個(gè)方面：在不同類別樣本點(diǎn)集之間，尋找合理的分界面，或稱作“判別函數(shù)（DecisionFunction）”——因?yàn)榕袆e函數(shù)來自于實(shí)際觀測數(shù)據(jù)，因此稱此階段為“學(xué)習(xí)”或“訓(xùn)練”；給定未知模式，判斷該樣本所屬類別，稱為“工作”或“應(yīng)用”。特征選擇的好壞是模式識別成敗的關(guān)鍵，但如何選擇“特征”，即，選擇什么物理量作為特征，是具體專業(yè)“領(lǐng)域”的問題，需要運(yùn)用“領(lǐng)域”的專業(yè)知識來解決。例如，語音識別，如何從自然語音中提取“特征”，是語音識別的專業(yè)問題；圖象識別，如何從CCD圖象獲取適當(dāng)?shù)奶卣?，是圖象處理領(lǐng)域的問題，即使在圖象處理領(lǐng)域，不同應(yīng)用目的所取的特征也不同。

模式識別的全過程，應(yīng)該包括特征提取階段。但是，我們這里將要講到的有關(guān)智能方法，都只涉及到特征提取之后的工作。以上所說的“學(xué)習(xí)”或“訓(xùn)練”，是根據(jù)若干已知樣本在空間找到合適的分類面。對于一個(gè)樣本Xi，用yi表示它所屬的類別，例如，它屬于第k類。樣本已知，意思是{Xi

，

yi}已知。這種“學(xué)習(xí)”又稱為“有監(jiān)督”學(xué)習(xí)，即，通過對已知樣本{Xi

，yi}的學(xué)習(xí)找到合理的判別函數(shù)。所謂“工作”，指的是給定類別未知的樣本Xi

，求yi的值。Xi是對某個(gè)客觀對象觀測的結(jié)果，其取值無法事先限定。但類別yi的取值是離散的、有限的，是事先主觀規(guī)定的。第4頁/共30頁2023/3/8第5頁神經(jīng)元模型

神經(jīng)元的輸入：

所完成的運(yùn)算為：式中：稱為神經(jīng)元的“權(quán)值矢量”；稱為神經(jīng)元的“功能函數(shù)”；稱為神經(jīng)元的“凈輸入”；稱為神經(jīng)元的“輸出”；稱為神經(jīng)元的“閾值”；第5頁/共30頁2023/3/8第6頁常用的神經(jīng)元功能函數(shù)類型

線性函數(shù)

又稱為“恒同函數(shù)”

硬限幅函數(shù)

S函數(shù)(Sigmoid)

fs

取值于[0,1]之間。第6頁/共30頁2023/3/8第7頁前項(xiàng)人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

前層的輸出作為后層的輸入；

各層的神經(jīng)元個(gè)數(shù)可以不同；

至少一層，一般最多為3層；

輸入矢量X代表從客觀對象觀測得到的特征；輸出層包含一個(gè)或多個(gè)神經(jīng)元，用于表達(dá)更為復(fù)雜的運(yùn)算結(jié)果；

同層神經(jīng)元不能連接，后層不能向前層反向連接；

連接強(qiáng)度（即，權(quán)值大?。┛梢詾?，強(qiáng)度為0實(shí)際上就是沒有連接；第7頁/共30頁2023/3/8第8頁§2.2采用硬限幅函數(shù)時(shí)單個(gè)神經(jīng)元的分類功能

線性可分性(Linear

Separable

)設(shè)有C0和C1兩類模式R0：C0類模式的樣本集；R1：C1類模式的樣本集；學(xué)習(xí)（訓(xùn)練）：在給定的兩類學(xué)習(xí)樣本分布區(qū)域之間尋找一個(gè)分類函數(shù)（分類線、面）使得兩類樣本各處在一邊；實(shí)現(xiàn)這一目標(biāo)的過程，稱為“學(xué)習(xí)”或“訓(xùn)練”，所用到的計(jì)算策略稱為“學(xué)習(xí)算法”；樣本集合R0和R1稱為學(xué)習(xí)樣本集合。工作：當(dāng)獲得了分類函數(shù)l以后，就可以進(jìn)入工作階段了。任給未知模式X，若它位于R0一側(cè)，則判定其為C0類；若它位于R1一側(cè)，則判定其為C1類；若它落在分類線l

上，則不可識別。

給定兩類C0和C1的學(xué)習(xí)樣本集合R0和R1，若存在線性分類函數(shù)（直線、平面、超平面）l，將兩類學(xué)習(xí)樣本無誤差地分開，則稱該分類問題為“線性可分問題”。第8頁/共30頁2023/3/8第9頁假設(shè)，二維分類問題的分類函數(shù)為l：任給樣本X=[x1,x2]，l應(yīng)該滿足：令：則模式識別問題可以表達(dá)成：把

看作權(quán)值，看作閾值，用一個(gè)神經(jīng)元來表示以上二維分類問題，則：任意輸入一個(gè)模式X，若X屬于C0則y=1；若X屬于C1則y=0；其中：X=

[x1,x2]是任意樣本，W=[w0,w1]是權(quán)值矢量。

WT.X–q=w0.x0+w1.x1–q=0

是直線的矢量方程，若W為單位矢量，即：w02+w12

=1則q的意義如圖所示。為了便于表達(dá)，這里用矢量方程表示線性分類線或分類面。第9頁/共30頁2023/3/8第10頁學(xué)習(xí)算法

將輸入矢量X

和權(quán)矢量W

作如下擴(kuò)張：

神經(jīng)元模型成為：(2-7)

學(xué)習(xí)的目的，就是要找到權(quán)矢量W。對于前面的例子，就是尋找能夠無誤差分開兩類樣本的直線參數(shù)[w0,w1,q]，注意：其中包含了直線方程的所有參數(shù)。學(xué)習(xí)是針對給定的學(xué)習(xí)樣本集合進(jìn)行的，不同的學(xué)習(xí)樣本集合可以得到不同的學(xué)習(xí)結(jié)果。即使用同一學(xué)習(xí)樣本集合進(jìn)行學(xué)習(xí)，多次學(xué)習(xí)的結(jié)果也可能不同，也就是說分類問題的解不唯一。第10頁/共30頁2023/3/8第11頁設(shè)二維分類問題，有學(xué)習(xí)樣本：其中：

訓(xùn)練樣本k；該樣本的類別值；起初，我們隨意指定一個(gè)權(quán)矢量：這相當(dāng)于在特征空間上隨意畫了一條線。向神經(jīng)元輸入一個(gè)樣本X(k)，用y(k)表示得到的輸出，顯然y(k)不一定等于X(k)的實(shí)際類別值d(k)，令：

fh

為硬限幅函數(shù)，則e

的取值有三種可能：(2-29)第11頁/共30頁2023/3/8第12頁學(xué)習(xí)算法：為了找到正確的W，依次向神經(jīng)元輸入學(xué)習(xí)樣本X(k)，k=0,1,2,…，并且依照誤差e

(k)的正負(fù)來修正W

：式中a

稱為“步幅”，用來控制每次調(diào)整的步長。如此不斷重復(fù)，W(k)隨著迭代次數(shù)k的增加，逐漸趨于正確答案。(2-7)

若輸出y(k)

與樣本類別值d(k)

相同，即，則:W(k+1)=W(k)，不調(diào)整W。

若輸出y(k)

與樣本類別值d

(k)

不同，即，則:W根據(jù)e

(k)

的正負(fù)被調(diào)整；第12頁/共30頁2023/3/8第13頁算法的幾何原理：為直觀起見，設(shè)：理想分類線過原點(diǎn)，即：，閾值q為0。訓(xùn)練樣本：權(quán)值矢量：由直線方程可知，W(k)是直線l

的法線。分類函數(shù)為直線l:

若，X

恰好位于

l

上，則：

若，Xa位于l

上方，則：

若，Xb位于l下方，則：第13頁/共30頁2023/3/8第14頁假設(shè)已經(jīng)輸入了k

個(gè)樣本，運(yùn)行到了第

k

步，當(dāng)前的權(quán)值W(k)。假設(shè)輸入X(k)

得到y(tǒng)(k)=1，但給定的

X(k)

屬于C1類，即，d(k)=0，則：于是，有：可見，分類線

l得到了合理的調(diào)整。再假設(shè)，接下來輸入的X(k+1)屬于

C0類，即d(k)=1，被錯(cuò)分為C1類，即，由X(k+1)和W(k+1)

計(jì)算得到y(tǒng)(k+1)=0

：于是，有：錯(cuò)把C1

當(dāng)C0;實(shí)驗(yàn)：CH2e1hard，兩類可分、硬限幅函數(shù)；第14頁/共30頁2023/3/8第15頁§2.3線性函數(shù)神經(jīng)元的最小二乘分類算法

線性不可分給定樣本集，尋找一個(gè)分類函數(shù)，使得分類誤差最小—

最優(yōu)分類函數(shù)其中

優(yōu)化問題的一般形式：第15頁/共30頁2023/3/8第16頁

xkyk

-0.43250.2552-1.665

-0.21190.1253-1.8050.2876-1.539

-1.146

-0.5313

……設(shè)有：，解無約束優(yōu)化問題：聯(lián)立解出a

和b：優(yōu)化問題實(shí)例——線性回歸其中：將任意樣本代入直線方程，則：——圖中黃線；樣本的實(shí)測值；樣本的估計(jì)值；即：尋找一條使誤差均方和最小的直線；第16頁/共30頁2023/3/8第17頁采用線性函數(shù)的神經(jīng)元，即：輸入樣本矢量：權(quán)值矢量：神經(jīng)元完成的運(yùn)算為：判別規(guī)則：注意到，理想值為：

對于權(quán)矢量W的某個(gè)具體取值，其誤差定義為：學(xué)習(xí)的目的是，針對所有學(xué)習(xí)樣本，尋找c

最小的W

取值，它即為誤差最小的分類函數(shù)。(2-10)xNwN第17頁/共30頁2023/3/8第18頁設(shè)學(xué)習(xí)樣本集{(X0,d0)，(X1,d1)，…，(XK-1,dK-1)，則

c

的估計(jì)為：以c最小為目標(biāo)函數(shù)的優(yōu)化過程統(tǒng)稱為“最小二乘法(LeastMeanSquare)

”。顯然，樣本的分布給定后

c

是權(quán)矢量

W

的函數(shù)，即：

c

=c

(W)；

首先需要證明，存在W*

使得cmin=c(W*)成立。由于是線性函數(shù)，所以，神經(jīng)元的輸出可以寫成：(2-11)代入(2-10)得到：(2-12)其中是第k個(gè)樣本的分類誤差。樣本Xk

的理想值，事先已知；樣本Xk

輸入神經(jīng)元的計(jì)算結(jié)果，與理想dk有差異；第18頁/共30頁2023/3/8第19頁用下列符號代表式中一些參量：

為了簡化，我們考慮二維并且閾值q=0的情況，有：(2-13)(2-14)顯然，R是隨機(jī)矢量X的相關(guān)矩陣，它是一個(gè)對稱矩陣，且正定。將以上符號代入(2-12)，得到：(2-15)第19頁/共30頁2023/3/8第20頁

顯然，若存在W*

使得

cmin=c

(W*)

成立，則在W*點(diǎn)上c關(guān)于W的所有元素w0,w1,…(二維情況下只有w0和w1)的偏導(dǎo)都為0，或者，說c關(guān)于矢量W的梯度在W*點(diǎn)為零矢量。即，對(2-15)求梯度得到：(2-16)或用多元函數(shù)微分表示梯度，重寫誤差公式：第20頁/共30頁2023/3/8第21頁令：注意到，R

是正定的，它的逆存在，于是，得到：(2-17)代回(2.15)式可以得到最小誤差平方和：

(2-18)命題得證，并且找到了最佳的W：解(2-17)式即可得到W*。但我們需要找到求解W*的迭代算法。第21頁/共30頁2023/3/8第22頁LMS學(xué)習(xí)問題的最陡梯度算法

m

表示迭代學(xué)習(xí)過程的序號；k

=0,1,2,……表示樣本序號，Xk(m)表示第m輪迭代時(shí)的第k個(gè)輸入的學(xué)習(xí)樣本，即，第m步的第k個(gè)樣本。

定義誤差平方和為：(2-38)當(dāng)兩類樣本的分布不變時(shí)（統(tǒng)計(jì)意義上），J(m)是W的函數(shù)。LMS學(xué)習(xí)的最陡梯度法就是以J(m)為目標(biāo)函數(shù)，尋找使得J(m)最小的權(quán)值矢量W。

W(m)表示迭代學(xué)習(xí)第m步時(shí)的權(quán)值矢量，dk(m)

為輸入學(xué)習(xí)樣本Xk(m)的已知類別值(取+1或–1

)、yk(m)為當(dāng)前神經(jīng)元的輸出(+1>

yk

>–1

)。

Xk(m)

的誤差為：

ek(m)=dk(m)-yk(m)第22頁/共30頁2023/3/8第23頁

函數(shù)J(W)的圖象稱為“誤差響應(yīng)面”。當(dāng)W=[w1,w2]為二維時(shí)，J(W)

為一曲面。

尋優(yōu)的策略：從某個(gè)隨意選定的起始點(diǎn)W(0)開始，沿著梯度最大的反方向，一步一步前行，走到梯度為0的點(diǎn)的時(shí)候，得到的W

就是W*；用表示第m

步時(shí)的梯度，學(xué)習(xí)算法為：第23頁/共30頁2023/3/8第24頁梯度算法的正確性，以二維問題為例：(2-39)(2-40)為了逐步走向W

的最小點(diǎn)，選擇其增量為：

，即：或者：(2-41)當(dāng)很小時(shí)，誤差平方和的增量可以用其全微分來近似：回憶：二元函數(shù)全微分第24頁/共30頁2023/3/8第25頁寫成DW

的分量形式，就是：(2-42)取

a>0，將此結(jié)果代入到全微分(2-40)式中，得到：此結(jié)果說明，按照學(xué)習(xí)算法：

迭代求最佳