神經(jīng)網(wǎng)絡(luò)與數(shù)模講義

1、1. 基本的神經(jīng)元及其學(xué)習(xí)規(guī)則1.1 神經(jīng)元模型1. mp模型人工神經(jīng)網(wǎng)絡(luò)的第一個(gè)數(shù)學(xué)模型是由mcculloch和pitts建立的。該模型是基于這樣一種思想：神經(jīng)細(xì)胞的工作方式是或者興奮，或者抑制。基于這個(gè)思想，mcculloch和pitts在神經(jīng)元模型中引入了硬極限函數(shù)，該函數(shù)形式后來被其他神經(jīng)網(wǎng)絡(luò)（如多層感知器、離散hopfield網(wǎng)絡(luò)）采用。由于神經(jīng)元之間的信號(hào)連接強(qiáng)度取決于突觸狀態(tài)，因此在mp模型中，神經(jīng)元的每個(gè)突觸的活動(dòng)強(qiáng)度用一個(gè)固定的實(shí)數(shù)即權(quán)值模擬。于是每個(gè)神經(jīng)元模型都可以從數(shù)十個(gè)甚至數(shù)百個(gè)其他神經(jīng)元接受信息，產(chǎn)生神經(jīng)興奮和沖動(dòng)；同時(shí)，在其他條件不變的情況下，不論何種刺激，只要達(dá)到

2、閾值以上，就能產(chǎn)生一個(gè)動(dòng)作電位。但如果輸入總和低于閾值，則不能引起任何可見的反應(yīng)。圖1 所示為mp模型示意圖。為神經(jīng)元的輸入，為相應(yīng)的連接權(quán)值,t為神經(jīng)元的興奮閾值，y為神經(jīng)元的輸出，y取二值函數(shù)，即 圖1 mp模型單個(gè)mp模型可以實(shí)現(xiàn)與、或、與非、或非等二值邏輯運(yùn)算（但不能實(shí)現(xiàn)異或運(yùn)算），該模型曾因說明了人工神經(jīng)網(wǎng)絡(luò)可通過簡(jiǎn)單的計(jì)算產(chǎn)生相當(dāng)復(fù)雜的行為，從而引起極大的轟動(dòng)，但它是一種靜態(tài)神經(jīng)元，即結(jié)構(gòu)固定，權(quán)值無法調(diào)節(jié)，因此，缺乏一個(gè)關(guān)鍵性的要素，即學(xué)習(xí)能力。2一般神經(jīng)元模型圖2 所示為一個(gè)具有n個(gè)輸入的通用的神經(jīng)元模型。圖2 通用神經(jīng)元模型為神經(jīng)元的輸入，為可調(diào)的輸入權(quán)值,為偏移信號(hào)，用于建

3、模神經(jīng)元的興奮閾值，u(*)為神經(jīng)元的基函數(shù)，是一個(gè)多輸入單輸出函數(shù)u=u(x,w; )。f(*)為神經(jīng)元的激活函數(shù)（也稱神經(jīng)元函數(shù)、擠壓函數(shù)或活化函數(shù)），f(*)的一般作用是對(duì)基函數(shù)輸出u進(jìn)行“擠壓”：y=f(u)，即通過非線性函數(shù)f(*)將u變換到指定范圍內(nèi)。1.2 基函數(shù)u(*)的類型1線性函數(shù)：常用于多層感知器（mlp）、hophield網(wǎng)絡(luò)等。2距離函數(shù)：常用于徑向基函數(shù)神經(jīng)（rbf）網(wǎng)絡(luò)等。式中，w常被稱為基函數(shù)的中心，u表示輸入矢量x與權(quán)矢量w之間的歐氏距離。在多維空間中，該基函數(shù)的形狀是一個(gè)以w為球心的超球。3橢圓基函數(shù)1.3 激活函數(shù)f(*)的類型1硬極限函數(shù)：常用于分類。其

4、中sgn(*)為符號(hào)函數(shù)。2線性函數(shù): 常用于實(shí)現(xiàn)函數(shù)逼近的網(wǎng)絡(luò)。y = f(u) = u3飽和線性函數(shù)：常用于分類。4sigmoidal函數(shù),也稱s函數(shù)：常用于分類、函數(shù)逼近或優(yōu)化。5高斯函數(shù)：常用于rbf網(wǎng)絡(luò)。1.4 神經(jīng)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)有兩種形式：有導(dǎo)學(xué)習(xí)和無導(dǎo)學(xué)習(xí)。有導(dǎo)學(xué)習(xí)也稱監(jiān)督學(xué)習(xí)（supervised learning）。一般情況下，有導(dǎo)學(xué)習(xí)的訓(xùn)練樣本是輸入輸出對(duì)（），其中為輸入樣本，為輸出樣本（期望輸出，或教師信號(hào)）。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目的是：通過調(diào)節(jié)各神經(jīng)元的自由參數(shù)，是網(wǎng)絡(luò)產(chǎn)生期望的行為，即當(dāng)輸入樣本時(shí)，網(wǎng)絡(luò)輸出盡可能接近。無導(dǎo)學(xué)習(xí)也稱無監(jiān)督學(xué)習(xí)（unsupervised

5、 learning）或自組織學(xué)習(xí)（self-organized learning）。無導(dǎo)學(xué)習(xí)不提供教師信號(hào)，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境（即輸入信號(hào)情況）而異，系統(tǒng)可以自動(dòng)發(fā)現(xiàn)環(huán)境特征和規(guī)律。不管是有導(dǎo)學(xué)習(xí)還是無導(dǎo)學(xué)習(xí)，都要通過調(diào)整神經(jīng)元的自由參數(shù)（權(quán)值或閾值）實(shí)現(xiàn)。輸入樣本：當(dāng)前權(quán)值：期望輸出：權(quán)值調(diào)節(jié)公式：，其中為學(xué)習(xí)率，一般取較小的值，權(quán)值調(diào)整量一般與x,d及當(dāng)前權(quán)值w(t)有關(guān)。1hebb學(xué)習(xí)規(guī)則輸入樣本：當(dāng)前權(quán)值：實(shí)際輸出：權(quán)值調(diào)節(jié)公式：，其中權(quán)值調(diào)整量。2離散感知器學(xué)習(xí)規(guī)則如果神經(jīng)元的基函數(shù)取線性函數(shù)，激或函數(shù)取硬極限函數(shù)，則神經(jīng)元就成了單神經(jīng)元感知器，其

6、學(xué)習(xí)規(guī)則稱離散感知器學(xué)習(xí)規(guī)則，是一種有導(dǎo)學(xué)習(xí)算法。常用于單層及多層離散感知器網(wǎng)絡(luò)。輸入樣本：當(dāng)前權(quán)值：期望輸出：當(dāng)前輸出：當(dāng)前誤差信號(hào)：當(dāng)前權(quán)值調(diào)節(jié)量：權(quán)值修正公式：。3學(xué)習(xí)規(guī)則1986年，認(rèn)知心理學(xué)家mcclelland和rumechart在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中引入了(delta)規(guī)則，該規(guī)則也稱連續(xù)感知器學(xué)習(xí)規(guī)則。輸入樣本：當(dāng)前權(quán)值：期望輸出：基函數(shù)：實(shí)際輸出：（激活函數(shù)）輸出誤差：神經(jīng)元權(quán)值調(diào)節(jié)學(xué)習(xí)規(guī)則的目的是：通過訓(xùn)練權(quán)值w，使得對(duì)于訓(xùn)練樣本對(duì)（x,d），神經(jīng)元的輸出誤差達(dá)最小，誤差e是權(quán)向量w的函數(shù)，欲使誤差e最小，w應(yīng)與誤差的負(fù)梯度成正比，即，其中，比例系數(shù)是一個(gè)常數(shù)，誤差梯度：得權(quán)值調(diào)

7、整公式：常用于：?jiǎn)螌?、多層神?jīng)網(wǎng)絡(luò)、bp網(wǎng)。4lms學(xué)習(xí)規(guī)則1962年，bernard widrow和marcian hoff提出了widrow-hoff學(xué)習(xí)規(guī)則，因?yàn)樗苁股窠?jīng)元實(shí)際輸出與期望輸出之間的平方差最小，故又稱最小均方規(guī)則（lms）。在學(xué)習(xí)規(guī)則中，若激活函數(shù)f(u)?。海瑒t學(xué)習(xí)規(guī)則就成為lms學(xué)習(xí)規(guī)則：輸入樣本：當(dāng)前權(quán)值：期望輸出：基函數(shù)：實(shí)際輸出：（激活函數(shù)）輸出誤差：權(quán)值調(diào)整公式：常用于自適應(yīng)線性單元。5競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則也稱winner-take-all（勝者為王）學(xué)習(xí)規(guī)則，用與無導(dǎo)師學(xué)習(xí)。一般將網(wǎng)絡(luò)的某一層確定為競(jìng)爭(zhēng)層，對(duì)于一個(gè)特定的輸入x，競(jìng)爭(zhēng)層的所有神經(jīng)元均有輸出響應(yīng)，其中響

8、應(yīng)值最大的神經(jīng)元m為在競(jìng)爭(zhēng)中獲勝的神經(jīng)元，即：只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量，調(diào)整量為：，式中，是一個(gè)小的學(xué)習(xí)常數(shù)，一般其值隨著學(xué)習(xí)大進(jìn)展而減少。由于兩個(gè)向量的點(diǎn)積越大，表明兩者越近似，所以調(diào)整獲勝神經(jīng)元權(quán)值的是使進(jìn)一步接近當(dāng)前輸入x。顯然，當(dāng)下次出現(xiàn)與x相像的輸入模式時(shí)，上次獲勝的神經(jīng)元更容易獲勝，在反復(fù)的競(jìng)爭(zhēng)學(xué)習(xí)過程中，競(jìng)爭(zhēng)層的各神經(jīng)元所對(duì)應(yīng)的權(quán)向量被逐漸調(diào)整為樣本空間的聚類中心。1.5 神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)主要有前向神經(jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò)。2. 多層感知器網(wǎng)絡(luò)（mlp）2.1 單層（兩層）感知器模型圖3 兩層感知器模型輸入樣本：當(dāng)前權(quán)值：期望輸出：基函數(shù)：實(shí)際輸出(激活函數(shù))：由于對(duì)不同

9、的輸出單元，其連接權(quán)是相互獨(dú)立的，因而可將一個(gè)多輸出兩層感知器分解成多個(gè)單輸出兩層感知器。圖4 兩層感知器模型學(xué)習(xí)算法如下：第一步，設(shè)置變量和參量為輸入向量，或訓(xùn)練樣本。為權(quán)值向量，b(n)為偏差。y(n)為實(shí)際輸出，d(n)為期望輸出，為學(xué)習(xí)速率，n為迭代次數(shù)。第二步，初始化，賦給各一個(gè)較小的隨機(jī)非零值，n=0。第三步，對(duì)于一組輸入樣本，指定它的期望輸出d,if x d=1 , if x d=-1第四步，計(jì)算實(shí)際輸出第五步，調(diào)整權(quán)值向量第六步，若，或，算法結(jié)束，否則，n=n+1,轉(zhuǎn)到第二步。例1 用單層感知器解決一個(gè)簡(jiǎn)單的分類問題。設(shè)計(jì)一個(gè)感知器，將二維的四組輸入矢量分成兩類：輸入矢量：p=

10、-0.5 -0.5 0.3 0; -0.5 0.5 0.5 1目標(biāo)矢量：t=1 1 0 0 解：對(duì)感知器的圖解分析可知，感知器對(duì)輸入矢量的分類實(shí)際是在輸入矢量空間，用w*x+b=0的分割線對(duì)輸入矢量進(jìn)行切割而達(dá)到分類目的。根據(jù)這個(gè)原理，對(duì)此例中二維四組輸入矢量的分類問題，可以用下述不等式組來等價(jià)的表達(dá)出： 實(shí)際上，可以用代數(shù)求解法來求出上面不等式中的參數(shù)，其解的范圍為： 一組可能解為：本題所要設(shè)計(jì)的單層感知器的網(wǎng)絡(luò)結(jié)構(gòu)圖為：圖5 其中，matlab源代碼：(mlp_class.m)%單層感知器:分類p=-0.5 -0.5 0.3 0;-0.5 0.5 -0.5 1; %輸入矢量t=1 1 0

11、0; %目標(biāo)矢量net=newp(-1 1;-1 1,1);%返回畫線句柄,下一次繪制分類線時(shí)將舊的刪除handle=plotpc(net.iw1,net.b1);%設(shè)置訓(xùn)練次數(shù):最大為10次net.trainparam.epochs=10; net=train(net,p,t);y=sim(net,p);figure;plotpv(p,y);handle=plotpc(net.iw1,net.b1,handle) 圖6例2 某單層計(jì)算節(jié)點(diǎn)感知器有3個(gè)輸入,給定3對(duì)訓(xùn)練樣本如下:;設(shè)初始權(quán)向量,注意：輸入向量中第一個(gè)分量恒等于-1，權(quán)向量中第一個(gè)分量為閾值，試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。解：

12、目的是求，使，其中為訓(xùn)練樣本，為閾值。matlab源代碼：(mlp_my.m)%某單層感知器有3個(gè)輸入,對(duì)給定的3個(gè)輸入樣本和目標(biāo)矢量,訓(xùn)練該感知器x = -1,1,-2,0;-1,0,1.5,-0.5;-1,-1,1,0.5; % 3個(gè)輸入樣本d = -1,-1,1; % 對(duì)應(yīng)目標(biāo)矢量w = 0.5,1,-1,0; % 初始化權(quán)值矢量,第一個(gè)分量為閾值a = 0.1; % 學(xué)習(xí)率b = 0.001; % 誤差下限p = 10; % 循環(huán)次數(shù)上限y = ; % 實(shí)際輸出t=size(x,1); % 輸入樣本個(gè)數(shù)n = 0; % 實(shí)際循環(huán)次數(shù)for k = 1 : p m = 0; % 誤差 f

13、or i = 1 : t u = 0; for j = 1 : size(x,2) u = u + w(i+(k-1)*t,j) * x(i,j); % 基函數(shù) end if u 0 % 激或函數(shù) : 符號(hào)函數(shù) y(i) = -1; else y(i) = 1; end m = m + abs(d(i) - y(i); % 誤差 for j = 1 : size(x,2) w(i+1+(k-1)*t,j)=w(i+(k-1)*t,j)+a*(d(i)-y(i)*x(i,j);%權(quán)值調(diào)整 end end if m b % 累計(jì)誤差低于誤差下限,算法結(jié)束 n = k; % 實(shí)際循環(huán)次數(shù) break

14、 endendw %訓(xùn)練后的權(quán)值矢量y % 實(shí)際輸出n % 實(shí)際循環(huán)次數(shù)m % 誤差練習(xí)：用感知器實(shí)現(xiàn)邏輯“與”功能：(源代碼mlp_and.m)x1 x2y111100010000網(wǎng)絡(luò)結(jié)構(gòu)：兩個(gè)輸入，一個(gè)輸出；給定四個(gè)訓(xùn)練樣本如下： ， 用感知器實(shí)現(xiàn)邏輯“或”功能：(源代碼mlp_or.m)x1 x2y111101011000網(wǎng)絡(luò)結(jié)構(gòu)：兩個(gè)輸入，一個(gè)輸出；給定四個(gè)訓(xùn)練樣本如下： ，x1 x2y110101011000 用感知器無法實(shí)現(xiàn)邏輯“異或”功能： 2.2 線性閾值單元組成的多層感知器模型由于單層感知器網(wǎng)絡(luò)只能完成線性分類，對(duì)線性不可分樣本的分類問題，可以用線性閾值單元組成的多層感知器來

15、解決。一個(gè)n輸入m輸出的線性閾值單元組成的多層感知器網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。圖7 多層感知器網(wǎng)絡(luò)結(jié)構(gòu)2.3 bp網(wǎng)絡(luò)及bp算法1. bp網(wǎng)絡(luò)模型bp網(wǎng)與多層前向感知器網(wǎng)絡(luò)結(jié)構(gòu)完全相同，只是隱節(jié)點(diǎn)的激活函數(shù)一般采用sigmoidal函數(shù)。bp網(wǎng)輸出節(jié)點(diǎn)的激活函數(shù)根據(jù)應(yīng)用的不同而異：如果用于分類，則輸出節(jié)點(diǎn)的激活函數(shù)一般采用sigmoidal函數(shù)或硬極限函數(shù)；如果用于函數(shù)逼近，則一般采用線性函數(shù)。bp網(wǎng)采用多層結(jié)構(gòu)，包括輸入層、多個(gè)隱含層、輸出層，各層之間實(shí)現(xiàn)全連接。2. bp網(wǎng)絡(luò)學(xué)習(xí)算法bp算法也稱誤差反向傳播算法（error back-propagation algorithm），是一類有導(dǎo)學(xué)習(xí)算法

16、，用于bp網(wǎng)的權(quán)值和閾值學(xué)習(xí)。下面以三層感知器bp網(wǎng)絡(luò)為例，進(jìn)行bp算法推倒。圖8 三層bp網(wǎng)絡(luò)結(jié)構(gòu)輸入向量： 隱層輸出向量： 輸出層輸出向量： 期望輸出向量： 輸入層到隱層之間的權(quán)值矩陣：，其中列向量為隱層第j個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)向量：隱層到輸出層之間的權(quán)值矩陣：，其中列向量為輸出層第k個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)向量：下面分析各層信號(hào)之間的數(shù)學(xué)關(guān)系。對(duì)于輸出層： ， （3.6） （3.7）對(duì)于隱層： ， （3.8） （3.9）以上兩式中，激活函數(shù)f(x)均為單極性sigmoid函數(shù)。 （3.10） （3.11）f(x)連續(xù)，可導(dǎo)，根據(jù)需要，也可取定義輸出誤差： （3.12）將以上誤差定義式展開至隱層，有：

17、 （3.13）進(jìn)一步展開至輸入層，有： （3.14）從上式可以看出，誤差e是各層權(quán)值的函數(shù)。調(diào)整權(quán)值可使誤差e不斷減小，因此，因使權(quán)值的調(diào)整量與誤差的梯度下降成正比，即： （3.15a） （3.15b）式中，負(fù)號(hào)表示梯度下降，常數(shù)在訓(xùn)練中表示學(xué)習(xí)速率。3. bp算法推導(dǎo)式（3.15）僅是對(duì)權(quán)值調(diào)整思路的數(shù)學(xué)表達(dá)，而不是具體的權(quán)值調(diào)整計(jì)算式。下面推導(dǎo)三層bp算法權(quán)值調(diào)整的計(jì)算式。事先約定，在全部推導(dǎo)過程中，對(duì)輸出層均有：，對(duì)隱層均有：對(duì)于輸出層，式（3.15a）可寫為： （3.16a）對(duì)于隱層，式（3.15b）可寫為： （3.16b）對(duì)于輸出層和隱層，各定義一個(gè)誤差信號(hào)，令 , （3.17a）(

18、3.17b)則由（3.7）和（3.17a），可將（3.16a）改為： （3.18a）由（3.9）和（3.17b），可將（3.16b）改為： （3.18b）可以看出，只要計(jì)算（3.18）中的誤差信號(hào)，權(quán)值調(diào)整量的計(jì)算推導(dǎo)即可完成。下面繼續(xù)推導(dǎo)如何求，。對(duì)于輸出層，可展開為： （3.19a）對(duì)于隱層，可展開為： （3.19b）利用（3.12）可得： （3.20a）利用（3.13）可得： （3.20b）將（3.20）代入（3.19），并應(yīng)用（3.11），得： （3.21a） （3.21b）至此,兩個(gè)誤差信號(hào)的推導(dǎo)已完成。將（3.21）代回到（3.18），得到三層感知器的bp學(xué)習(xí)算法權(quán)值調(diào)整計(jì)算公式：

19、 （3.22a） （3.22b）3. bp算法程序?qū)崿F(xiàn)（1）初始化對(duì)權(quán)值矩陣w，v賦隨機(jī)數(shù)，將樣本模式計(jì)數(shù)器p和訓(xùn)練次數(shù)計(jì)數(shù)器q置為1，誤差e=0，學(xué)習(xí)率設(shè)為，網(wǎng)絡(luò)訓(xùn)練后達(dá)到的精度.設(shè)為一個(gè)小的正數(shù)（0.01）.（2）輸入訓(xùn)練樣本對(duì)，計(jì)算各層輸出用當(dāng)前樣本對(duì)向量組賦值，用下式計(jì)算y，o中各分量：輸出層：隱層：式中，（3）計(jì)算網(wǎng)絡(luò)輸出誤差設(shè)共有p對(duì)訓(xùn)練樣本，總輸出誤差式中，（4）計(jì)算各層誤差信號(hào)：，（5）調(diào)整各層權(quán)值 應(yīng)用（3.22a），（3.22b），計(jì)算w，v中各分量。（6）檢查是否對(duì)所有樣本完成一次輪訓(xùn)若pp，計(jì)數(shù)器p,q增1，返回步驟(2)，否則轉(zhuǎn)步（7）。（7）檢查網(wǎng)絡(luò)總誤差是否達(dá)到精

20、度要求，若，結(jié)束。例 bp網(wǎng)絡(luò)的應(yīng)用：函數(shù)逼近試設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)下面這對(duì)數(shù)組的函數(shù)關(guān)系：p=-1:0.1:1; %- 輸入向量 -t=-0.96 -0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 .0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201; %- 目標(biāo)向量 -源代碼：（bp_mat.m）% bp網(wǎng)絡(luò)應(yīng)用; 函數(shù)逼近 my source% 說明 : 通過輸入向量p,目標(biāo)向量t,訓(xùn)練權(quán)值向量w1,w2,尋找逼近函數(shù):

21、t=f(p)% bp網(wǎng)絡(luò)結(jié)構(gòu):輸入層神經(jīng)元個(gè)數(shù) r=1,隱層神經(jīng)元個(gè)數(shù)s1=5,輸出層神經(jīng)元個(gè)數(shù) s2 = 1p=-1:0.1:1; %- 輸入向量 -p2=-1:0.1:1;t=-0.96 -0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 . -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 . 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201; %- 目標(biāo)向量 -plot(p,t,r+);% -(1) 初始化: -r,q=size(p); % r,q分別為輸入向量p的行數(shù)(輸入層神經(jīng)元個(gè)數(shù)),列數(shù)(訓(xùn)練樣本個(gè)數(shù)) s2,q=size(t); % s2,q 分別為目標(biāo)向量 t 的行數(shù)(輸出層神經(jīng)元個(gè)數(shù)),列數(shù) s1=5; % - 隱層神經(jīng)元個(gè)數(shù)w1,b1=rands(s1,r); % 隨機(jī)產(chǎn)生權(quán)值矩陣w1(行數(shù)s1,列數(shù)r),向量b1(維數(shù)s1)w2,b2=rands(s2,s1);b1=;b2=;b1=b1*ones(1,q); % ones(m,n) : 產(chǎn)生矩陣(m,n),元素全為1 b2=b2*ones(1,q); a2=w2*tansig(w1*p2+b1)+b2; % tansig : 雙曲正切函數(shù)a2=purelin(a2);