人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用實(shí)例

1、人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用實(shí)例人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)科學(xué)研究成果基礎(chǔ)上提出的一種抽象數(shù)學(xué)模型，它以某種簡化、抽象和模擬的方式，反映了大腦功能的若干基本特征，但并非其逼真的描寫。人工神經(jīng)網(wǎng)絡(luò)可概括定義為：由大量簡單元件廣泛互連而成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。所謂簡單元件，即人工神經(jīng)元，是指它可用電子元件、光學(xué)元件等模擬，僅起簡單的輸入輸出變換 y = s (x) 的作用。下圖是 3中常用的元件類型：線性元件： y = 0.3x，可用線性代數(shù)法分析，但是功能有限，現(xiàn)在已不太常用。21.510.50-0.5-1-1.5-2-6-4-20246連續(xù)型非線性元件： y = tanh(x)，便于解析性計(jì)算及器件模擬，是當(dāng)

2、前研究的主要元件之一。page 1 of 2521.510.50-0.5-1-1.5-2-6-4-202461, x 0-1, x 0，便于理論分析及閾值邏輯器件實(shí)現(xiàn)，也是當(dāng)前研究的主要元件之一。21.510.50-0.5-1-1.5-2-6-4-20246page 2 of 25離散型非線性元件： y = 每一神經(jīng)元有許多輸入、輸出鍵，各神經(jīng)元之間以連接鍵（又稱突觸）相連，它決定神經(jīng)元之間的連接強(qiáng)度（突觸強(qiáng)度）和性質(zhì)（興奮或抑制），即決定神經(jīng)元間相互作用的強(qiáng)弱和正負(fù)，共有三種類型：興奮型連接、抑制型連接、無連接。這樣，n 個神經(jīng)元（一般 n 很大）構(gòu)成一個相互影響的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，通過調(diào)整網(wǎng)絡(luò)

3、參數(shù)，可使人工神經(jīng)網(wǎng)絡(luò)具有所需要的特定功能，即學(xué)習(xí)、訓(xùn)練或自組織過程。一個簡單的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如下所示：上圖中，左側(cè)為輸入層（輸入層的神經(jīng)元個數(shù)由輸入的維度決定），右側(cè)為輸出層（輸出層的神經(jīng)元個數(shù)由輸出的維度決定），輸入層與輸出層之間即為隱層。輸入層節(jié)點(diǎn)上的神經(jīng)元接收外部環(huán)境的輸入模式，并由它傳遞給相連隱層上的各個神經(jīng)元。隱層是神經(jīng)元網(wǎng)絡(luò)的內(nèi)部處理層，這些神經(jīng)元在網(wǎng)絡(luò)內(nèi)部構(gòu)成中間層，不直接與外部輸入、輸出打交道。人工神經(jīng)網(wǎng)絡(luò)所具有的模式變換能力主要體現(xiàn)在隱層的神經(jīng)元上。輸出層用于產(chǎn)生神經(jīng)網(wǎng)絡(luò)的輸出模式。多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中有代表性的有前向網(wǎng)絡(luò)（bp 網(wǎng)絡(luò)）模型、page 3 of 25多層側(cè)

4、抑制神經(jīng)網(wǎng)絡(luò)模型和帶有反饋的多層神經(jīng)網(wǎng)絡(luò)模型等。本文主要探討前向網(wǎng)絡(luò)模型。多層前向神經(jīng)網(wǎng)絡(luò)不具有側(cè)抑制和反饋的連接方式，即不具有本層之間或指向前一層的連接弧，只有指向下一層的連接弧。代表是bp 神經(jīng)網(wǎng)絡(luò)：輸入模式由輸入層進(jìn)入網(wǎng)絡(luò)，經(jīng)中間各隱層的順序變換，最后由輸出層產(chǎn)生一個輸出模式，如下圖所示：輸入層隱層輸出層多層前向神經(jīng)網(wǎng)絡(luò)由隱層神經(jīng)元的非線性處理衍生它的能力，這個任務(wù)的關(guān)鍵在于將神經(jīng)元的加權(quán)輸入非線性轉(zhuǎn)換成一個輸出的非線性激勵函數(shù)。下圖給出了一個接收 n 個輸入 x1, x2 , , xn 的神經(jīng)元：b1x1w1x2w2sywnxnpage 4 of 25神經(jīng)元的輸出由下式給出：nxj =

5、1這里輸入的加權(quán)和（括號內(nèi)部分）由一個非線性函數(shù)傳遞， b 表示與偏差輸入相關(guān)的權(quán)值， w j 表示與第 j 個輸入相關(guān)的權(quán)值。使用最廣泛的函數(shù)是 s 形函數(shù)，其曲線家族包括對數(shù)函數(shù)和雙曲正切函數(shù)，這些都可用來對人口動態(tài)系統(tǒng)、經(jīng)濟(jì)學(xué)系統(tǒng)等建模。另外所用的其他函數(shù)有高斯函數(shù)、正弦函數(shù)、反正切函數(shù)，在此不一一展開介紹，本文主要使用的激勵函數(shù)是對數(shù)函數(shù)，函數(shù)表達(dá)式為：y = l(u) =函數(shù)曲線如下圖所示：10.80.60.40.2011 + e-u-0.2-10-8-6-4-20246810對于有限輸入量，對數(shù)函數(shù)輸出范圍為 y (0,1)。在輸入為 u = 0 時(shí)，輸出值為中間值 y = 0.5

6、。輸出在 u = 0 附近隨著輸入的增加以相對快的page 5 of 25y = s ( w j j + b)速率增加并非常慢地到達(dá)上限。對于 u 0 ，輸出起初減少得很快，然后隨著下限的接近將會變慢。訓(xùn)練神經(jīng)元的規(guī)則有很多種，這里首先介紹利用 delta 規(guī)則的學(xué)習(xí)，神經(jīng)元選擇為一個單輸入單輸出的簡單情形，數(shù)學(xué)描述如下：u = wx + b, y =11 + e-u該神經(jīng)元具有一個輸入 x ，權(quán)重為 w ，偏差輸入為 b ，目標(biāo)輸出為 t ，預(yù)報(bào)輸出為 y 。則預(yù)報(bào)誤差為：e = t - y = t -1 11 + e-u 1 + e- wx-b為消除當(dāng)誤差在整個輸入模式上求和時(shí)引起的誤差符

7、號問題，在delta 規(guī)則里使用的誤差指示是平方誤差，定義為：1 12 21- wx-b)2根據(jù) delta 規(guī)則，最優(yōu)權(quán)值（使平方誤差最?。┛梢栽谟?xùn)練過程中從初始權(quán)值出發(fā)，沿負(fù)梯度方向下降得到。將平方誤差對 w, b （神經(jīng)元的可調(diào)整參數(shù)）進(jìn)行微分，得：eu= -e e-u(1 + e-u )2eweb= = - e xu w (1 + e-u )2= = - e u b (1 + e-u )2根據(jù) delta 原則，權(quán)值改變應(yīng)與誤差梯度的負(fù)值成比例，引入學(xué)習(xí)率 b ，每次迭代中的權(quán)值改變可表示為：e e-uw (1 + e-u )2ebe-u(1 + e-u )2page 6 of 25=

8、 t -1 + ee u e-ue u e-udw = -b = b e xdb = -b = b e 學(xué)習(xí)率 b 決定了沿梯度方向的移動速度，以確定新的權(quán)值。大的b 值會加快權(quán)值的改變，小的 b 值則減緩了權(quán)值的改變。第 i 次迭代后的新權(quán)值可表示為：wi +1 = wi + b e e-u(1 + e-u )2 xbi +1 = bi + b e e-u(1 + e-u )2如果將偏差輸入 b 視為輸入 x 的一部分，令 x0 = 1, w0 = b，可以得到對于多輸入神經(jīng)元的權(quán)值修正式：+1e-u(1 + e-u )2 x j , j = 0,1, 2, n總之，利用 delta 規(guī)則的

9、有監(jiān)督的學(xué)習(xí)可以按如下方法來實(shí)現(xiàn)：一個輸入模式（ x0 , x1, x2 , , xn）通過連接被傳遞，它的初始權(quán)值被設(shè)置為任意值。對加權(quán)的輸入求和，產(chǎn)生輸出 y ，然后 y 與給定的目標(biāo)輸出 t 做比較決定此模式的平方誤差 e 。輸入和目標(biāo)輸出不斷地被提出，在每一次迭代或每一個訓(xùn)練時(shí)間后利用 delta 規(guī)則進(jìn)行權(quán)值調(diào)整直到得到可能的最小平方誤差。delta 規(guī)則在每一步中通過導(dǎo)數(shù)尋找在誤差平面中某個特定點(diǎn)局部區(qū)域的斜率，它總是應(yīng)用這個斜率從而試圖減小局部誤差，因此，delta 規(guī)則不能區(qū)分誤差空間中的全局最小點(diǎn)和局部最小點(diǎn)，它本身不能克服單層神經(jīng)網(wǎng)絡(luò)的局限，無法直接應(yīng)用到多層神經(jīng)網(wǎng)絡(luò)（易陷

10、入局部最小點(diǎn)），但它的一般形式是多層神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)算法反傳算法的核心。在多層前向神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，誤差導(dǎo)數(shù)或關(guān)于權(quán)值的誤差page 7 of 25wij ji + b e = w表面的斜率對權(quán)值的調(diào)整是至關(guān)重要的，在網(wǎng)絡(luò)訓(xùn)練期間，所有的輸出神經(jīng)元和隱含神經(jīng)元權(quán)值必須同時(shí)調(diào)整，因此，有必要找出關(guān)于所有權(quán)值的誤差導(dǎo)數(shù)。由于網(wǎng)絡(luò)層數(shù)增多，平方誤差 e 與權(quán)值的連接沒有之前單個神經(jīng)元時(shí)那么直接，故可以使用鏈?zhǔn)揭?guī)則的概念來找到導(dǎo)數(shù)。下面對一個含有一層隱含神經(jīng)元的 bp 網(wǎng)絡(luò)進(jìn)行討論，網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：x0 = 11a0ma01sy1b1y0 = 1x11b0x211zbman1ymxn1anms

11、各個神經(jīng)元的輸入輸出關(guān)系為：yi =11 + e-uinj =0x, mmi =0設(shè)目標(biāo)輸出為 t ，則平方誤差 e 定義為：page 8 of 25, ui = a ji j , i = 1, 2,z = v, v = bi iy12使用鏈?zhǔn)椒▌t，分別列出平方誤差 e 對所有網(wǎng)絡(luò)參數(shù)的導(dǎo)數(shù)：ev= -(t - z)ebiev, meyiev, m= = ui yi ui yi (1+ e-ui )2, i = 1, 2, mea ji= = x j , i = 1, 2, m, j = 0,1, 2, n在實(shí)際的編程過程中，我們需要的是ebi和ea ji，所以如果有需要，也可以直接采用以下整

12、理之后的形式：ebi= -(t - z) yi , i = 0,1, 2, mea jie-ui(1 + e-ui )2, m, j = 0,1, 2, n研究表明，兩層網(wǎng)絡(luò)在其隱層中使用 s 形激勵函數(shù)，在輸出層中使用線性傳輸函數(shù)，就幾乎可以以任意精度逼近任意感興趣的函數(shù)，只要隱層中有足夠的單元可用。問題 1：試使用 bp 神經(jīng)網(wǎng)絡(luò)去逼近正弦函數(shù)的正半周，如下：t = sin(x), x 0,p 由于輸入量 x 僅有一維，故 bp 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以設(shè)計(jì)為：page 9 of 25= yi , i = 0,1, 2,= bi , i = 1, 2,e e yi e e-uie ui eui a

13、 jiui= -(t - z) bi x j , i = 1, 2,x0 = 1a01sy1y0 = 1a02b1b0a11b21zx1 = xa12sy2各個神經(jīng)元的輸入輸出關(guān)系為：yi =11 + e-ui1j =0x2i =0根據(jù)之前的推導(dǎo)，平方誤差 e 對所有網(wǎng)絡(luò)參數(shù)的導(dǎo)數(shù)為：ebi= -(t - z) yi , i = 0,1, 2ea jie-ui(1 + e-ui )2網(wǎng)絡(luò)參數(shù)修正方程為：k +1ebikak +1jijik e k e-ui為加快尋找最優(yōu)權(quán)值的速度，可以使用動量法。之前的方法中，收斂到最優(yōu)權(quán)值的速度取決于學(xué)習(xí)率的大小，但是過大的學(xué)習(xí)率會導(dǎo)致來回震蕩，不能穩(wěn)定到最

14、優(yōu)權(quán)值點(diǎn)。動量法的引入，使得較大的學(xué)習(xí)率也可以具有較好的穩(wěn)定性，即提供了在學(xué)習(xí)期間到達(dá)最優(yōu)權(quán)值時(shí)page 10 of 25, ui = a ji j , i = 1, 2z = v, v = bi iy= -(t - z) bi x j , i = 1, 2, j = 0,1bi ibk - b = bi + b (t - z) yi , i = 0,1, 2= a - b = a ji + b (t - z) bi x j , i = 1, 2, j = 0,1a ji (1 + e-ui )2的穩(wěn)定性。這種方法基本上是將過去權(quán)值變化的平均值附加到每一次權(quán)值變化的新權(quán)值增量，從而使網(wǎng)絡(luò)權(quán)值的

15、變化更平滑。數(shù)學(xué)表示如下：dwk +1 = m dwk + (1- m ) b (-ew)式中， m 是一個在 0 和 1 之間的動量參數(shù)， dwk 是在前一個訓(xùn)練時(shí)間里的權(quán)值變化。使用動量法的實(shí)際效果是：基本上，如果以前積累的變化與之前方向所暗示的是同一個方向時(shí)，動量部分就會加速當(dāng)前權(quán)值改變；如果當(dāng)前積累的變化是相反的方向，動量將阻止當(dāng)前的變化。據(jù)此編寫 matlab 程序，源代碼如下：beta = 0.1;miu = 0.8;for i = 1 : 1 : 101;x1(1, i) = (i - 1) * pi / 100;t(1, i) = sin(x1(1, i);endx0 = 1;

16、y0 = 1;a01 = rand();a02 = rand();a11 = rand();a12 = rand();b0 = rand();b1 = rand();b2 = rand();delta_a01 = 0;delta_a02 = 0;delta_a11 = 0;delta_a12 = 0;delta_b0 = 0;delta_b1 = 0;delta_b2 = 0;k = 1;total_error = 0;page 11 of 25while 1u1 = a01 * x0 + a11 * x1(1, k);u2 = a02 * x0 + a12 * x1(1, k);temp1

17、= exp(-u1) / (1 + exp(-u1) 2);temp2 = exp(-u2) / (1 + exp(-u2) 2);y1 = 1 / (1 + exp(-u1);y2 = 1 / (1 + exp(-u2);z = b0 * y0 + b1 * y1 + b2 * y2;total_error = total_error + (t(1, k) - z) 2 / 2;delta_b0 = miu * delta_b0 + (1 - miu) * beta * sum(t(1, k) - z) *y0);b0 = b0 + delta_b0;delta_b1 = miu * del

18、ta_b1 + (1 - miu) * beta * sum(t(1, k) - z) *y1);b1 = b1 + delta_b1;delta_b2 = miu * delta_b2 + (1 - miu) * beta * sum(t(1, k) - z) *y2);b2 = b2 + delta_b2;delta_a01 = miu * delta_a01 + (1 - miu) * beta * sum(t(1, k) - z)* b1 * temp1 * x0);a01 = a01 + delta_a01;delta_a02 = miu * delta_a02 + (1 - miu

19、) * beta * sum(t(1, k) - z)* b2 * temp2 * x0);a02 = a02 + delta_a02;delta_a11 = miu * delta_a11 + (1 - miu) * beta * sum(t(1, k) - z)* b1 * temp1 * x1(1, k);a11 = a11 + delta_a11;delta_a12 = miu * delta_a12 + (1 - miu) * beta * sum(t(1, k) - z)* b2 * temp2 * x1(1, k);a12 = a12 + delta_a12;k = k + 1;

20、if k = length(x1) + 1total_errork = 1;if total_error 0.001break;elsetotal_error = 0;endendendclear u1 u2 temp1 temp2 y1 y2 z x0 y0;page 12 of 25x0 = ones(size(x1);y0 = ones(size(x1);u1 = a01 * x0 + a11 * x1;u2 = a02 * x0 + a12 * x1;y1 = 1 ./ (1 + exp(-u1);y2 = 1 ./ (1 + exp(-u2);z = b0 * y0 + b1 * y

21、1 + b2 * y2;plot(x1, t, r);hold on;plot(x1, z, b);hold off;axis(0 pi -0.2 1.2);程序運(yùn)行后，輸出擬合曲線與原函數(shù)曲線，如下圖所示：10.80.60.40.20-0.200.511.522.53可以看出，訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)的預(yù)報(bào)輸出與目標(biāo)輸出已經(jīng)很接近，擬合效果是較為理想的。page 13 of 25總的來說，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，是神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值乃至拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。bp 算法是多層前向神經(jīng)網(wǎng)絡(luò)的一種學(xué)習(xí)規(guī)則，核心思想是將輸出誤差以某種形式通過隱層向輸入層

22、逐層反傳，學(xué)習(xí)的過程就是信號的正向傳播與誤差的反向傳播交替的過程。多層前向神經(jīng)網(wǎng)絡(luò)的主要功能有：（1）非線性映射能力。多層前向神經(jīng)網(wǎng)絡(luò)能學(xué)習(xí)和存儲大量輸入輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式供對神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由 n 維輸入空間到 m 維輸出空間的非線性映射。（2）泛化能力。當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間到輸出空間的正確映射。（3）容錯能力。輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。多層前向神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn) bp 學(xué)習(xí)算法有著以下明顯的缺陷：（1）易形成局部極?。▽儆谪澙匪?/p>

23、法，局部最優(yōu)）而得不到全局最優(yōu)；（2）訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低下，收斂速度慢；（3）隱節(jié)點(diǎn)的選取缺乏理論支持；（4）訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。標(biāo)準(zhǔn) bp 算法的改進(jìn)方法主要有：增加動量項(xiàng)；自適應(yīng)調(diào)節(jié)學(xué)習(xí)率等。增加動量項(xiàng)已經(jīng)在之前進(jìn)行過討論，可以減小振蕩趨勢，提高page 14 of 25訓(xùn)練速度。自適應(yīng)調(diào)節(jié)學(xué)習(xí)率是指根據(jù)環(huán)境變化增大或減小學(xué)習(xí)率，基本方法是：設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使總誤差增大，則本次調(diào)整無效，并令 b = a1b (a1 1)。下面通過一個非線性分類問題來考察前向神經(jīng)網(wǎng)絡(luò)在模式識別領(lǐng)域的應(yīng)用。問題 2：x - y平面上有 200 個點(diǎn)，分別屬于兩個類別

24、。試設(shè)計(jì)并訓(xùn)練一個多層前向神經(jīng)網(wǎng)絡(luò)，以完成該分類任務(wù)，使得被錯誤分類的樣本數(shù)量最低。 w1 類以綠色標(biāo)示， w2 類以藍(lán)色標(biāo)示。10.90.80.70.60.50.40.30.20.1000.10.20.30.40.50.60.70.80.91page 15 of 25根據(jù)題意，前向神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)如下：x0 = 1a01sy1y0 = 1a02b1b0x1 = xa11a12szb2x2 = ya21a22sy2網(wǎng)絡(luò)的輸入輸出關(guān)系及分類策略為：yi =21 + e-ui2j =0xz =21 + e-v2i=0yw , z 0w2 , z 0 & t(1, i) = 1) | (z(1,

25、i) 0 & t(1, i) = -1)%elseerror = error + 1;endenderrortemp0 = -(t - z) .* exp(-v) ./ (1 + exp(-v) . 2;temp1 = b1 .* exp(-u1) ./ (1 + exp(-u1) . 2;temp2 = b2 .* exp(-u2) ./ (1 + exp(-u2) . 2;delta_b0 = miu * delta_b0 + (1 - miu) * beta * sum(-temp0 .* y0);delta_b1 = miu * delta_b1 + (1 - miu) * beta

26、* sum(-temp0 .* y1);delta_b2 = miu * delta_b2 + (1 - miu) * beta * sum(-temp0 .* y2);delta_a01 = miu * delta_a01 + (1 - miu) * beta * sum(-temp0 .* temp1 .*x0);delta_a11 = miu * delta_a11 + (1 - miu) * beta * sum(-temp0 .* temp1 .*x1);delta_a21 = miu * delta_a21 + (1 - miu) * beta * sum(-temp0 .* te

27、mp1 .*x2);delta_a02 = miu * delta_a02 + (1 - miu) * beta * sum(-temp0 .* temp2 .*x0);delta_a12 = miu * delta_a12 + (1 - miu) * beta * sum(-temp0 .* temp2 .*x1);delta_a22 = miu * delta_a22 + (1 - miu) * beta * sum(-temp0 .* temp2 .*x2);b0 = b0 + delta_b0;b1 = b1 + delta_b1;b2 = b2 + delta_b2;a01 = a0

28、1 + delta_a01;a11 = a11 + delta_a11;a21 = a21 + delta_a21;a02 = a02 + delta_a02;a12 = a12 + delta_a12;a22 = a22 + delta_a22;l = l + 1;if l = 1000break;endpage 18 of 25endj1 = 1;j2 = 1;k1 = 1;k2 = 1;for i = 1 : 1 : nif x(i, 3) = -1if z(1, i) 0x21(k1, :) = x(i, :);k1 = k1 + 1;elsex22(k2, :) = x(i, :);

29、k2 = k2 + 1;endendendhold on;plot(x11(:, 1), x11(:, 2), g*);plot(x12(:, 1), x12(:, 2), r+);plot(x21(:, 1), x21(:, 2), bo);plot(x22(:, 1), x22(:, 2), r+);hold off;axis(0 1 0 1);程序運(yùn)行結(jié)果，經(jīng)過訓(xùn)練，該神經(jīng)網(wǎng)絡(luò)對 200 個樣本的分類正確率達(dá)到了 96.5%，分類效果較好，具體分類情況如下圖所示，其中被錯誤分類的樣本已用紅色標(biāo)示出，其它正確分類的樣本仍用原類別對應(yīng)的顏色進(jìn)行標(biāo)示。page 19 of 2510.90.80

30、.70.60.50.40.30.20.1000.10.20.30.40.50.60.70.80.91之前的所有程序都是完整地按照多層前向神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn) bp 學(xué)習(xí)算法過程進(jìn)行編寫的，程序較為復(fù)雜，而且如果出現(xiàn)差錯，也不易發(fā)現(xiàn)，因此應(yīng)用有一定難度，下面介紹使用 matlab 的神經(jīng)網(wǎng)絡(luò)工具箱進(jìn)行人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與訓(xùn)練的方法。關(guān)于神經(jīng)網(wǎng)絡(luò)工具箱的幫助信息，可以在 product help 中搜索“neural network toolbox”獲得，包含有較為詳細(xì)的使用方法，可以在需要時(shí)進(jìn)行查閱。下面以一個函數(shù)擬合的問題為例，演示如何使用神經(jīng)網(wǎng)絡(luò)工具箱。首先介紹幾個將要用到的函數(shù)：premnmx：

31、用于將網(wǎng)絡(luò)的輸入數(shù)據(jù)或輸出數(shù)據(jù)進(jìn)行歸一化，歸一化后的數(shù)據(jù)將分布在 -1,1區(qū)間內(nèi)。其語法格式為：page 20 of 25pn, minp, maxp, tn, mint, maxt = premnmx(p, t);tramnmx：在訓(xùn)練網(wǎng)絡(luò)是如果所用的是經(jīng)過歸一化的樣本數(shù)據(jù)，那么以后使用網(wǎng)絡(luò)時(shí)所用的新數(shù)據(jù)也應(yīng)該和樣本數(shù)據(jù)接收相同的預(yù)處理，tramnmx 用于完成此項(xiàng)處理，語法格式為：pn_new = tramnmx(p_new,minp,maxp);tn_new = tramnmx(t_new,mint,maxt);postmnmx：網(wǎng)絡(luò)輸出結(jié)果需要反歸一化還原為原始數(shù)據(jù)，常用的函數(shù)即是 p

32、ostmnmx，其語法格式為：y = postmnmx(yn,mint,maxt);newff：訓(xùn)練前饋網(wǎng)絡(luò)的第一步是建立網(wǎng)絡(luò)對象。函數(shù) newff 建立一個可訓(xùn)練的前饋網(wǎng)絡(luò)。這需要 4 個輸入?yún)?shù)：第一個參數(shù)是一個 rx2 的矩陣以定義 r 個輸入向量的最小值和最大值；第二個參數(shù)是一個設(shè)定每層神經(jīng)元個數(shù)的數(shù)組；第三個參數(shù)是包含每層用到的傳遞函數(shù)名稱的細(xì)胞數(shù)組；最后一個參數(shù)是用到的訓(xùn)練函數(shù)的名稱。例如可以這樣建立一個網(wǎng)絡(luò)對象：net = newff(minmax(pn1),nodenum typenum,tf1 tf2, trainlm);或者可以在建立網(wǎng)絡(luò)對象時(shí)并不設(shè)定訓(xùn)練函數(shù)，而是之后進(jìn)行

33、指定，如：net = newff(minmax(pn1),nodenum typenum,tf1 tf2);net.trainfcn = trainlm;兩者是等效的。train：bp 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)，其語法格式為：net = train(net,pn,tn);sim：對于給定的輸入量，模擬神經(jīng)網(wǎng)絡(luò)的輸出，其語法格式為：yn = sim(net,pn);page 21 of 25例如使用神經(jīng)網(wǎng)絡(luò)工具箱對一個正弦函數(shù)進(jìn)行擬合，源程序如下：clcclearclose all%-% 產(chǎn)生訓(xùn)練樣本與測試樣本p1 = 1:2:200; % 訓(xùn)練樣本，每一列為一個樣本t1 = sin(p1*0.1);

34、 % 訓(xùn)練目標(biāo)p2 = 2:2:200; % 測試樣本，每一列為一個樣本t2 = sin(p2*0.1); % 測試目標(biāo)%-% 歸一化pn1,minp,maxp,tn1,mint,maxt = premnmx(p1,t1);pn2 = tramnmx(p2,minp,maxp);tn2 = tramnmx(t2,mint,maxt);%-% 設(shè)置網(wǎng)絡(luò)參數(shù)nodenum = 20; % 隱層節(jié)點(diǎn)數(shù)typenum = 1; % 輸出維數(shù)tf1 = tansig;tf2 = purelin; % 判別函數(shù)(缺省值)%tf1 = tansig;tf2 = logsig;%tf1 = logsig;tf

35、2 = purelin;%tf1 = tansig;tf2 = tansig;%tf1 = logsig;tf2 = logsig;%tf1 = purelin;tf2 = purelin;net = newff(minmax(pn1),nodenum typenum,tf1 tf2);%-% 指定訓(xùn)練參數(shù)% net.trainfcn = traingd; % 梯度下降算法% net.trainfcn = traingdm; % 動量梯度下降算法% net.trainfcn = traingda; % 變學(xué)習(xí)率梯度下降算法page 22 of 25% net.trainfcn = traing

36、dx; % 變學(xué)習(xí)率動量梯度下降算法% (大型網(wǎng)絡(luò)的首選算法)% net.trainfcn = trainrp; % rprop(彈性 bp)算法,內(nèi)存需求最小% 共軛梯度算法% net.trainfcn = traincgf; % fletcher-reeves 修正算法% net.trainfcn = traincgp; % polak-ribiere 修正算法,內(nèi)存需求比fletcher-reeves 修正算法略大% net.trainfcn = traincgb; % powell-beal 復(fù)位算法,內(nèi)存需求比 polak-ribiere修正算法略大% (大型網(wǎng)絡(luò)的首選算法)%net.trainfcn = trainscg; % scaled conjugate gradient 算法,內(nèi)存需求與fletcher-reeves 修正算法相同,計(jì)算量比上面三種算法都小很多% net.trainfcn = trainbfg; % quasi-newton algorithms - bfgs algorithm,計(jì)算量和內(nèi)存需求均比共軛梯度算法大,但收斂比較快% net.tra