MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型.

1、MATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型神經(jīng)網(wǎng)絡工具箱簡介 MATLAB 7對應的神經(jīng)網(wǎng)絡工具箱的版本為Version4.0.3,它以神經(jīng)網(wǎng)絡理論為基礎，利用MATLAB腳木語言構造出典型神經(jīng)網(wǎng)絡的激活函 數(shù)，如線性、競爭性和飽和線性等激活函數(shù)，使設 計者対所選定網(wǎng)絡輸出的計算變成對激活函數(shù)的 調(diào)用。還可根據(jù)各種典型的修正網(wǎng)絡權值規(guī)則， 加上網(wǎng) 絡的訓練過程，利用MATLAB編寫出各種網(wǎng)絡設 計和訓練的子程序，用戶根據(jù)自己的需要去調(diào)用。神經(jīng)網(wǎng)絡工具箱的主要應用函數(shù)逼近和模型擬合信息處理和預測神經(jīng)網(wǎng)絡控制故障診斷應用神經(jīng)網(wǎng)絡工具箱求解問題的一般過程確定信息表達方式數(shù)據(jù)樣本已知數(shù)據(jù)樣本Z間相互關

2、系不確定輸入/輸出模式為連續(xù)的或者離散的按照模式進行分類，模式可能會具有平移、旋轉(zhuǎn)或伸縮等變數(shù)據(jù)樣本的預處理將數(shù)據(jù)樣本分為訓練樣本和測試樣本確定網(wǎng)絡模型選擇模型的類型和結構，也町對原網(wǎng)絡進行變形和擴充網(wǎng)絡參數(shù)的選擇確定輸入輸出神經(jīng)元數(shù)H訓練模型的確定選擇合理的訓練算法，確定合適的訓練步數(shù)，指定適為的訓練H標誤 差網(wǎng)絡測試選擇合適的測試樣本人工神經(jīng)元的一般模型神經(jīng)元模型及其簡化模型如圖所示，輸入向hl P =權值矩陣w =W , Wj 2，r s vv1J?與閾值的加權和（內(nèi)積運算）送入累加器，形成凈輸入，即：人工神經(jīng)元模型圖中,Xj（i=l, 2,n）為加于輸入端（突觸）上的輸入信號；為相應的

3、突觸連接權系數(shù)，它是模擬 突觸傳遞強度的一個比例系數(shù),乞表示突觸后信號的 空間累加；8表示神經(jīng)元的閾值，b表示神經(jīng)元的響 應函數(shù)。該模型的數(shù)學表達式為：X1S = / 0 x2 /=!y = b(s)與生物神經(jīng)元的區(qū)別:(1)生物神經(jīng)元傳遞的信息是脈沖，而上述 模型傳遞的信息是模擬電壓。(2)由于在上述模型中用一個等效的模擬電 壓來模擬生物神經(jīng)元的脈沖密度，所以在 模型中只有空間累加而沒有時間累加(可以 認為時間累加已隱含在等效的模擬電壓之 中)。(3)述模型未考慮時延、不應期和疲勞等。響應函數(shù)b(s)的基本作用: 1、控制輸入對輸出的激活作用； 2、對輸入、輸出進行函數(shù)轉(zhuǎn)換； 3、將可能無限

4、域的輸入變換成指定的有限范 圍內(nèi)的輸出。根據(jù)響應函數(shù)的不同，人工神經(jīng)元 有以下幾種類型：閾值單元響應函數(shù)如圖a所示,【05=0 y=1 ;x=0 y=1; x0 y=-1Purelin :y=xSatlin:x1 y=1 ;x=0&x=1 y=x;Logsig:y= 1l + ex人工神經(jīng)網(wǎng)絡的構成單個神經(jīng)元的功能是很有限的，人工神經(jīng) 網(wǎng)絡只有用許多神經(jīng)元按一定規(guī)則連接構 成的神經(jīng)網(wǎng)絡才具有強大的功能。神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡的 特性及能力主要取決于網(wǎng)絡的拓撲結構及 學習方法。人工神經(jīng)網(wǎng)絡連接的基本形式:1.前向網(wǎng)絡網(wǎng)絡的結構如圖所示。網(wǎng) 絡中的神經(jīng)元是分層排列 的，每個神經(jīng)元只與前

5、一 層的神經(jīng)元相連接。最右 一層為輸出層，隱含層的 層數(shù)可以是一層或多層。前向網(wǎng)絡在神經(jīng)網(wǎng)絡中應 川很廣泛，例如，感知器 就屬于這種類型。2.2.反饋前向網(wǎng)絡網(wǎng)絡的本身是前向型 的，與前一種不同的 是從輸出到輸入有反 饋回路。內(nèi)層互連前饋網(wǎng)絡通過層內(nèi)神經(jīng)元Z間的相 互連接， 可以實現(xiàn)同一層 神經(jīng)元之間橫向抑制或興 奮的機制， 從而限制層內(nèi) 能同時動作的神經(jīng)數(shù)， 或 者把層內(nèi)神經(jīng)元分為若干 組， 讓每組作為一個整體來動作。 一些自組織競爭 型神經(jīng)網(wǎng)絡就屬于這種類 型?；ミB網(wǎng)絡互連網(wǎng)絡右局部互連和全 互連兩種。 全互連網(wǎng)絡中 的每個神經(jīng)元都與其他神 經(jīng)元相連。局部互連是指 互連只是局部的， 有些神

6、 經(jīng)元之間沒有連接關系。Hopfield網(wǎng)絡和Boltzmann機屬于互連網(wǎng)絡的類型。神經(jīng)網(wǎng)絡的學習方式有教師學習(監(jiān)督學習)謀羌信號誤并分析有教師監(jiān)怦學習方式誤差信號的不同定義：(1)均方誤差mse(mean squared error)工（- a/mse= Ee=-nP 輸入神經(jīng)網(wǎng)絡(學習系統(tǒng))J(2)平均絕對誤差mae (mean absolute error)(3)誤差平方和sse(sum squared error)nk=1輸入S個神經(jīng)元的層無教師學習（無監(jiān)督學習）無教師監(jiān)仰學習方式MATLAB工具箱中的神經(jīng)網(wǎng)絡結構1.人工神經(jīng)元的一般模型在s = e一& 中，令b = Pl = “

7、 = fUlWi.ip+bi)“2 = f2( (LVV2.i ai +b?)ElMATLAB神經(jīng)網(wǎng)絡工具箱中的神經(jīng)網(wǎng)絡模型基本概念：標量:小寫字母，如a，b,c等;列向量:小寫黑體字母，如a,b,c等,意為一列 數(shù)；矩陣向量:大寫黑體字母，如A,B,C等權值矩陣向量W(t)標量元素叫,丿(。)為行,j為列,t為吋間或迭代 函數(shù)列向量匕彳亍向量叱閾值向量b(t)標量元素也(f) ,i為行,t為時間或迭代函數(shù)網(wǎng)絡層符號加權和：,m為第m個網(wǎng)絡層，捫為第個神經(jīng)元小加權和網(wǎng)絡層輸出：aZ Hl為第R1個網(wǎng)絡層，S，為第S”個神經(jīng)元,a為端出輸入層權值矩陣，網(wǎng)絡層權值矩陣LWk其 中，上標k,l表示第

8、I個網(wǎng)絡層到第k個網(wǎng)絡層的連 接權值矩陣向量例：加:;；表示輸入向量的第R個輸入 元素到輸入層的第個神經(jīng)元的連 接權.lw22表示.S ySb表示第i個網(wǎng)絡層的第個神經(jīng)元的閾值例:輸入S個神經(jīng)元的層1S個神經(jīng)元的層n】為第一層神經(jīng)元的中間運算結果,即連接權向量與閾值向量的加權和，大小為5*xl ,E|Jn =IWP + blH為第一層神經(jīng)元的輸出向量，大小為5*xla1= f!WP + bx神經(jīng)網(wǎng)絡的層數(shù)為神經(jīng)元網(wǎng)絡層的數(shù)目加1,即隱層數(shù)目加1 多層神經(jīng)網(wǎng)絡結構a2=f2(LW2a+ Z?2) =f2LW2f1(IWp + bx+b2多層網(wǎng)絡簡化形式InpulLayer 1Layer2a i

9、= fl (IXVi.ip+bi)2 =al +b2)圖中:P =P .PRX5毘屯肋In putLayer 1Layer 2ai = f1(iVVi.ip4-li)112 = f2(LW2.iai +l2)說明:輸入層神經(jīng)元的個數(shù)決定IW的行數(shù)，輸入向量元素的個數(shù)決定IW的列數(shù)，即S1行R列.4公式和圖形中的變量符號在編程代碼中的表示方法細胞矩陣:將多個矩陣向量作為細胞矩陣的”細胞”(Cell),細胞矩陣的各個元素值為對應細胞的大小和數(shù)值類1 2a =_3 4ri 2 3b =4 5 61c=352x2doubl 2x3doubl 3xIdoubl訪問元素:m1=n1,1=a =12 3m2

10、=456n2J(4)=52x2doubl2x3doubl變量符號在MATLAB中的表示上標變量以細胞矩陣(Cell array)即大描 號表7J*p1=1 (2)下標變量以圓括號表示,Pl=p(l),p = pl(2) Pl2= p2(2,2)例:Mi =認1,1(2,3)pll) = pI伙1龍(j=#2/_l(2)神經(jīng)網(wǎng)絡工具箱常用函數(shù)列表重要的感知器神經(jīng)網(wǎng)絡函數(shù)：初始化：訓練：仿真：學習規(guī)則：initp trainp simup learnp線性神經(jīng)網(wǎng)絡函數(shù)初始化：initlin設計：solvelin仿真：simulin離線訓練：trainwh在線自適應訓練：adaptwh學習規(guī)則：learnwhBP網(wǎng)絡函數(shù):initff：初始化不超過3層的前向網(wǎng)絡；simuff：仿真不超過3層的前向網(wǎng)絡；trainbp, trainbpx, trainlm：訓|練BPtrain bp：最慢；trainbpx：次之；trainlm：速度最快，但需要更多的存儲空間。learnbp：學習規(guī)則自組織網(wǎng)絡初始化:initsm仿真：simuc訓練：trainc：利用競爭規(guī)則訓練trainsm：利用Kohonen規(guī)則訓練simuhopsolvehop設計H opfield網(wǎng)絡