矩陣論在神經(jīng)網(wǎng)絡中的應用詳解

1、矩陣論論文論文題目：矩陣微分在BP神經(jīng)網(wǎng)絡中的應用姓名：崔義新學號：20140830院（系、部）：數(shù)學與信息技術學院專業(yè)：數(shù)學班級：2014級數(shù)學研究生導師：花強完成時間：2015 年6月矩陣微分是矩陣論中的一部分，是實數(shù)微分的擴展和推廣.因此，矩陣微分具有與實數(shù)微分的相類似定義與性質(zhì).矩陣微分作為矩陣論中的基礎部分，在許多領域都有應用， 如矩陣函數(shù)求解，神經(jīng)網(wǎng)絡等等.BP網(wǎng)絡，即反向傳播網(wǎng)絡(Back-Propagation Network)是一種多層前向反饋神經(jīng)網(wǎng)絡， 它是將W-H學習規(guī)則一般化，對非線性可微分函數(shù)進行權值訓練的多層網(wǎng)絡.它使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡的權值和

2、閾值，使網(wǎng)絡的誤差平方和最小.在其向前傳播的過程中利用了矩陣的乘法原理，反傳的過程中則是利用最速下降法，即沿著誤差 性能函數(shù)的負梯度方向進行，因此利用了矩陣微分 .關鍵詞：矩陣微分；BP神經(jīng)網(wǎng)絡；河北大學2014級研究生矩陣論論文矩陣微分(Matrix Differential)也稱矩陣求導(Matrix Derivative),在機器學習、圖像處理、 最優(yōu)化等領域的公式推導過程中經(jīng)常用到.本文將對各種形式下的矩陣微分進行詳細的推 導.BP (Back Propagation神經(jīng)網(wǎng)絡是1986年由Rumelhart和McCelland為首的科學家 小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆?/p>

3、網(wǎng)絡，是目前應用最廣泛的神經(jīng)網(wǎng)絡 模型之一 .BP網(wǎng)絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種 映射關系的數(shù)學方程.它的學習規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡的 權值和閾值，使網(wǎng)絡的誤差平方和最小.BP神經(jīng)網(wǎng)絡模型拓撲結(jié)構包括輸入層(input)、 隱層(hiddenlayer)和輸出層(outputlayer).BP (Back Propagation)神經(jīng)網(wǎng)絡，即誤差反傳誤差反向傳播算法的學習過程，由信息 的正向傳播和誤差的反向傳播兩個過程組成.輸入層各神經(jīng)元負責接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負責信息變換，根據(jù)

4、信息變化 能力的需求，中間層可以設計為單隱層或者多隱層結(jié)構；最后一個隱層傳遞到輸出層各神 經(jīng)元的信息，經(jīng)進一步處理后，完成一次學習的正向傳播處理過程，由輸出層向外界輸出 信息處理結(jié)果.當實際輸出與期望輸出不符時，進入誤差的反向傳播階段.誤差通過輸出層，按誤差梯度下降的方式修正各層權值，向隱層、輸入層逐層反傳.周而復始的信息正向傳播和誤差反向傳播過程，是各層權值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡學習訓練的過程，此過程一直進行到網(wǎng)絡輸出的誤差減少到可以接受的程度，或者預先設定的學習次 數(shù)為止.1矩陣的微分相對于向量的微分的定義定義1對于n維向量函數(shù)，設函數(shù)f( X ) = f(x1,X2|,Xn)是以向

5、量X為自變量的數(shù)量函數(shù)，即以n個變量xi為自變量的數(shù)量函數(shù).我們將列向量叫做數(shù)量函數(shù)f對列向量X的導數(shù),?xn J記作df dX=grad f = fdf*cf I：xn(1.1)河北大學2014級研究生矩陣論論文例 1.求函數(shù) f (X) =XTX = X12+x；十|十X；對X的導數(shù)解：根據(jù)定義一占1dfdX-：Xi2X1X 1：=2 ；2xnXn=2X相對于矩陣的微分的定義定義2設函數(shù)f =f( A)是以PXm矩陣A的PXm元素a7為自變量的數(shù)量函數(shù)，簡稱以矩陣A為自變量的數(shù)量函數(shù).例如f =a；11 a12 a21a21 a22a23 an a21 a22=1ai 1 1a111a21

6、ai2a22人a111=a, A a = f Aai 1a 1。1a 2定義:PXm矩陣Qf制1III-a m&fIf：ap1IIId f (A) 一dA(1.2)稱為數(shù)量函數(shù)f對矩陣A的導數(shù)，記作d f(A)dA例2:求f(A) = XT AX對矩陣A的導數(shù)，其中向量X是定常的，A是對稱的.解：f (A) = I-X1 x2 1a111a211a22 /lX2 I22三 x1a11X1X2al2x1X2a21X2a22根據(jù)定義有df (A)dA交蜘1交回1X12X1X2X1X22XX喂=XX T(X T A X) = X TX d A河北大學2014級研究生矩陣論論文定義3如果矩陣A(t)=

7、 (a“t)產(chǎn)Cmxn的每個元素a0 (t)都是t的可微函數(shù)，則A(t)關于t的導數(shù)(微商)定義為：A/+、dA/d t(1.3)A (t)( aij (t) m ndt dt復合函數(shù)的微分公式 1 設 f = f(Y) , Y =Y(X),則d f YTI_ dX- dXAf -f dX TdY T_d f dYYddXT(1.4)證明：由給定條件有df n-dv dY 和 dY d Y T將上式結(jié)合起來Hf . dfdYdf 丁 丁 dXdY T dX TdYdX7=df df dYdXT -dYT dXT公式 2 設 f = f( X,Y ) , Y =Y( X ),則(1.5)d f

8、f f W f f r- dXX dX Ydf df f d Y ! = rdX T dX T Y TdX2人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡的定義定義4人工神經(jīng)網(wǎng)絡是由大量處理單元互聯(lián)組成的非線性、自適應信息處理系統(tǒng) .它 是在現(xiàn)代神經(jīng)科學研究成果的基礎上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡處理、記憶信息 的方式進行信息處理.人工神經(jīng)網(wǎng)絡(Artificial Neural Networks, ANN )是一種模仿動物神經(jīng)網(wǎng)絡行為特征， 進行分布式并行信息處理的算法數(shù)學模型.這種網(wǎng)絡依靠系統(tǒng)的復雜程度，通過調(diào)整內(nèi)部 大量節(jié)點之間相互連接的關系，從而達到處理信息的目的.人工神經(jīng)網(wǎng)絡具有自學習和自適應的能力，

9、可以通過預先提供的一批相互對應的輸入-輸出數(shù)據(jù)，分析掌握兩者之間潛 在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結(jié)果，這種學習分析的過程被河北大學2014級研究生矩陣論論文稱為“訓練”.人工神經(jīng)網(wǎng)絡的模型由于人工神經(jīng)網(wǎng)絡是受生物神經(jīng)網(wǎng)絡的啟發(fā)構造而成的，所以在開始討論人工神經(jīng) 網(wǎng)絡之前，有必要首先考慮人腦皮層神經(jīng)系統(tǒng)的組成.科學研究發(fā)現(xiàn)，人的大腦中大約有 100億個生物神經(jīng)元，它們通過 60萬億個聯(lián)接聯(lián) 成一個系統(tǒng).每個神經(jīng)元具有獨立的接受、處理和傳遞電化學信號的能力.這種傳遞經(jīng)由構成大腦通信系統(tǒng)的神經(jīng)通路所完成.單個神經(jīng)元處理一個事件需要10s,而在硅芯片中處理一事件只需10-9s.

10、但人腦是一個非常高效的結(jié)構，大腦中每秒每個動作的能量約為106J,而當今性能最好的計算機進行相應的操作需要 10J.圖1所示是生物神經(jīng)元及其 相互聯(lián)接的典型結(jié)構.圖1:生物神經(jīng)元及其相互聯(lián)接的典型結(jié)構(1)生物神經(jīng)元主要由樹突、軸突、突觸和細胞體組成 .其中樹突是由細胞體向外伸 出的，有不規(guī)則的表面和許多較短的分支.樹突相當于信號的輸入端，用于接受神經(jīng)沖動(2)軸突是由細胞體向外伸出的最長的一條分支，即神經(jīng)纖維，相當于信號的輸出 電纜.(3)突觸是神經(jīng)元之間通過軸突(輸出)和樹突(輸入)相互聯(lián)結(jié)點 .(4)細胞體完成電化學信號整合與處理，當胞體中接受的累加刺激超過一個閾值時， 胞體就被激發(fā)，此

11、時它沿軸突通過樹突向其它神經(jīng)元發(fā)出信號.我們要構造一個人工神經(jīng)網(wǎng)絡系統(tǒng)，要從以下三個方面對生物神經(jīng)網(wǎng)絡進行模擬：(1)人工神經(jīng)元(也簡稱為節(jié)點)本身的處理能力；(2)節(jié)點與節(jié)點之間連接(人工神經(jīng)網(wǎng)絡拓撲結(jié)構)；河北大學2014級研究生矩陣論論文（3）節(jié)點與節(jié)點之間連接的強度（通過學習算法來調(diào)整）因此，首要任務是構造人工神經(jīng)元模型.對于每一個人工神經(jīng)元來說，它可以接受一組來自系統(tǒng)中其它神經(jīng)元的輸入信號，每個輸入對應一個權，所有輸入的加權和決定Ig神經(jīng)元的激活狀態(tài).這里，每個權就相當于突 觸的“聯(lián)接強度”.基本模型如下圖2.圖2:人工神經(jīng)網(wǎng)絡 基本模型圖中yi是第i個神經(jīng)元的輸出，它可與其他多個神

12、經(jīng)元通過權連接：u1,., u j,., un分別指與第i個神經(jīng)元連接的其他神經(jīng)元輸出；w1i,.,wji,.,wni分別是指其他神經(jīng)元與第i個 神經(jīng)元連接的權值；0是指第i個神經(jīng)元的閾值；Xi是第i個神經(jīng)元的凈輸入；f （x）是非線性函數(shù)，稱為輸出函數(shù)或激活函數(shù).激活函數(shù)常有以下幾種行放大處理或限制在一個適 當?shù)姆秶鷥?nèi).典型的激活函數(shù)有符號函數(shù)、階躍函數(shù)、S型函數(shù)等.目前，已有的人工神經(jīng)網(wǎng)絡模型至少有幾十種，其分類方法也有多種.例如，若按網(wǎng)絡拓撲結(jié)構，可分為無反饋網(wǎng)絡與有反饋網(wǎng)絡；若按網(wǎng)絡的學習方法，可分為有導師的學 習網(wǎng)絡和無導師的學習網(wǎng)絡；若按網(wǎng)絡的性能，可分為連續(xù)型網(wǎng)絡與離散型網(wǎng)絡，或

13、分為 確定性網(wǎng)絡與隨機型網(wǎng)絡；若按突觸連接的性質(zhì)，可分為一階線性關聯(lián)網(wǎng)絡與高階非線性 關聯(lián)網(wǎng)絡.BP人工神經(jīng)網(wǎng)絡模型1986年Rumelhart, Hinton和 W川iams完整而簡明地提出一種 ANN的誤差反向傳播 訓練算法（簡稱BP算法），系統(tǒng)地解決了多層網(wǎng)絡中隱含單元連接權的學習問題，由此 算法構成的網(wǎng)絡我們稱為BP網(wǎng)絡.BP網(wǎng)絡是前向反饋網(wǎng)絡的一種，也是當前應用最為廣泛 的一種網(wǎng)絡.誤差反傳算法的主要思想是把學習過程分為兩個階段：第一階段（正向傳播過程）， 給出輸入信息通過輸入層經(jīng)隱含層處理并計算每個單元的實際輸出值；第二階段（反向過 程），若在輸出層未能得到期望的輸出值，則逐層遞歸

14、地計算實際輸出與期望輸出之差值 （即誤差），以便根據(jù)此差值調(diào)節(jié)權值，具體來說，就是可對每一權重計算出接收單元的河北大學2014級研究生矩陣論論文誤差值與發(fā)送單元的激活值的積.基于BP算法的多層前饋型網(wǎng)絡的結(jié)構如圖 3所示.BP人工神經(jīng)網(wǎng)絡基本算法公式推導為了方便理解，不妨設含有共 L層和n個節(jié)點的任意一個三層BP神經(jīng)網(wǎng)絡，每層單 位元只接受前一層的輸出信息并輸出給下一層各單元，各單位元的特性為Sigmoid型(它是連續(xù)可微的，且值域在0-1之間).設給定N個樣本(Xk，yk)(k=1,2,., N),任一節(jié)點i的 輸出為Q,對某一個輸入為Xk,網(wǎng)絡的輸出為丫節(jié)點i的輸出為Qk。正向傳播過程，對

15、于輸入層單位元一般無計算能力，只是作為傳輸和儲存.現(xiàn)在研究隱藏層，設輸入層到隱藏層連接矩陣為 Wij1 ,當輸入第k個樣本，節(jié)點j的輸入為 nefk=E*Xjk(2)隱藏層的第j個單元，當輸入第k個樣本時，節(jié)點j的輸出為Ok=f(O1k+H)其中，f為非線性激活函數(shù)，一般取為(0,1)內(nèi)連續(xù)取值Sigmoid函數(shù)；bjk為l層神經(jīng)單位元的閾值，net2k表示隱藏層，輸入第k個樣本時，第j個單元節(jié)點的輸入.類似的，輸出層的輸入為nefk=EW3202k2)對于輸出層的輸出，激活函數(shù)有時采用Sigmoid函數(shù)，但有時也會采用純線性函數(shù)，在止匕, 我們以純線性函數(shù)為例，則輸出層的輸出為Ok=f(a+

16、b2)(2.3)采用的誤差函數(shù)為河北大學2014級研究生矩陣論論文12Ek = ( ylk - ylk )2 l(2.4)其中猿為單元j的實際輸出.總誤差為1 NE 二、Ek2N k(2.5)定義-:Ek-J-netjk于是jk ： Ek l.lwijnetjk:wijfnet廠-jk(2.6)jk卜面分兩種情況來討論:（1）若節(jié)點j為輸出單元，則l-jk=yjk、；=、. 32jk jk-:Ek-:Ek；：Yjk,l netjk可jk Fnej二-Wk -yQf (回)(2.7)（2）若節(jié)點j不是輸出單元，則、. lk =、.？jk jk：Ek-Ek -jk:netjk由jk cnetjk2

17、口jkf (netjk)(2.8)式中口jk是送到下一層（l + 1）層的輸入,計算.：Ek-_ l- - jk要從（1 + 1）層算回來.在（l+1）層第m個單元時：Ekl 1_ x - Ek- netmkt,、 五 、廠 netmk 二二：Ek l 1r7wmj-l -1 l 1=,mkWmj(2.9)jk mmk將式（2.9 ）代入式（2.8 ）中，則得-l 1 l 1l二mkWmj f (netjk)總結(jié)上述結(jié)果，有.l 1 l 1l mk Wmj f (netjk)：Ek-l二 Wij.l 11 =O.O. jk jk(2.11 )河北大學2014級研究生矩陣論論文誤差的反向傳播，即

18、首先由輸出層開始逐層計算各層神經(jīng)元的輸出誤差，然后根據(jù)誤差梯 度下降法來調(diào)節(jié)各層的權值和閾值，使修改后的網(wǎng)絡的最終輸出能接近期望值.根據(jù)誤差梯度下降法依次修正輸出層權值的修正量Aw：2,輸出層閾值的修正量院，隱含層權值的修正量Awj1,隱含層閾值的修正量b.輸出層權值和閾值調(diào)整公式32I32323232 /Wij (m) z. jkyk(m)jk yk(m)Wj (m 1) = Wj (m) 陰(m)b2(m) - -、32bj(m 1)=bj(m) ：b：隱藏層權值和閾值調(diào)整公式21I21323232Aw。(m) = *Mkyk(m)=Mkyk(m)Wj (m + 1)=Wj (m)+Wj

19、(m)Abj(m) =6jk =-嶗bj(m+1) = bj(m)十 Ab：2.5 BP人工神經(jīng)網(wǎng)絡基本算法BP算法不僅有輸入層節(jié)點，輸出層節(jié)點，而且有一層或多層隱含節(jié)點.對于輸入信息, 首先向前傳播到隱含層的節(jié)點上，經(jīng)過各單元的激活函數(shù)(又稱作用函數(shù)、轉(zhuǎn)換函數(shù))運 算后，把隱含節(jié)點的輸出信息傳播到輸出節(jié)點，最后給出輸出結(jié)果.網(wǎng)絡的學習過程由正向和反向傳播兩部分組成.在正向傳播過程中，每一層的神經(jīng)元的狀態(tài)只影響下一層神經(jīng) 元網(wǎng)絡.如果輸出層不能得到期望輸出，就是實際輸出值與期望輸出值之間有誤差，那么 轉(zhuǎn)向反向傳播過程，將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的權值，逐 次地向輸入層傳

20、播去進行計算，再經(jīng)過正向傳播過程，這兩個過程的反復運用，使得誤差 信號最小.實際上，誤差達到人們所希望的要求時，網(wǎng)絡的學習過程就結(jié)束.BP算法是在導師指導下，適合于多層神經(jīng)元網(wǎng)絡的一種學習，它是建立在梯度下降法的基 礎上的.理論證明，含有一個隱含層的 BP網(wǎng)絡可以實現(xiàn)以任意精度近似任何連續(xù)非線性函 數(shù).具體步驟如下：第一步，數(shù)據(jù)歸一并進行網(wǎng)絡初始化 根據(jù)系統(tǒng)輸入輸出序列(X,Y)確定網(wǎng)絡輸入層節(jié)點河北大學2014級研究生矩陣論論文數(shù)n,輸出層節(jié)點數(shù)1,輸入層輸出層的神經(jīng)元個數(shù)分別由函數(shù)輸入和輸出的維數(shù)確定.由實驗經(jīng)驗隱含層節(jié)點個數(shù)需要大于輸入層隱層節(jié)點數(shù)，設為m,初始化輸入層、隱層、輸出層之間的連接權值w；,w;,初始化隱層閾值bl ,輸出層閾值b2 ,給定學習速率n以及學 習誤差error ；訓練次數(shù)maxEpoch,可以根據(jù)訓練需要改動；第二步，輸入樣本計算隱含層的輸出值Oi ,i =1,2,., m,計算公式為O = log sig(X