動態(tài)驅(qū)動遞歸網(wǎng)絡介紹概要

1、第15章動態(tài)驅(qū)動遞歸網(wǎng)絡15.1 介紹給定多層感知器作為基本模塊，應用全局反饋可以有不同的形式。反饋可以從多層感知器的輸由神經(jīng)元到輸入層。而且另一個可能的全局反饋可以從網(wǎng)絡的隱單元到輸入層。遞歸網(wǎng)絡有兩個基本功能：聯(lián)想記憶輸入輸由映射網(wǎng)絡遞歸網(wǎng)絡動態(tài)地響應外部應用的輸入信號，稱遞歸網(wǎng)絡為動態(tài)驅(qū)動遞歸網(wǎng)絡.而且，反饋的應用使得遞歸網(wǎng)絡獲得狀態(tài)表示.優(yōu)勢：大大減少記憶需求.本章分四部分：體系結(jié)構(gòu)，理論，學習算法和應用。第一部分15.2討論遞歸網(wǎng)絡的結(jié)構(gòu)。第二部分，包括15.3節(jié)至15.5節(jié)，討論遞歸網(wǎng)絡的理論部分。15.3討論了狀態(tài)空間模型和相關的可控性和可觀察性的問題。15.4導由了一個狀態(tài)空間

2、模型的等價模型，被稱為有外部輸入的非線性自回歸的模型。15.5討論了遞歸網(wǎng)絡計算能力的一些理論問題。第三部分，包括15.6節(jié)至15.12節(jié)，討論遞歸網(wǎng)絡的學習算法和相關問題.開始在15.6節(jié)有個綜述，15.7討論了在第4章的材料基礎上所建立的通過時間的反向傳播算法。15.8討論了另一個流行算法：實時回歸學習.15.2 遞歸網(wǎng)絡體系結(jié)構(gòu)遞歸網(wǎng)絡的結(jié)構(gòu)布局有很多不同形式。本節(jié)我們討論了四個特殊結(jié)構(gòu)，每一個都強調(diào)了全局反饋的一種特殊形式1。他們都有如下特點：都有結(jié)合了靜態(tài)多層感知器或一部分。都利用了多層感知器的非線性映射能力。輸入輸由遞歸網(wǎng)絡圖15.1顯示了一個多層感知器的自然推廣得到的遞歸網(wǎng)絡的模

3、型。模型有唯一的輸入，被應用到q個單元的分支延遲線記憶。單一的輸由通過另一個q個單元分支延遲線記憶反饋到輸入。利用兩個分支延遲線記憶的內(nèi)容反饋到多層感知器的輸入。模型輸入的當前值用u(n)代表，相對應的輸由用y(n+1)表示；也就是輸由領先輸入一個時間單位。因此應用到多層感知器輸入層的的信號向量的數(shù)據(jù)窗口數(shù)據(jù)如下：現(xiàn)在和過去的輸入，即u(n),u(n-1),u(n-q+1),表示來自網(wǎng)絡外部的輸入。輸由的延遲值，即y(n),y(n-1),y(n-q+1),在此基礎上對y(n+1)進行回歸。有外部輸入的非線性自回歸模型(nonlinearautoregressivewithexogenousin

4、putsmodel,NARX2ONARX勺動態(tài)行為描述如下：y(n+1)=F(y(n),y(n-p+1),u(n),u(n-q+1)狀態(tài)空間模型狀態(tài)空間模型，隱層的神經(jīng)元定義了網(wǎng)絡的狀態(tài)。隱層的輸由通過一個延遲模塊反饋回輸入。輸入層為反饋節(jié)點和源節(jié)點聯(lián)合。網(wǎng)絡是通過源節(jié)點和外部連接的。用于將隱層輸由反饋回輸入層的延遲單元的數(shù)目決定了模型的階數(shù)。ml維的向量u(n)代表輸入，qd向量x(n)代表隱層在n時刻的輸由向量。我們可以用下列兩個聯(lián)立方程組描述在圖15.2中的模型的動態(tài)行為：x(n+1)=f(x(n),u(n)y(n)=Cx(n)這里f()是一個刻劃隱層特征的非線性函數(shù)，C是代表輸生層特征

5、的的突觸權(quán)值矩陣。隱層是非線性的，但輸由是線性的。回歸多層感知器回歸多層感知器，它有一個或多個隱層，同樣的原因，靜態(tài)多層感知器比那些用在單個隱層的感知器更有效和節(jié)約。RMLP勺每一個計算層對它的鄰近層有一個反饋，如圖15.4所示，此時RMLPT兩個隱層3。可用如下聯(lián)立方程組描述：xi(n+1)=i(xi(n),u(n)xii(n+1)=n(xn(n),x1(n+1)x()(n+1)=%(x0(n),uk(n+1)(15.4)這里中i(.,.),邛11(.,.),.50(.,.)分別表示代表第一隱層，第二隱層和RMLP俞由層的激活函數(shù)；K表示網(wǎng)絡中隱層的數(shù)目。二階網(wǎng)絡在圖15.2的狀態(tài)空間模型中

6、，我們用“階”來表示隱層的數(shù)目，其輸由通過延遲單元模塊反饋回輸入層。例如：一個多層感知器神經(jīng)元k的誘導局部域vk定義如下：vkwWa,kjXj+乙Wb,kiUi(15.5)這里Xj源于隱層神經(jīng)j的反饋信號，Ui是輸入層應用于節(jié)點i的源信號；w表示網(wǎng)絡中對應的突觸權(quán)值。把方程15.5所描述的神經(jīng)元稱為一階神經(jīng)元。但是，有時誘導局部域Vk由乘法組成，表示如下：VkWkijXiUj(15.6)我們稱這里神經(jīng)元為二階神經(jīng)元。二階神經(jīng)元k用了單一的權(quán)值Mj,使得它和輸入輸由信號i,j連接起來。二階神經(jīng)元組成了基本的二階遞歸網(wǎng)絡(Gilesetal,1990),它的一個例子如圖15.5所示。網(wǎng)絡接受時間順

7、序的輸入并且動態(tài)進行發(fā)展，由下方程組所定義：Vk(n)=bk-二：二：WkjXi(n)Uj(n)(15.7)且Xk(n+1)=(vk(n)=1/(1+exp(-vk(n)(15.8)這里vk(n)隱單元k的誘導局部域，bk為相關偏置，Xk(n)神經(jīng)元k的狀態(tài)(輸由),Uj(n)是應用于原信號j的輸入，Wkj二次神經(jīng)元k的權(quán)值。15.3狀態(tài)空間建模假設無噪聲，系統(tǒng)的動態(tài)行為的數(shù)學表達用下非線性方程表示：(15.10)(15.11)x(n+1)=(wax(n)+wbu(n)y(n)=Cx(n)這里wa是一個qXq的矩陣，w)是一個qX(m+1)的矩陣，C是一個pXq的矩陣，中是對角映射：Xi中(X

8、i)1X2卜X2).(15.12):Xq_產(chǎn)(Xq)-對于一些無記憶的，各個分量都非線性的kRtR空間Rm,Rq和R分別稱為輸入空間，狀態(tài)空間和輸由空間。狀態(tài)空間的大小，即q就是系統(tǒng)的階。因此圖15.2狀態(tài)空間模型是m輸入，p輸生的q階回歸模型。方程(15.10)是模型的運行方程，方程(15.11)是觀測方程。運行方程(15.(10) 程(15.2)的特殊形式。方程(15.10)和(15.11)描述的狀態(tài)空間模型的遞歸網(wǎng)絡一個重要的性質(zhì)是它能逼近一個很大范圍的非線性動力系統(tǒng)。但這種逼近只在一個狀態(tài)空間緊子集和有限的時間區(qū)間的情況下有效，因此感興趣的動態(tài)特征并沒有反映由來。可控性和可觀察性研究系

9、統(tǒng)論時，穩(wěn)定性、可控性和可觀察性是重要的特征。這節(jié)我們討論可控性和可觀察性，因為它們經(jīng)常一起討論。前面以討論過，許多遞歸網(wǎng)絡能用圖15.2的狀態(tài)空間模型來表示，這里狀態(tài)定義為通過一系列延遲單元反饋回輸入層的隱層輸由。在此背景下，知道遞歸網(wǎng)絡是否可控和可觀察是很重要的。可控性是指我們能否控制遞歸網(wǎng)絡的動態(tài)行為?？捎^察性是指我們能否觀察到應用于遞歸網(wǎng)絡的控制結(jié)果。從這種意義來說，可觀察性是可控性的對偶。遞歸網(wǎng)絡可控是指在有限時間步內(nèi)，初始狀態(tài)可以控制到任意想達到的狀態(tài)；輸由與這個定義無關。遞歸網(wǎng)絡可觀察是指在有限的輸入/輸由觀測中網(wǎng)絡的狀態(tài)可以確定。我們把自己限制在可控性和可觀察性的局部形式。局部

10、是指將這些概念應用于網(wǎng)絡平衡狀態(tài)的鄰域。如果狀態(tài)x是方程(15.10)的平衡狀態(tài)，那么對于輸入u,它滿足如下條件：x=P(Ax+Bu)(15.15)不失一般性，讓x=0,u=0o平衡狀態(tài)如下：X=(0)換句話說，原點(0,0)代表平衡點。也不失一般性，我們可以限制到一個單一的輸入，單輸由系統(tǒng)以簡化一下我們的論述。可以對方程(15.10)和(15.(11) 改寫如下：x(n+1)=中(wax(n)+wbu(n)(15.16)y(n)=cTx(n)(15.17)這里wb和c都是q列向量，u(n)是標量輸入，y(n)標量輸出。既然中對應于(15.13)的或方程(15.14)的Sigmoid函數(shù)是連續(xù)

11、可微的，我們可以通過展開它在平衡點附近x=0,u=0的Taylor級數(shù)，而僅保留一次項得到如下：6x(n+1)=邛,(0)wax(n)+9(0)wb5u(n)(15.18)這里6x(n)和6u(n)是分別應用到狀態(tài)和輸入的小擾動。qxq矩陣2(0)是中(v)的關于v的在v=0時Jaccobi式。我們可以描述線性化的系統(tǒng)如下：6x(n+1)=A6x(n)+b6u(n)(15.19)6y(n)=cx(n)(15.20)這里qxq矩陣A和qx1列向量b分別定義如下：A=(0)w15.21及b=(0)wb狀態(tài)方程(15.19)和(15.20)是標準線性形式。利用線性動力系統(tǒng)的可控性和可觀察性的著名的結(jié)

12、果。局部可控性從線性化的方程(15.19),重復迭代產(chǎn)生下列結(jié)果：x(n+1)=Ax(n)+bu(n)x(n+2)=Ax(n+1)+bu(n+1).6x(n+q)=Aqb6x(n)+Aq-1b5u(n+q-1)+Abou(n+1)+bu(n)這里q是狀態(tài)空間的維數(shù)。方程(15.19)表示的線性化的系統(tǒng)是可控的如果矩陣滿足下列條件Mc=Aq-1b,Ab,b(15.23)有秩q,即滿秩，因為這樣線性化方程(15.19)有唯一的解。矩陣M叫做線性系統(tǒng)的可控矩陣。方程(15.16)描述的遞歸網(wǎng)絡由一系列輸入系列uq(n)所驅(qū)動，其定義如下：uq(n)=u(n),u(n+1),u(n+q-1)T(15.

13、24)因此考慮映射(15.25)G(x(n),uq(n)=(x(n),x(n+q)這里G:R2qR2qo可以證明：狀態(tài)x(n+q)是關于過去的值x(n)和輸入u(n),u(n+1),，u(n+q-1)的嵌套非線性函數(shù).關于uq(n)的x(n+q)的Jaccobi矩陣在原點的值等于(15.23)的可控性的矩陣Mo我們可以表示映射G關于uq(n)和x(n)的Jaccobi矩陣在原點(0,0)的值如下:J；.)I:以n)IWx(n)J)=F、縱(n)Lq(n)(0,0)風n+q)改a。,。)改(n+q)旬q(n)a=X0Mc1這里I是單位矩陣,0是空矩陣,X關緊要。因為它的特殊形式，J(0,0)的行

14、列式等于單位矩陣I的行列式(等于1)和可控矩陣M的行列式乘積。如果M是滿秩矩陣，那么J(0,0)也是。(x(n),x(n+q)=G1(x(n),uq(n)(15.27)方程(15.27)實際上指由存在一個輸入序列能局部驅(qū)動網(wǎng)絡在q個時間步中從狀態(tài)x(n)到x(n+q)。相應的，正式的局部可控定理如下：對于(15.16)和(15.17)定義的遞歸網(wǎng)絡，它在原點附近(即，平衡點)的線性化方程由(15.19)和(15.20)所定義。如果線性系統(tǒng)是可控的，則遞歸網(wǎng)絡是在原點附近是局部可控的。局部觀察性重復用線性化的方程(15.19)和(15.20),可以得y(n)=cTx(n)6y(n+1)=cT6x

15、(n+1)=cTAx(n)+cTbu(n)6y(n+q-1)=cTAq1取(n)+cTAq2b5u(n+q-1)+cTAbSu(n+q-3)+cTbdu(n+q-2)這里q是狀態(tài)空間的維數(shù)?？梢躁愂龇匠?15.19)和(15.20)描述的線性化系統(tǒng)是可觀察的，如果下列矩陣Ml=c,cAT,c(AT)q-1的秩為q,即滿秩。矩陣M稱為線性系統(tǒng)的可觀察矩陣。如果線性化系統(tǒng)的可觀察性矩陣M是滿秩的，則存在一個反映射：(uq-1(n),x(n)=H1(uq-1(n),yq(n)(15.33)實際上，這個方程表明在原點的局部鄰域，x(n)是uq-i(n)和yq(n)的非線性函數(shù)，非線性函數(shù)是遞歸網(wǎng)絡的觀

16、察者。因此局部可觀察性定理可正式地陳述如下由(15.16)和(15.17)所定義的遞歸網(wǎng)絡，讓它在原點(即，平衡點)附近線性化的形式由(15.19)和(15.(20) 義。如果線性系統(tǒng)是可觀察的，則遞歸網(wǎng)絡在原點局部是可觀察的。15.4 有外輸入的非線性自回歸模型考慮單輸入單輸由的遞歸網(wǎng)絡，其行為由狀態(tài)方程組(15.(16) 15.17)所描述。給定這種狀態(tài)模型，希望把它修改為一個輸入輸由模形，作為代表遞歸網(wǎng)絡的一個等價物。用方程(15.16)和(15.17),輸由y(n+1)可以用狀態(tài)x(n)和輸入向量Uq(n)表示如下：y(n+q)=(x(n),Uq(n)(15.34)這里q是狀態(tài)空間的大

17、小，MR2,R假設遞歸網(wǎng)絡為可觀察的，可以用局部可觀察定理的得到：x(n)=(yq(n),uq-1(n)(15.35)這里映射中：R2q-1TF?o用方程(15.35)代替(15.34),得到y(tǒng)(n+q)=e(中(yq(n),Uq-1(n),Uq(n)(15.36)=F(yq(n),uq(n)這里Uq-1(n)包含在Uq(n)的最先q-1個元素里，非線性映射f：R2qTR和心中有關。用方程(15.30)和(15.29)給由的yq(n)和Uq(n)定義，可以把方程(15.36)擴展為：y(n+q)=F(y(n+q-1),y(n),u(n+q-1),u(n)用n-q+1代替n,可以得到：y(n+1

18、)=F(y(n),y(n-q+1),u(n),u(n-q+1)15.37必須指由，對于這個非線性映射F:R2%R只有當現(xiàn)在的輸由y(n+1)由過去值y(n),，y(n-q+1)以及現(xiàn)在和過去的輸入u(n),u(n-q+1)所唯一決定的，這個映射才是存在的。因為這個輸入輸由表示等價于方程(15.16)和(15.(17) 態(tài)模型，因此遞歸網(wǎng)絡必須是可觀測的。等價的實際含義是圖15.1的NARX莫型，它的全局反饋限制在輸由神經(jīng)元，實際上它是能夠模仿圖15.2的完全回歸模型(假設m=1,p=1)并且它們的輸入輸由行為無差別。15.5 遞歸網(wǎng)絡的計算能力從一般意義來討論，遞歸網(wǎng)絡的計算能力主要體現(xiàn)在兩個

19、定理：定理I(siegelmannandsontag,1991)所有圖靈機都可被建立在有Sigmoid激活函數(shù)的基礎上的完全連接神經(jīng)元遞歸網(wǎng)絡來模擬。定理二(Siegelmann,etal.1997)對于NAR綱絡，若具有一隱層單元且其激活函數(shù)為有界的和單側(cè)飽和的并且有一個線性輸由神經(jīng)元，那么不計線性延遲(linearslowdown),它可以模擬完全連接的具有單側(cè)飽和且有界的激活函數(shù)的遞歸網(wǎng)絡。函數(shù)中()如果滿足下列條件則說它是有界的，單邊飽和的函數(shù)：1 .函數(shù)中()值域有界；即aw中(x)b.2 .函數(shù)中()是左飽和的，即存在值s和S,對于所有的xs,中(x)=So3 .函數(shù)邛()非常數(shù)，

20、即存在不相同的兩個數(shù)Xi和x2,滿足邛(xi)片中(X2)。作為定理I和II的必然推論，我們可以得到：有一個隱層神經(jīng)元旦激活函數(shù)為BOSS1數(shù)及一個線性輸由神經(jīng)元的NAR刖絡是Turing等價的15.6 學習算法現(xiàn)在來研究遞歸網(wǎng)絡的訓練的問題。第四章討論過普通（靜態(tài)）多層感知器的兩個方式：集中方式和串行方式。集中方式中，網(wǎng)絡的敏感度是在調(diào)整網(wǎng)絡的自由參數(shù)前針對整個訓練集合計算的。在串行方式，參數(shù)的調(diào)整是在給由訓練集合的每一個模式之后進行的。同樣，有兩個訓練的遞歸網(wǎng)絡的方式如下：1 .分回合（epochwise）的訓I練：在給定的回合，遞歸網(wǎng)絡從初始狀態(tài)由發(fā)達到一個新的狀態(tài)后停止，此時訓練亦停止

21、；然后對于下一個回合又重新設置一個新的初始狀態(tài)。初始狀態(tài)在每個訓練時期并不總是一樣的。重要的是對于新的回合的初始狀態(tài)和網(wǎng)絡在此前一個回合達到的狀態(tài)不一樣。例如，用遞歸網(wǎng)絡模仿有限狀態(tài)機器的運行，它的內(nèi)部可區(qū)分的設置（狀態(tài)）在數(shù)量上是有限的。在這種條件下，我們有理由使用分回合的訓練，因為我們有很大的可能性用遞歸網(wǎng)絡去模仿機器中大量的不同的初始狀態(tài)和不同的最終狀態(tài)的集合。在遞歸網(wǎng)絡的分時段訓練中，“回合”與一般普通多層感知器中使用的意義不同?，F(xiàn)在的術語，遞歸網(wǎng)絡的回合對應普通多層感知器的一個訓練樣本模式。2 .連續(xù)訓練。訓練的第二種方法適合于沒有可用的重置狀態(tài)/或需要在線學習的情況。連續(xù)訓練的顯著

22、特征是網(wǎng)絡學習和被網(wǎng)絡處理的信號處理過程同時進行。簡單地說，學習過程永不停止。例如讓遞歸網(wǎng)絡去對一個非穩(wěn)態(tài)過程如語音信號進行建模。在這種情況下，網(wǎng)絡的連續(xù)運行不能提供方便的時間以決定何時停止訓練而學習新的對于自由參數(shù)有不同的值的網(wǎng)絡。記住這兩種訓練的方式。在下面的兩部分中我們將描述遞歸網(wǎng)絡的不同的學習算法，可總結(jié)如下：15.7 節(jié)里討論的通過時間的反向傳播算法(back-propagation-through-time)是在遞歸網(wǎng)絡的時序操作可以展開為一個多層感知器的前提下提由的。這就為標準反向傳播算法提供了應用。通過時間的反向傳播算法可以用分回合的方式，連續(xù)方式或兩種方式的組合來實現(xiàn)。15.

23、8 節(jié)討論的實時回歸學習算法是由方程(15.10)和(15.(11) 的狀態(tài)空間模型所導生。兩種算法有很多共同點。首先它們都是基于梯度下降的方法，因此代價函數(shù)的瞬間值(基于平方誤差準則)關于網(wǎng)絡的突觸權(quán)值被最小化。第二，它們實現(xiàn)都很簡單，但可能收斂很慢。第三，它們是相關的，因為通過時間的反向傳播算法的信號流圖能夠由實時回歸學習算法的一定形式的信號流圖轉(zhuǎn)置而得到(Lefebvre,1991;Beaufays&Wan,1994)。一些啟發(fā)在進行剛才提到的新學習算法的描述之前，我們羅列一些對于改進遞歸網(wǎng)絡訓練的啟發(fā)，這將包括梯度下降方法的作用。1 .訓練樣本應該按照字典順序的排序，最短的符號字符串首

24、先提交給網(wǎng)絡。2 .訓練應該開始于一個小的訓練樣本集，爾后隨著訓練過程而增量式增加。3 .只有當正在被網(wǎng)絡處理的訓練樣本的絕對誤差比指定的標準大的時候才網(wǎng)絡的突觸權(quán)值更新。4 .在訓練過程中建議使用權(quán)值衰減；權(quán)值衰減作為復雜性正歸化的一個粗略的形式。第一個啟發(fā)有特別重要的意義。如果可以實現(xiàn)的話，它提供了減輕在采用梯度下降法訓練遞歸網(wǎng)絡時由現(xiàn)的梯度消失的問題。15.7通過時間的反向傳播對于訓練一個遞歸網(wǎng)絡的通過時間的反向傳播算法是標準反向傳播算法的擴展8。它通過把網(wǎng)絡的時序操作展開到一個分層的前饋網(wǎng)絡來實現(xiàn)，它的拓撲結(jié)構(gòu)對每個時間步增力口一層。具體地，讓N表示需要學習時序任務的遞歸網(wǎng)絡，從時間n

25、0到時間noN*表示對遞歸網(wǎng)絡N的時序操作進行展開一.一*一、一一一一一、所得的前饋網(wǎng)絡.展開后的網(wǎng)絡N和初始網(wǎng)絡N的關系如下：1 .對區(qū)間no,n內(nèi)的每一個時間步，網(wǎng)絡N*有一個包含K個神經(jīng)元的層，K是在網(wǎng)絡N中的神經(jīng)元的數(shù)量。2 .在網(wǎng)絡N*的每一層有網(wǎng)絡N的每一個神經(jīng)元的復制。3 .每一個時間步16no,n,第l層第i個神經(jīng)元到網(wǎng)絡N*的第1+1層的第j個神經(jīng)元的突觸連接是在網(wǎng)絡N中的神經(jīng)元i到j的突觸連接的復制。分回合的通過時間的反向傳播將用于遞歸網(wǎng)絡訓練的數(shù)據(jù)集分割為獨立的回合，每一回合表示感興趣的時間模式。令no表示一個回合的開始時間，ni表示其結(jié)束時間。在這個回合里，可以定義代價

26、函數(shù)1 J-2total(n,ni)=彳ej(n)(15.38)2 n.j.A這里A為網(wǎng)絡中被指定期望響應的那些神經(jīng)元標號j的集合，e(n)是該神經(jīng)元關于期望響應和計算由的實際輸由之間的誤差信號。想計算網(wǎng)絡的敏感度，即計算代價函數(shù)關于網(wǎng)絡突觸權(quán)值的偏導數(shù)。為此，可以用通過時間的反向傳播算法(BPTT),這是基于在第四章中討論過的標準反向傳播學習的集中方式.分回合的BPTT算法處理如下：首先，關于時間段n0,n執(zhí)行單純的數(shù)據(jù)前向傳播通過網(wǎng)絡這個操作。保存完整的輸入數(shù)據(jù)記錄、網(wǎng)絡的狀態(tài)(即，網(wǎng)絡的突觸權(quán)值)以及期望響應。關于這條過去記錄執(zhí)行一個單純的后向傳播通過網(wǎng)絡以用來計算局部梯度的值、j(n)

27、=”)j：Y(n)(15.39)對于所有的jSA,nonnio用如下公式進行計算:forn=n1forn0二n:n1(15.40)(Vj(n)ej(n)j(n)一(Vj(n)ej(n)xWjk；k(n1)-k.A這里(,)是激活函數(shù)關于它的自變量的導數(shù)，v(n)是神經(jīng)元j的誘導局部域。這里假設了網(wǎng)絡的所有神經(jīng)元有同樣的激活函數(shù)叫()。重復使用方程(15.40),從時刻m由發(fā)，向后進行，一步一步直到時刻n。；這里涉及的步數(shù)與包含在這個回合內(nèi)的步數(shù)相同。t.total(n0,n)Wij一旦執(zhí)行反向傳播的計算到no+1的時，執(zhí)行神經(jīng)元j的突觸權(quán)值Wj的調(diào)整如下：Wj1=二七(n)x(n-1)(15.

28、41)n=n0T這里“是學習率參數(shù)，Xi(n-1)是在時刻n-1時作用于神經(jīng)元j的第i個突觸的輸入。比較剛才描述的分回合的BPTT的過程和標準反向傳播學習的集中方式，可以看到它們根本的的差別是前者在網(wǎng)絡的許多層里指定神經(jīng)元的期望響應，因為實際輸生層在網(wǎng)絡的時序行為展開時被重復很多次。截斷的通過時間的反向傳播為了使用通過時間的反向傳播的實時形式，我們用誤差平方和的瞬時值，即：1 -2,、(n)=二ej(n)2 j：作為需要最小化的代價函數(shù)。根據(jù)標準反向傳播學習的串行(隨機)模式，我們使用代價函數(shù)件(n)的負梯度去計算對于每個時刻n的網(wǎng)絡的突觸權(quán)值的適當調(diào)整量。當網(wǎng)絡運行時，調(diào)整建立在連續(xù)的基礎上

29、。但是為了采用計算可行的方式，我們只在一個固定數(shù)目的時間步里儲存相關的輸入數(shù)據(jù)和網(wǎng)絡狀態(tài)的歷史記錄，該時間步數(shù)目稱作截斷深度(truncationdepth)。此后截斷深度用h表示。任何比h時間步長還時間靠前的信息是無關的，因此可以省略。如果不截斷計算，因此可以容許回到開始時間，計算時間和儲存要求將會隨著網(wǎng)絡運行隨時間線性增長，最終達到某點使得整個學習過程不可行。算法的第二種形式稱為截斷的通過時間的反向傳播算法。神經(jīng)元j的局部梯度定義為6j(l)=_lMH任給jAMn-hl(n)W(n)n)+Uj(n)j=1,2,.,q(15.52)該方程描述了實時回歸學習過程的非線性狀態(tài)動力系統(tǒng)(即,狀態(tài)演

30、化)。為了完成描述該學習過程，需要將矩陣Aj(n)和誤差曲面關于w的梯度相聯(lián)系。為此，首先用觀測方程(15.11)定義px1誤差向量：e(n)=d(n)-y(n)=d(n)-Cx(n)(15.53)根據(jù)e(n)定義的平方誤差瞬間和為(n)=；eT(n)e(n)(15.54)學習過程的目標是極小化由對所有時間n的犯(n)求和所得到的代價函數(shù)，即，3;total=二(n)n為完成該目標，使用最陡下降法，這就需要梯度矩陣的知識，即：total=-0-a-LW二、F一nWJ(n)n這里誨(n)是件(n)關于權(quán)值矩陣V=Wk的梯度。如果需要，可以繼續(xù)使用這個方程并且得到遞歸網(wǎng)絡的突觸權(quán)值的更新方程，并且不用近似。但為了得到一個實時的訓練遞歸網(wǎng)絡中用的學習算法，必須使用一個梯度的瞬時估計值