神經(jīng)網(wǎng)絡(luò)第四章

神經(jīng)網(wǎng)絡(luò)第四章第1頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月第4章反向傳播網(wǎng)絡(luò)

反向傳播網(wǎng)絡(luò)也稱為BP(BackPropagation)網(wǎng)絡(luò)，采用推廣的W-H學(xué)習(xí)規(guī)則-BP算法BP網(wǎng)絡(luò)的主要用途：函數(shù)逼近模式識(shí)別分類數(shù)據(jù)壓縮：在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，絕大多數(shù)的網(wǎng)絡(luò)模型都是BP網(wǎng)絡(luò)及其變化形式。第2頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)

BP網(wǎng)絡(luò)模型

輸入層隱層輸出層第3頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)▲B(niǎo)P網(wǎng)絡(luò)的激活函數(shù)一定要可微

多數(shù)情況下，隱層為S型，輸出層為線性。

輸入與輸出關(guān)系要求：非線性、光滑、取值連續(xù)，分類精確▲網(wǎng)絡(luò)誤差測(cè)定第p個(gè)樣本的誤差測(cè)度

網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度,第4頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)權(quán)值與偏差：隱層輸出層，第5頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)一組輸入與輸出多組輸入與輸出，，第6頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月關(guān)系表達(dá)式：

1.輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定。

2.BP網(wǎng)很多都選用二級(jí)網(wǎng)絡(luò)。1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)第7頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月2BP學(xué)習(xí)規(guī)則

是有指導(dǎo)訓(xùn)練的前饋多層網(wǎng)絡(luò)訓(xùn)練算法，靠調(diào)節(jié)各層的加權(quán)，使網(wǎng)絡(luò)學(xué)會(huì)由輸入輸出對(duì)組成的訓(xùn)練組。類似于感知器中線性單元和非線性單元的訓(xùn)練算法，執(zhí)行優(yōu)化的基本方法是梯度下降法。

求多元函數(shù)的U(x1,x2,…,xn)的極小值：若出發(fā)點(diǎn)是M0=(x10,x20,…,xn0),則自變量按如下規(guī)則改變：，第8頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月2BP學(xué)習(xí)規(guī)則▲B(niǎo)P算法的主要思想：通過(guò)引入誤差函數(shù)，對(duì)于學(xué)習(xí)樣本P及目標(biāo)輸出T，利用梯度下降法來(lái)調(diào)整權(quán)值W和B，使網(wǎng)絡(luò)的實(shí)際輸出A與T盡可能接近，而使誤差盡量達(dá)到最小。其過(guò)程是用輸出層的誤差估計(jì)輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差。如此獲得所有其它各層的誤差估計(jì)，并用這些估計(jì)實(shí)現(xiàn)對(duì)權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過(guò)程▲B(niǎo)P算法從形式上看，分為兩個(gè)計(jì)算過(guò)程：

1．信息的正向傳遞；

2.調(diào)整W和B的誤差反向傳播第9頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月2BP學(xué)習(xí)規(guī)則1.信息的正向傳遞▲隱層中第i個(gè)神經(jīng)元輸出：▲輸出層中第k個(gè)神經(jīng)元輸出：第10頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月2BP學(xué)習(xí)規(guī)則▲誤差函數(shù)一組輸入情形：

其中，第11頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月2BP學(xué)習(xí)規(guī)則

q組輸入情形：

第12頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月2BP學(xué)習(xí)規(guī)則2.誤差反向傳播▲輸出層權(quán)值、偏差的調(diào)整因?yàn)楣视勺钏傧陆捣?，得?quán)值改變量：第13頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月2BP學(xué)習(xí)規(guī)則偏差改變量：其中▲隱層權(quán)值、偏差的調(diào)整

因?yàn)榈?4頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月2BP學(xué)習(xí)規(guī)則故由最速下降法，得其中第15頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月誤差反向傳播的流程圖

與圖形解釋第16頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月3誤差反向傳播的流程圖

與圖形解釋S型激活函數(shù)

1（0,0.5）

n（0,0）o

0.5f′(n)0.25o0

1第17頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月4BP網(wǎng)絡(luò)的訓(xùn)練

及其設(shè)計(jì)過(guò)程▲設(shè)計(jì)Bp網(wǎng)絡(luò)的結(jié)構(gòu)包括以下內(nèi)容：網(wǎng)絡(luò)的層數(shù)，每層神經(jīng)元數(shù)，每層的激活函數(shù)等▲B(niǎo)P網(wǎng)絡(luò)的訓(xùn)練步驟：1）初始化每層權(quán)值和偏差，期望誤差，最大循環(huán)次數(shù)，學(xué)習(xí)率等2）建立多層前向網(wǎng)絡(luò)函數(shù)newcf.m或newff.m，格式如下：

net=newcf(minmax(P),[5,1],{‘tansig’‘purelin’},‘traingd’);3)訓(xùn)練

net=train(net,P,T)第18頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月4BP網(wǎng)絡(luò)的訓(xùn)練

及其設(shè)計(jì)過(guò)程例4.1用于函數(shù)逼近的BP網(wǎng)絡(luò)的設(shè)計(jì)?！螖?shù)：經(jīng)過(guò)4000-7000次訓(xùn)練成功，誤差小于給定的門(mén)限誤差0.02?！`差變化圖：逼近曲線效果良好▲結(jié)論：二層BP網(wǎng)絡(luò)可很好地逼近非線性函數(shù)。

第19頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月5BP網(wǎng)絡(luò)的設(shè)計(jì)考慮因素：層數(shù)，每層神經(jīng)元數(shù)，初始化，學(xué)習(xí)率等1網(wǎng)絡(luò)的層數(shù)▲理論結(jié)果：具有偏差和至少一個(gè)S型隱含層的網(wǎng)絡(luò)，能夠逼近任意的有理函數(shù)?！鴮訑?shù)對(duì)網(wǎng)絡(luò)影響：增加層數(shù)可進(jìn)一步降低誤差，提高精度；不足之處是使網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜化。▲隱層節(jié)點(diǎn)數(shù)對(duì)網(wǎng)絡(luò)影響：可提高精度，降低誤差；雖然也增加了一點(diǎn)網(wǎng)絡(luò)的復(fù)雜度，但比增加層數(shù)要低▲設(shè)計(jì)的原則：首先應(yīng)選擇層數(shù)較少的網(wǎng)絡(luò)，這樣可降低復(fù)雜度；同時(shí)為了提高精度和降低誤差，應(yīng)先考慮增加隱層的神經(jīng)元數(shù)目。

第20頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月5BP網(wǎng)絡(luò)的設(shè)計(jì)為了提高精度和逼近能力：1）增加隱層神經(jīng)元數(shù)；2）增加網(wǎng)絡(luò)層數(shù)。綜合效果：以增加網(wǎng)絡(luò)層數(shù)效果更好。第21頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月5BP網(wǎng)絡(luò)的設(shè)計(jì)例4.2考慮兩個(gè)單元輸入的聯(lián)想問(wèn)題：其輸入和輸出為：

P=[-32],T=[0.4,0.8]

目標(biāo)誤差：0.001

該問(wèn)題可采用自適應(yīng)網(wǎng)絡(luò)解決：

w=0.08,b=0.64,e=T-A=0

利用Bp網(wǎng)絡(luò)解決：有一定誤差。結(jié)論：能利用自適應(yīng)網(wǎng)絡(luò)或感知器解決的問(wèn)題，應(yīng)盡量不用Bp網(wǎng)絡(luò)第22頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月5BP網(wǎng)絡(luò)的設(shè)計(jì)例4.3用一層網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)下面的輸入/輸出關(guān)系：

P=[-6-6.1-4.1-444.166.1]T=[0.00.00.970.990.010.0311]▲理論分析：約束等式共8個(gè)，參數(shù)1個(gè)權(quán)值+1個(gè)偏差。因此，可能無(wú)準(zhǔn)確解?！抡嬗?jì)算：可求出近似解。但效果與線性網(wǎng)絡(luò)相當(dāng)?！平鼒D效果：近似解相當(dāng)于一種分類功能。▲結(jié)論：?jiǎn)螌泳W(wǎng)絡(luò)不能解決。能利用單層網(wǎng)絡(luò)解決問(wèn)題，應(yīng)先考慮利用感知器和自適應(yīng)線性元件。第23頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月5BP網(wǎng)絡(luò)的設(shè)計(jì)例4.4非線性誤差曲面特性觀察▲B(niǎo)P網(wǎng)絡(luò)的誤差函數(shù)E凸凹不平，有些地方很平坦，另外的地方很陡峭，這對(duì)算法的效果有較大影響?！鴱奶岣咚惴ǖ男噬现v，在陡峭的地方應(yīng)選擇小的學(xué)習(xí)率，以避免“過(guò)調(diào)”，在平坦的地方利用大學(xué)習(xí)率，以加快收斂速度?！Y(jié)論：常學(xué)習(xí)率在誤差曲面非常不規(guī)則時(shí)可能效果不好。第24頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月5BP網(wǎng)絡(luò)的設(shè)計(jì)2隱含層的神經(jīng)元數(shù)問(wèn)題：隱含層的神經(jīng)元數(shù)應(yīng)選擇為多少才適合？例4.5用兩層BP網(wǎng)絡(luò)實(shí)現(xiàn)“異或”問(wèn)題。數(shù)學(xué)描述：輸入及目標(biāo)輸出矢量隱層神經(jīng)元數(shù)分別為：2，3，4，5，6，20，25，30▲對(duì)二值型離散數(shù)據(jù)也能利用BP網(wǎng)絡(luò)逼近：可將二值型激活函數(shù)利用S型代替，訓(xùn)練成功后，將輸出層的激活函數(shù)換成二值型函數(shù)，則訓(xùn)練達(dá)到一定精度時(shí)，實(shí)際輸出與目標(biāo)輸出一致。第25頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月5BP網(wǎng)絡(luò)的設(shè)計(jì)▲訓(xùn)練效果表

s1Time(s)epoch25.7111834.409044.398854.458564.6285203.5768254.0672305.1196第26頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月5BP網(wǎng)絡(luò)的設(shè)計(jì)▲分析：神經(jīng)元太少，影響學(xué)習(xí)效果，精度不高，易訓(xùn)練失敗理論上講，神經(jīng)元越多，網(wǎng)絡(luò)功能越強(qiáng)，但神經(jīng)元越多訓(xùn)練時(shí)間會(huì)增加，并可能出現(xiàn)不協(xié)調(diào)的擬合。s1=3,4,5,6的效果相當(dāng)，s1小，循環(huán)一次的時(shí)間少

▲結(jié)論：在隱層神經(jīng)元數(shù)設(shè)計(jì)的原則是在能解決問(wèn)題的情況下，增加1~2個(gè)神經(jīng)元。第27頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月5BP網(wǎng)絡(luò)的設(shè)計(jì)3初始權(quán)值的選取▲飽和區(qū)域：誤差曲面中非常平坦的區(qū)域，通常出現(xiàn)在為很小的值，因，且▲初始值的選取應(yīng)避免取在飽和區(qū)域?！[層的初始值：在工具箱中，可采用initnw.m函數(shù)初始化W1和B1第28頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月5BP網(wǎng)絡(luò)的設(shè)計(jì)例4.6.好的初始值的訓(xùn)練效果觀察。（例1數(shù)據(jù)）▲舊方法：隨機(jī)初始化的訓(xùn)練次數(shù)為5000次左右；▲新方法：用initnw產(chǎn)生初始值的訓(xùn)練次數(shù)為400次左右▲在同樣的目標(biāo)誤差下，訓(xùn)練速度加快了?！粋€(gè)好的學(xué)習(xí)算法應(yīng)在統(tǒng)計(jì)的基礎(chǔ)上來(lái)評(píng)價(jià)第29頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月5BP網(wǎng)絡(luò)的設(shè)計(jì)4學(xué)習(xí)速率學(xué)習(xí)率的大小對(duì)算法的影響：過(guò)大的學(xué)習(xí)率使計(jì)算不穩(wěn)定，出現(xiàn)“震蕩”過(guò)小的學(xué)習(xí)率導(dǎo)致計(jì)算時(shí)間長(zhǎng)，收斂慢。學(xué)習(xí)率選取一般在0.01~0.8之間問(wèn)題：由于誤差曲面的復(fù)雜性，有的地方要求大學(xué)習(xí)率，另外地方要求小的學(xué)習(xí)率。

例4.7觀察學(xué)習(xí)速率太大的影響第30頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月5BP網(wǎng)絡(luò)的設(shè)計(jì)5期望誤差的選取期望誤差的大小對(duì)訓(xùn)練的影響：▲期望誤差的大小受問(wèn)題本身的影響，應(yīng)選擇適當(dāng)；▲期望誤差過(guò)小，往往要求多的隱含層的節(jié)點(diǎn)數(shù)，并可能增加訓(xùn)練時(shí)間?！鴮?shí)際訓(xùn)練時(shí)，可選擇2-3個(gè)不同的期望誤差進(jìn)行比較后，進(jìn)行綜合考慮第31頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月6限制與不足

BP算法存在問(wèn)題：完全不能訓(xùn)練網(wǎng)絡(luò)的麻痹現(xiàn)象局部最小訓(xùn)練時(shí)間過(guò)長(zhǎng)，復(fù)雜問(wèn)題甚至要訓(xùn)練幾天到幾周時(shí)間。選取了不適當(dāng)?shù)膶W(xué)習(xí)速率第32頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月6限制與不足網(wǎng)絡(luò)的麻痹現(xiàn)象在訓(xùn)練過(guò)程中，加權(quán)調(diào)得較大可能迫使所有的或大部分的加權(quán)和輸出sj較大，從而使得操作會(huì)在S型函數(shù)的飽和區(qū)進(jìn)行，此時(shí)函數(shù)處在其導(dǎo)數(shù)f’(s)非常小的區(qū)域內(nèi)。由于在計(jì)算加權(quán)修正量時(shí)，σ正比于f’(s)，因此當(dāng)f’(s)->0時(shí)σ->0，這使得，相當(dāng)于調(diào)節(jié)過(guò)程幾乎停頓下來(lái)。為了避免這種現(xiàn)象，可將學(xué)習(xí)（訓(xùn)練）速率系數(shù)η減小，但這又會(huì)增加訓(xùn)練時(shí)間。第33頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月6限制與不足局部最小BP訓(xùn)練算法實(shí)際上采用梯度下降法，訓(xùn)練過(guò)程從某一起始點(diǎn)沿誤差函數(shù)的斜面最陡方向逐漸達(dá)到最小點(diǎn)E->0。對(duì)于復(fù)雜的網(wǎng)絡(luò)，其誤差函數(shù)面在多維空間，其表面可能凹凸不平，因而在訓(xùn)練過(guò)程中可能會(huì)陷入某一個(gè)小谷區(qū)，稱之為局部最小點(diǎn)。由此點(diǎn)向各方向變化均使E增加，以致無(wú)法逃出這個(gè)局部最小點(diǎn)。第34頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月6限制與不足局部最小點(diǎn)示意圖初始隨機(jī)加權(quán)的影響。如果這些加權(quán)太大，可能一開(kāi)始就使網(wǎng)絡(luò)處于S型函數(shù)飽和區(qū)，系統(tǒng)就很有可能陷入局部最小。為此，可采用如下策略選取隨機(jī)加權(quán)值：－使結(jié)點(diǎn)輸入加權(quán)和的絕對(duì)值|sj|<1，但又不可太小。－可選擇各加權(quán)值的量級(jí)為，其中ki為連接到結(jié)點(diǎn)j的所有前層結(jié)點(diǎn)的數(shù)目。第35頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月6限制與不足學(xué)習(xí)速率η大小如果η選得太小，收斂會(huì)很慢；如果η選得太大，可能出現(xiàn)麻痹現(xiàn)象或連續(xù)不穩(wěn)定。需按照實(shí)驗(yàn)和經(jīng)驗(yàn)確定η。Wasserman曾提出自適應(yīng)學(xué)習(xí)速率算法，在訓(xùn)練過(guò)程中自動(dòng)調(diào)節(jié)階距的大小。例4.8誤差的局部和全局最小值的觀察第36頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月7反向傳播法的改進(jìn)1附加動(dòng)量法基本思想：在BP法的調(diào)整權(quán)值方法的基礎(chǔ)上，增加一個(gè)正比于前次權(quán)值變化量的值，稱之為附加動(dòng)量(法)附加動(dòng)量法的計(jì)算公式：其中，k為訓(xùn)練次數(shù)，mc為動(dòng)量因子，可取0.95左右。第37頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月7反向傳播法的改進(jìn)▲附加動(dòng)量法的一個(gè)顯著特點(diǎn)：避免局部極小值

在誤差曲面很平坦的地方，接近0，此時(shí)BP法的權(quán)值修正量幾乎為0，但。這樣防止了，并可從誤差曲面的局部極小值中跳出來(lái)。▲相關(guān)函數(shù)的動(dòng)量因子的調(diào)整公式

▲工具函數(shù)：traingdm.m作為train.m或newcf.m的一個(gè)選項(xiàng)。

第38頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月7反向傳播法的改進(jìn)附加動(dòng)量法的幾個(gè)問(wèn)題學(xué)習(xí)速率的選擇：不能太大，或太小訓(xùn)練次數(shù)的選擇：要給予足夠的訓(xùn)練次數(shù)初始值的選擇：誤差下降方向，位置選擇例4.9采用附加動(dòng)量法的反向傳播網(wǎng)絡(luò)的訓(xùn)練。第39頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月7反向傳播法的改進(jìn)2自適應(yīng)學(xué)習(xí)速率▲恰當(dāng)學(xué)習(xí)率的選取很困難，主要憑經(jīng)驗(yàn)或訓(xùn)練▲過(guò)大或過(guò)小的學(xué)習(xí)率對(duì)訓(xùn)練都不利▲固定學(xué)習(xí)率的不足之處在于沒(méi)有利用誤差曲面的特性，因此影響了學(xué)習(xí)效果；自適應(yīng)學(xué)習(xí)利用誤差曲面特性，可增強(qiáng)學(xué)習(xí)效果?；舅枷耄涸谡`差曲面平坦之處利用大學(xué)習(xí)率，可避免無(wú)法“訓(xùn)練”現(xiàn)象，加快收斂速度等；在誤差曲面非常狹窄陡峭之處，利用小學(xué)習(xí)率，可避免出現(xiàn)“過(guò)調(diào)”現(xiàn)象。

第40頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月7反向傳播法的改進(jìn)▲一種自適應(yīng)學(xué)習(xí)率的調(diào)整公式：

注：的選取有任意性。工具函數(shù)：taningda.m作為train.m的參數(shù)。動(dòng)量法和變學(xué)習(xí)率算法可結(jié)合起來(lái)：taningdx.m

調(diào)用格式：

net=newff(minmax(P),[5,1],(‘tansig’,’purelin’),’traingdx’)▲例4.10采用自適應(yīng)學(xué)習(xí)率訓(xùn)練網(wǎng)絡(luò)。第41頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月7反向傳播法的改進(jìn)3彈性BP算法

▲標(biāo)準(zhǔn)的BP法中利用S型函數(shù)，其不足之處在于當(dāng)輸入絕對(duì)值很大時(shí)，，訓(xùn)練可出現(xiàn)完全不能訓(xùn)練；▲彈性BP算法：只取的符號(hào)，它決定了權(quán)值變化的方向，確定一個(gè)“更新值”；若連續(xù)兩次“同號(hào)”，增加更新值；否則，減少更新值。算法出現(xiàn)“振蕩”，減少“更新值”。第42頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月8基于數(shù)值優(yōu)化方法的訓(xùn)練算法

BP網(wǎng)絡(luò)訓(xùn)練實(shí)質(zhì)是一個(gè)非線性目標(biāo)函數(shù)優(yōu)化問(wèn)題。求誤差函數(shù)極小值，除了可利用“最速下降法”-BP法外，還存在其他求極小值方法—稱為“優(yōu)化”法。BP法是利用誤差函數(shù)的一階導(dǎo)數(shù)信息，此外，還有利用“二階導(dǎo)數(shù)”信息的“優(yōu)化”算法，例如：

擬牛頓法，Levenberg-Marquardt法，共軛梯度法等。第43頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月8基于數(shù)值優(yōu)化方法的訓(xùn)練算法▲優(yōu)化算法的統(tǒng)一表示如下：尋優(yōu)分二步：確定當(dāng)前迭代的最佳搜索方向；在該方向上尋找最優(yōu)步長(zhǎng)；梯度下降法、擬牛頓法、Levenberg-Marquardt法、共軛梯度法等是其中的幾種尋優(yōu)方法。他們的主要區(qū)別在于“尋優(yōu)”的技巧不一樣。第44頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月8基于數(shù)值優(yōu)化方法的訓(xùn)練算法擬牛頓法牛頓法的步驟:

第一次迭代的搜索方向：負(fù)梯度方向調(diào)整公式為以后的各次迭代的搜索方向：調(diào)整公式為第45頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月8基于數(shù)值優(yōu)化方法的訓(xùn)練算法其中是海森（Hessian）矩陣：?一個(gè)問(wèn)題：

海森（Hessian）矩陣的計(jì)算量和存儲(chǔ)量大，因此，利用不同的簡(jiǎn)化計(jì)算方法得到不同的“擬牛頓法”第46頁(yè)，課件共52頁(yè)，創(chuàng)作于2023年2月8基于數(shù)值優(yōu)化方法的訓(xùn)練算法1．BFGS擬牛頓法：海森矩陣的近似計(jì)算公