地球物理非線性反演

1、第四章 傳統(tǒng)非線性反演方法 （非啟發(fā)式方法） 地球物理問題大多是非線性的，可以通過參數(shù)化和泰勒級數(shù)展開法將其轉(zhuǎn)換為線性問題求解。 非線性問題在線性化過程中，由于舍取了高次項，使反演問題的多解性更加嚴重。 隨著計算機發(fā)展，非線性反演方法發(fā)展很快，除傳統(tǒng)的非線性反演方法（非啟發(fā)式）以外，模擬退火法、遺傳算法、神經(jīng)網(wǎng)絡(luò)法、小波分析法等啟發(fā)式反演方法得到了很快發(fā)展。第四章 傳統(tǒng)非線性反演方法（非啟發(fā)式方法） 梯度Gradient 法(最速下降the steepest descent法) 共軛梯度conjugate gradient 法 牛頓法Newton 擬牛頓法（變尺度法）一、梯度法(最速下降法)

2、十九世紀中葉由Cauchy提出。 梯度法就是從一個初始模型出發(fā)沿負梯度方向收束目標函數(shù)(x)極小點的一種最優(yōu)化方法。 不難理解，沿目標函數(shù)負梯度方向收索，只要步長適當，經(jīng)過反復迭代，最終總可達到目標函數(shù)的極小點。一、梯度法(最速下降法)梯度法的關(guān)健1)初始模型的選擇：合適的初始模型，收斂速度快；不合適則可能導致局部極小。2)步長大小的選擇：太小，收斂速度太慢；太大，收斂不穩(wěn)定。一、梯度法(最速下降法) 負梯度方向： (x)在任一點x的梯度：TNxxx)(,)(,)()()(21xxxxxg 負梯度方向：g(x)g(x)p一、梯度法(最速下降法) 步長大小的選擇：設(shè)經(jīng)i次收索后模型位置為x(i)

3、，此時負梯度方向為p(i),求步長 (i)g()g()()()()()()() 1(iiiiiiixxppxx 將目標函數(shù)在x(i)，處泰勒展開，并取 x(i)為 (i) p(i)()(2)()()()()()()(! 21)()()(iiTiiTiiiixxxxxxxx一、梯度法(最速下降法) 令(x(i+1)=0，得步長 (i)：TxxNiiNiiiiNiiiiTiiiiixxxxxxxxxxxxxxx)(,)(,)()()(21)()()(2)(1)()()(2)(1)()()()()() 1(這里p 舍去二次項及以上的項，有：)(1)()()()()()()()()()(ikNkkii

4、iTiiipxxxxxp一、梯度法(最速下降法) 按上式計算得到步長 (i)后，可沿最速下降方向計算得到新的模型位置x(i+1)：)g()g()()()()()()() 1(iiiiiiixxppxx)(1)()()()()()()()()()(ikNkkiiiTiiipxxxxxp一、梯度法(最速下降法) 計算(x(i+1),若： 成立，說明校正步長可取，繼續(xù)進行下一次迭代；否則就減小如減小一半，并重復上述步驟，直至目標函數(shù)滿足 為止，最終求出(x)極小點。 有時為了簡便，保持步長不變。只要 不成立，迭代就結(jié)束，認為已經(jīng)達到最小值。 梯度法的優(yōu)點是簡單，在遠離極小點時收斂較快，缺點是在接近極

5、小點時，收斂很慢。 )()()() 1(iixx)()()() 1(iixx)()()() 1(iixx二、共軛梯度法 由初始模型x1沿任一下降方向p1搜索得到x2，根據(jù)p1和x2處的梯度方向找到方向p2，使沿p2可搜索得到極小值模型x*。p1p2-g2x2x1X*1、基本思路 為使p2直指極小點， p2必需滿足： 滿足上式的兩個向量，稱為共軛向量。利用共軛向量求極小值的辦法，稱為共軛梯度法。0, 0,0)(! 21)()()(22122112222222*22222222*22222*pHpgpppHgHgHgpTTTTT：xx：，xxxxxxx：xxx：x有并注意兩邊左乘必需極小泰勒展開設(shè)

6、0221pHpT1、基本思路 Hessian海森矩陣：矩陣）（海森）矩陣，（對稱為（HessianxxxxxxxxxxxxxxxxxxxxxxxNNNNNNN)()(212122212121112H1、基本思路 共軛向量的求法：11211222112122121222121122121221212122212212112220,ppHppHggppHpgHpgpgppHppHgpHpgHppHpgHppHpHppgpTTTTTTTTTTTT：所以由此解得有兩邊左乘設(shè)1、基本思路 迭代步長求法：2222222222*2222222222222*222222222*222*0)(! 2)()(pp

7、HppgppHppgpHppgpHppgpTTTTTTTTxx：x：dxd：，xx：x：x所以由此可求得必需極小泰勒展開由1、基本思路共軛梯度法步驟：（1）由初始模型x1沿任一下降方向p1（可設(shè)為負梯度方向-g1)搜索得到x2:11gp11111111112ppHppgpTTxxx1、基本思路（2）計算p1的共軛向量p2 ，沿p2搜索得到極小值點x*:112122121222ppHpgHpgpgpTT2222222222*ppHppgpTTxxx1、基本思路 對二維二次目標函數(shù)，從任意初始點x1出發(fā)，沿任一下降方向p1作直線搜索得到x2，再從x2出發(fā)沿p1的共軛向量方向p2作直線搜索，所得到的

8、x*必是極小點。 對其它目標函數(shù)，由上面2步搜索得到的x*不一定是極小點，還需繼續(xù)搜索。2、共軛梯度法步驟 共軛梯度法步驟：（1）設(shè)k=1，由初始模型x1沿任一下降方向p1（可設(shè)為負梯度方向-g1)搜索得到x2:11gp11111111112ppHppgpTTxxx2、共軛梯度法步驟（2）判斷(xk+1)？若成立則搜索結(jié)束，否則繼續(xù)下一步（3）計算pk的共軛向量pk+1 ，沿pk+1直線搜索下一個極小值位置xk+2kkkTkkkTkkkkkkppHppHggpgp111111111111111112kkkTkkTkkkkkkxxxppHppgp（4） k=k+1,返回第（2）步2、共軛梯度法步

9、驟 可以證明：對N維二次目標函數(shù) 從任意初始點x1出發(fā)，經(jīng)上面N次迭代，最后得到的xN就是目標函數(shù)的極小點。所構(gòu)成的N個搜索方向相互共軛。cxTTxbHxx21)(3、 二次目標函數(shù)搜索方向相互共軛 證明：N維二次目標函數(shù)N個搜索方向相互共軛031132332233312211222HppHppHppHpppgpHppHpppgpTTTTTT要證明)(1)(21)(121111111122ggHpHpgbpHbHgxbHxxxxcx：TT由3、 二次目標函數(shù)搜索方向相互共軛 可證得 因此：p1、 p2、 p3相互共軛，如此下去，可證明N維二次目標函數(shù)N個搜索方向相互共軛。)(112311312

10、31313gggHpgHppHpgHppTTTTT0021221313221221112223HppgpgpgpgpHpHpgHpggTTTTT：得以及由122211pgpgp又013HppT可證明：pjTgm=0，jN，則設(shè)x1=xk+1,返回（1）。否則計算搜索方向pk+1kkkkkpgggp22111（6）令k=k+1,返回（3）三、牛頓法 共軛梯度法克服了最小二乘法在接近在接近極小點時收斂慢的缺點，缺點是對二次N維目標函數(shù)這樣簡單的問題，也需迭代N次才能達到極小點。那么是否存在一種方法，對二次N維目標函數(shù)一次迭代就能達到極小點？牛頓法 將目標函數(shù)在x(i)，處泰勒展開，并舍取二次項以上

11、的項)()()()()()()()(2)()()()()()(! 21)()(! 21)()()(iiTiiTiiiiTiiTiiiixxxxxxxxxxxxHg三、牛頓法 對x求導數(shù)并令其為零，即可得x)(1)()()()()()()()(0)(iiiiiiiiixxxxxgHHg 新的模型位置x(i+1)：)(1)()()()() 1(iiiiiixxxxgH三、牛頓法 牛頓法的優(yōu)點是對二次目標函數(shù)迭代一次就能達到極小點，這是其它方法不能比擬的；對非二次目標函數(shù)，在接近極小點時收斂較快； 缺點是在遠離極小點時收斂很慢，并且要計算海森矩陣及逆矩陣，而且其逆往往病態(tài)或奇異。 牛頓法往往與梯度法

12、相配合，在遠離極小點時用梯度法，接近極小點時用牛頓法。四、變尺度（擬牛頓）法 牛頓法，收斂快，但需計算海森逆矩陣Hk-1 能否用某種容易計算的矩陣Gk近似取代牛頓法中的海森逆矩陣Hk-1？從而擺脫牛頓法計算海森逆矩陣的缺點，又能保持牛頓法收斂快的優(yōu)點擬牛頓法kkkkkkgHxxxx11kkkkkkgGxxxx11、變尺度法的一般形式要求Gk具有：1)對稱正定，以保證搜索方向 為下降方向；2)有簡單的迭代形式：3)滿足擬牛頓條件。 前式可寫成一般形式：kkkkktgGxx1顯然Gk=I時，上式變?yōu)樘荻确?。kkkkkkkkkkTkTxxggGEGGgGgpg1111)(01、變尺度法的一般形式 擬

13、牛頓條件kkkkkkkkkk：xxggH)x(xHgg1111111)(得海森逆矩陣滿足由因此近似取代海森逆矩陣的矩陣必需滿足上述條件kkkkkkkkkkkkkkkkkkk：yGsyEsyGxxsggyxxggG或有擬牛頓條件記111111,)(1、變尺度法的一般形式擬牛頓算法的一般步驟：1)選定初始點x1,計算 1=(x1)和g1= 1,選定近似矩陣G1，如G1=I，置k=12)計算搜索方向pk=-Gkgk3)作直線搜索xk+1= xk+tkpk4)計算 k+1、gk+1、yk和sk5)判別迭代是否結(jié)束6)計算Ekyk=sk-Gkyk得Gk+17)計算k= k+1，轉(zhuǎn)（2）2、變尺度法的DF

14、P算法 變尺度法的關(guān)健在于校正矩陣Ek的計算，計算校正矩陣有很多方法，其中最有效的方法之一是DFP算法 由Davidon(1950)提出，F(xiàn)letcher和Powell（1963）改進得到，是無約束非線性反演最有效方法之一。是待定常數(shù)和是待定向量和kkkkTkkkTkkkkTkkkTkkkkk，vuvvuuEvvuuGG12、變尺度法的DFP算法 上式也有許多解，DFP取：kkTkkTkkkTkkTkkTkkkkTkkkkkTkkkkkkkTkkkTkkk：，：yGyyvsyyuyyGyvvsyuuyGsyvvuu22)(,)()(得兩邊同左乘取kkkkk：yGsyE由擬牛頓條件kkTkkkk

15、kkTkkkk，yGyyGvsysu,2、變尺度法的DFP算法 DFP算法的效正矩陣計算公式：kkTkkTkkkkTkkTkkyGyGyyGysssE 可以證明：對于具有對稱正定H陣的二次目標函數(shù)，由DFP法確定的搜索方向也是相互H共軛的，因此對N維二次目標函數(shù)，DFP法經(jīng)過最多N次迭代可得到極小點。第五章第五章 完全非線性反演方法完全非線性反演方法上章介紹的啟發(fā)式非線性反演方法的基本思想基本思想：每一次迭代，搜索當前模型下目標函數(shù)的下降方向，沿此方向以一定步長前進，求得新模型，再以此新模型為起點進行搜索，不斷迭代。如果沒有下降方向了，搜索停止得到模型。若初始模型在真實模型附近，搜索能達到最小

16、值（或最大值）對應(yīng)的真實模型。若離真實模型較遠，在某局部極值對應(yīng)的模型附近，則搜索陷入局部極值，無法再改變。（局部極值對應(yīng)的不是真實模型）。能否得到真實解，強烈地依賴于初始模型的選擇能否得到真實解，強烈地依賴于初始模型的選擇第五章第五章 完全非線性反演方法完全非線性反演方法解決辦法：解決辦法： 1.利用豐富的先驗知識和信息，選擇較好的初始模型 2.發(fā)展不依賴于初始模型的完全非線性反演方法常用的完全非線性反演方法常用的完全非線性反演方法1.蒙特卡洛法2.模擬退火法3.遺傳算法4.人工神經(jīng)網(wǎng)絡(luò)方法5.多尺度反演 第五章第五章 完全非線性反演方法完全非線性反演方法 最簡單、最直接的完全非線性反演方法

17、是徹底搜索法或窮舉法。即在一定約束條件下對模型參數(shù)的一切可能組合得到的模型進行分析、比較，找到某種可接受標準下的滿意解或解集。相當于搜索模型空間中的所有點，即進行模型空間的徹底搜索，因此稱為徹底搜索法或窮舉法。 優(yōu)點：只要空間中滿足條件的解存在，就必然能被搜索到。 致命弱點：計算上不現(xiàn)實，只能是一種理論上存在的方法。一、蒙特卡洛法（Monte CarloMonte Carlo） 又稱又稱“嘗試和誤差嘗試和誤差”方法，它按一定的先驗限制信息，以隨機方法，它按一定的先驗限制信息，以隨機（不系統(tǒng)）的方式搜索模型空間，接受符合先驗信息所給出的標準（不系統(tǒng)）的方式搜索模型空間，接受符合先驗信息所給出的標

18、準的模型，的模型，“排斥排斥”并并“遺忘遺忘”不符合標準的模型。較為現(xiàn)實，在實不符合標準的模型。較為現(xiàn)實，在實際工作中得到了應(yīng)用。際工作中得到了應(yīng)用。優(yōu)點優(yōu)點：與窮舉法不同，用隨機抽樣搜索代替了系統(tǒng)搜索，比較現(xiàn)實。 弱點弱點：不能保證搜索的徹底性，影響了它的廣泛應(yīng)用。 解決辦法解決辦法：改進常規(guī)蒙特卡洛方法。 改進的主要思路改進的主要思路：不再進行“盲目”的、完全隨機的搜索，而是在一定的先驗知識引導下進行隨機搜索。這就是所謂的啟發(fā)式蒙特卡洛反演方法。 應(yīng)用效果最好的兩種啟發(fā)式蒙特卡洛反演方法應(yīng)用效果最好的兩種啟發(fā)式蒙特卡洛反演方法： （1）模擬退火法：以統(tǒng)計物理學為基礎(chǔ)。 （2）遺傳算法：以生

19、物工程為基礎(chǔ)。二、模擬退火法模擬退火法模擬退火法（模擬退火法（Simulated AnnealingSimulated Annealing，簡稱簡稱SASA）：）： 是Kirpatrick等1983年首先提出的。它模擬物質(zhì)退火的物理過程：加熱，物質(zhì)溫度升高，乃至熔化；冷卻，溫度降低，最后形成結(jié)晶。慢慢冷卻，形成穩(wěn)態(tài)晶體，系統(tǒng)處于整體能量極小狀系統(tǒng)處于整體能量極小狀態(tài)態(tài)；冷卻速度太快，形成非晶體狀亞穩(wěn)態(tài)玻璃體，系統(tǒng)系統(tǒng)處于能量局部極小狀態(tài)處于能量局部極小狀態(tài)； 因此，Kirpatrick把物理系統(tǒng)的能量看作反演問題的目標函數(shù)，把晶體生成看作搜索到目標函數(shù)的整體極值，把玻璃體的形成看作錯誤地搜索到

20、局部極值。系統(tǒng)能量達到最小，則系統(tǒng)處于最優(yōu)狀態(tài)。二、模擬退火法模擬退火法 據(jù)統(tǒng)計物理學（或稱統(tǒng)計熱力學），物體中每個分子的狀態(tài)服從吉布斯概率分布，即為：個分子的概率分布。為第為玻耳茲曼常數(shù)；個分子所處的狀態(tài)為第個分子的能量函數(shù)；為第其中irPkirirEkTrEkTrErPiiiMjiii)()()(exp)(exp)(1為方便令k=1 退火過程中，溫度降低，分子能量減小，物體從熔態(tài)向固態(tài)轉(zhuǎn)變。分子取哪種狀態(tài)，取決于其概率密度（大，則取該狀態(tài)的可能性大）。若溫度下降慢，所有分子同時按同一溫度下降，則物體最后變成晶體；若溫度下降太快，每個分子的溫度不能同時均勻下降，則會出現(xiàn)亞玻璃體。（目標函數(shù)陷

21、入局部極?。?）二、模擬退火法模擬退火法 模擬退火法用法用于反演的基本思路：將待反演的模型參數(shù)看作熔化物體的一個分子，將目標函數(shù)看作熔化物體的能量函數(shù)，通過緩慢地減小模擬溫度T（溫度參數(shù)至關(guān)重要），進行迭代反演，使目標函數(shù)最終達到極小。 目標函數(shù)或方差函數(shù)值大時，溫度取大值，變化率可以稍大一些；目標函數(shù)值小時，溫度取小值，變化率小，不至于陷入局部極小。 模擬退火法有Metropolis算法（MSA）和Heat Bath算法（HBSA）兩種算法：MSA在全空間自動搜索，模型修改量是隨機的；HBSA把模型參數(shù)限制在一定范圍內(nèi)，修改量是固定值。二、模擬退火法模擬退火法HBSA算法：1)隨機地選擇一

22、個初始模型m(k)(m1 (k) ，m2 (k) ，mN (k) ，取溫度為T（k）2)在保持m2 (k) ，mN (k)不變的情況下，使m1 (k) 從m1 (k) min ， m1 (k) max取出所有可能的取值，按（1）式計算概率密度，并選擇概率最大之m1 (k) 為其新值，記為； m1 (k+1)接著又固定m1 (k) ，m3 (k) ，mN (k)不變，按m1 (k)的方法選擇m2 (k+1)的新值，依次類推，完成一次迭代得到 m(k+1)(m1 (k+1) ，m2 (k+1) ，mN (k+1) 3)取溫度T(k+1) T（k） ，k=k+1返回（2）通常取T（k）=0.99kT

23、0即按指數(shù)變化。 三、三、 遺傳算法遺傳算法 遺傳算法（遺傳算法（Genetic AlgorithmGenetic Algorithm，簡稱簡稱GAGA）：）： John Holland 1975年提出的一種啟發(fā)式蒙特卡洛反演方法?；谏锵到y(tǒng)的自然選擇原理和自然遺傳機制，模擬自然界中的生命進化過程，解決人工系統(tǒng)中復雜的、特定目標的非線性反演問題。 GA算法的特點： 1.對模型群體進行追蹤、搜索，即模型狀態(tài)通過模型群體傳送，具有比模擬退火更大、更復雜的“記憶”，潛力更大。 2.將模型參數(shù)進行二進制編碼后組成一個 “串”，類似于生物遺傳中的關(guān)鍵物質(zhì)“染色體”，模擬染色體遺傳基因的變化來改變模型參

24、數(shù)。三、三、 遺傳算法遺傳算法遺傳算法的基本過程：遺傳算法的基本過程： 1.模型參數(shù)進行二進制編碼（組成染色體），并隨機選擇一組初始模型群體，； 2.通過 “選擇”、“交換” 和 “變異”得到新的模型群體3.重復第二步直至模型群體變得“一致”為止。所謂群體“一致”，即群體目標函數(shù)（或后驗概率）的方差或標準差很小，或者群體目標函數(shù)的均值接近于最大值。三、三、 遺傳算法遺傳算法 例：設(shè)m是正整數(shù)，且0m127，求方程(m)=m2的極大值。 1、模型參數(shù)的編碼： 選單位為1，0127用二進制編碼需7位。這樣模型參數(shù)化結(jié)果有128個可選模型：1111111000001000000010000000ma

25、x1261272312min1mmmmmmmmm也可選別的單位，如=2，則可選模型減少到64個。三、三、 遺傳算法遺傳算法 2.2.初始模型群體產(chǎn)生：初始模型群體產(chǎn)生：隨機產(chǎn)生初始模型群體，原則是個體在模型空間中分布均勻，最好是模型空間各代表區(qū)域均有成員。初始模型群體大，有利于搜索，但太大會增加計算量。 本例選初始模型數(shù)Q=4，即有2對父母：imi二進制(m)P (mi)11500011112250.012270100011049000.26531011100101102010.533456011100031360.170AVG4616三、三、 遺傳算法遺傳算法 3.3.選擇：選擇：選擇模型配

26、對（親本）。選擇時，可取適值大的模型（即目標函數(shù)好或概率大）作為父本，淘汰適值小的模型。 本例取繁殖概率為： 其中AVG為目標函數(shù)的平均，目標函數(shù)小于它的模型不傳代，大于它的可以傳代。 對第一代，為了防止基因丟失，可先不舍去概率小的模型，讓它與概率大的模型配對。如：本例中1與3配對，2與4配對。AVGkkQmmp)()(三、三、 遺傳算法遺傳算法4.4.交換：交換：將配對的兩親本模型的部分染色體相互交換，形成二個新的模型（子代）。兩個染色體遺傳基因的交換過程，是遺傳算法的“繁殖”過程，是親本的重組。其中交換點可隨機選擇。imi交換點子代mi(m)P (mi)115000-11110000101

27、5250.00092101110-01011101111111123210.463701-0001101111000120144000.53784560-11100000001106360.0013AVG6696三、三、 遺傳算法遺傳算法 5.5.更新更新：目標函數(shù)小于平均的模型不傳代，大于平均的傳代，重新選擇配對：i配對變異交換點子代mi111011111101111110111-11101110110211110001111000111100-01111001121311011111101111110-1111110101070411110001111010111-101011111111

28、27AVG 6.6.變異：變異：將模型參數(shù)二進制編碼的某一位由1變?yōu)?或由0變?yōu)?，使染色體基因發(fā)生變異。三、三、 遺傳算法遺傳算法 7.7.收斂：收斂：模型群體經(jīng)多次選擇、交換和變異后，大小不變，平均目標函數(shù)值逐漸變大，最后聚集在模型空間中一個小范圍內(nèi)。則找到了整體極大值對應(yīng)的解。四、人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，簡稱簡稱ANN）：）：是一個由大量簡單的處理單元組成的高度復雜的大規(guī)模非線性自適應(yīng)系統(tǒng)。模擬人腦處理信息的模擬人腦處理信息的功能，功能，是一種非線性處理系統(tǒng)，十分適于進行非線性反演。 四、人工神經(jīng)網(wǎng)絡(luò)1. ANN歷史歷

29、史2.2. 人工神經(jīng)元的基本構(gòu)成人工神經(jīng)元的基本構(gòu)成3.3. 激活函數(shù)激活函數(shù)(Activation Function)4. 常用的人工神經(jīng)網(wǎng)絡(luò)常用的人工神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò) 誤差回傳神經(jīng)網(wǎng)絡(luò)（Back-Propagation Neural Network B-P NN）1、 ANN歷史n萌芽期（20世紀40年代） 人工神經(jīng)網(wǎng)絡(luò)的研究最早可以追溯到人類開始研究自己的智能的時期，到1949年止。 1943年，心理學家McCulloch和數(shù)學家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學生物物理學會刊Bulletin of Methematical Biophy

30、sics 1949年，心理學家D. O.Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說Hebb學習律。1、 ANN歷史 第一高潮期（19501968） 人們樂觀地認為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項研究，希望盡快占領(lǐng)制高點。 以Marvin Minsky，F(xiàn)rank Rosenblatt，Bernard Widrow等為代表人物，代表作是單級感知器（Perceptron）。n可用電子線路模擬。1、 ANN歷史 反思期（19691982） M. L.Minsky和S.Papert，Perceptron，MIT Press，1969年 “異” “或”運算不可表示 二十世紀70年代

31、和80年代早期的研究結(jié)果 認識規(guī)律：認識實踐再認識1、 ANN歷史 第二高潮期（19831990）n1）1982年，J.Hopfield提出循環(huán)網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù) 闡明了ANN與動力學的關(guān)系用非線性動力學的方法來研究ANN的特性 n指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上1、 ANN歷史2）1984年，J.Hopfield設(shè)計研制了后來被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動。 3）1985年，Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PD

32、P）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機機制，提出所謂的Boltzmann機。 4）1986年，并行分布處理小組的Rumelhart等研究者重新獨立地提出多層網(wǎng)絡(luò)的學習算法多層網(wǎng)絡(luò)的學習算法BP算法，較好地解決了多層網(wǎng)絡(luò)的學習問題。（Paker1982和Werbos1974年） 國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會1990年12月在北京舉行1、 ANN歷史 再認識與應(yīng)用研究期（1991）n問題： n1）應(yīng)用面還不夠?qū)?n2）結(jié)果不夠精確 n3）存在可信度的問題 n研究： n1）開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實際運行情況對模型、算法加以改造，以提高網(wǎng)絡(luò)的訓練速度和運行的準確度。 n2）希望在理論上

33、尋找新的突破，建立新的專用/通用模型和算法。 n3）進一步對生物神經(jīng)系統(tǒng)進行研究，不斷地豐富對人腦的認識2、人工神經(jīng)元的基本構(gòu)成 生物神經(jīng)網(wǎng)六個基本特征1）神經(jīng)元及其聯(lián)接； 2）神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強度 3）神經(jīng)元之間的聯(lián)接強度是可以隨訓練改變 4）信號可以是起刺激作用的，也可以是起抑制作用的； 5）一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)； 6) 每個神經(jīng)元可以有一個“閾值”。2、人工神經(jīng)元的基本構(gòu)成 人工神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元，應(yīng)該具有生物神經(jīng)元的六個基本特性。輸入：X=（x1，x2，xn） 聯(lián)接權(quán)：W=（w1，w2，wn）T 網(wǎng)絡(luò)輸入：net=xiwi；

34、向量形式：net=XW3、 “閾值”激活函數(shù)(Activation Function) 神經(jīng)元的輸出由激勵函數(shù)（也稱活化函數(shù)）決定：out=f(net)。 具有“閾值”性質(zhì)，當net大于“閾值”時被激勵；小于“閾值”時被抑制3、 激活函數(shù)(Activation Function) 常用的激活函數(shù)a、線性函數(shù)（Liner Function）b、非線性斜面函數(shù)(Ramp Function)c、閾值函數(shù)（Threshold Function）階躍函數(shù)d、壓縮函數(shù)（Squashing Function）f（net）=a+b/(1+exp(-d*net) 4、BP神經(jīng)網(wǎng)絡(luò) 誤差回傳神經(jīng)網(wǎng)絡(luò)（Back-Propagation Neural Network B-P NN）：一種無反饋前向網(wǎng)絡(luò)，由輸入層、輸出層和隱蔽層組成。每一層中的每一個神經(jīng)元均接收