神經(jīng)網(wǎng)絡(luò)答辯課件

神經(jīng)網(wǎng)絡(luò)作業(yè)張曙2013.5.18第一題神經(jīng)網(wǎng)絡(luò)系統(tǒng)是一個高度復(fù)雜的非線性動力系統(tǒng)，不但具有一般非線性的共性，更主要的是它具有自己的特點(diǎn)，總結(jié)起來，神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有以下的基本特性：非線性映射逼近能力自適應(yīng)性和自組織性并行處理能力分布存儲和容錯性便于集成實(shí)現(xiàn)和計(jì)算模擬人工神經(jīng)網(wǎng)絡(luò)的發(fā)展概況1、興起階段：(1)早在1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts在數(shù)學(xué)生物物理學(xué)會期刊《BulletinofMathematicalBiophysics》上發(fā)表文章，總結(jié)了生物神經(jīng)元的一些基本生理特征，提出了形式神經(jīng)元的數(shù)學(xué)描述與結(jié)構(gòu)，即MP模型。2、蕭條階段：主要的影響因素：（1)60年代，美國著名人工智能學(xué)者M(jìn)insky和Papert對Rosenblatt的工作進(jìn)行了深入的研究，寫了很有影響的《感知機(jī)》一書，指出感知機(jī)的處理能力有限，甚至連XOR（異或）這樣的問題也不能解決，并指出如果引入隱含神經(jīng)元，增加神經(jīng)網(wǎng)絡(luò)的層次，可提高神經(jīng)網(wǎng)絡(luò)的處理能力，但是研究對應(yīng)的學(xué)習(xí)方法非常困難。3、興盛階段：1982年，美國物理學(xué)家J.Hopfield提出了Hopfield網(wǎng)絡(luò)模型，用能量函數(shù)的思想形成了一種新的計(jì)算方法，該計(jì)算方法由含有對稱突觸連接的反饋網(wǎng)絡(luò)執(zhí)行。Hopfield網(wǎng)和反向傳播算法的提出使人們看到了神經(jīng)元網(wǎng)絡(luò)的前景和希望；1987年在美國召開了國際神經(jīng)網(wǎng)絡(luò)會議，它掀起了神經(jīng)網(wǎng)絡(luò)研究的熱潮。第二題由各種神經(jīng)元輸入輸出關(guān)系是

從上圖看出，可取三點(diǎn)a(0,0,2),b(2,2,2),c(0,2,0)組成該平面，該層的變換函數(shù)是階躍函數(shù)，“○”表示1,“×”表示0，于是將它們正確歸類。第三題根據(jù)下圖基于標(biāo)準(zhǔn)模型的模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可設(shè)計(jì)如下的網(wǎng)絡(luò)結(jié)構(gòu)：確定隸屬度函數(shù)的形狀隸屬函數(shù)采用高斯函數(shù)表示的鈴形函數(shù)，則其中

分別表示隸屬函數(shù)的中心和寬度。

確定學(xué)習(xí)參數(shù)：假設(shè)輸入分量的模糊分割數(shù)是預(yù)先確定的，則需要計(jì)算的參數(shù)主要是最后一層的連接權(quán)系數(shù)

第二層的隸屬度函數(shù)中心

和寬度

選取網(wǎng)絡(luò)訓(xùn)練樣本：這里按

。的間隔均勻取點(diǎn)，用給定的解析式進(jìn)行理論計(jì)算，得到400組輸入輸出的樣本數(shù)據(jù)。利用這些樣本數(shù)據(jù)可對設(shè)計(jì)的模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，當(dāng)學(xué)習(xí)完所有數(shù)據(jù)后，求取平均仿真結(jié)果：

梯度所對應(yīng)的連接權(quán)系數(shù)

隸屬度函數(shù)中心位置隸屬度函數(shù)寬度

進(jìn)行調(diào)整，當(dāng)學(xué)習(xí)次數(shù)超過要求最大次數(shù)或者滿足要求是，停止學(xué)習(xí)。

每個神經(jīng)元采用如下的S形變換函數(shù)當(dāng)其中這里取較大的u，以使S形函數(shù)比較陡峭，從而穩(wěn)態(tài)時能夠趨于1或趨于0。選擇初始位置A，最終將獲得如下的輸出形式：在方陣中A、B、C、D、E表示城市名稱，1、2、3、4、5表示路徑順序。為保證每個城市只去一次，要求方陣每行只能有一個元素為1，其余為零；為了某一時刻只能經(jīng)過一個城市，方陣中每列也只能有一個元素為1，其余為零；為使每個城市只經(jīng)過一次，方陣中1的個數(shù)總和必須為n。對于所給方陣，其路徑順序?yàn)?A→C→E→D→B→A，所走的距離為兩者的誤差為，系統(tǒng)辨識的原理就是過調(diào)整辨識模型的結(jié)構(gòu)來使e最小。神經(jīng)網(wǎng)絡(luò)辨識的原理是給對象和辨識模型施加相同的輸入，得到對象的輸出和模型的輸出選擇適當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)作為被辨識系統(tǒng)P的模型及其逆模型（P可以是線性系統(tǒng)也可以是非線性系統(tǒng)）。所選的網(wǎng)絡(luò)結(jié)構(gòu)確定后，在給定的被辨識系統(tǒng)輸入輸出觀測數(shù)據(jù)下，網(wǎng)絡(luò)通過學(xué)習(xí)（訓(xùn)練），不斷的調(diào)整權(quán)系值，使得準(zhǔn)則函數(shù)為最優(yōu)。

模型辨識結(jié)構(gòu)

所謂正向模型是指利用多層前饋神經(jīng)絡(luò)，通過訓(xùn)練或?qū)W習(xí)，使其能夠表達(dá)系統(tǒng)正向動力學(xué)特性的模型。1.正向模型(2)正—逆建模正-逆建模也稱狹義逆學(xué)習(xí)(SpecializedlnverseLearning)1.神經(jīng)網(wǎng)絡(luò)本質(zhì)上已是一種辨識模型，其所謂參數(shù)則反映在網(wǎng)絡(luò)內(nèi)部的權(quán)值上。2.辨識的結(jié)果為網(wǎng)絡(luò)外部特性擬合系統(tǒng)的輸入/輸出特性，網(wǎng)絡(luò)的內(nèi)部特性歸納隱含在系統(tǒng)輸入/輸出數(shù)據(jù)中的系統(tǒng)特性。3.辨識的收斂速度不依賴于待辨識系統(tǒng)的維數(shù)，只與神經(jīng)網(wǎng)絡(luò)本身及其所采用的學(xué)習(xí)算法有關(guān)。4.神經(jīng)網(wǎng)絡(luò)具有大量連接，其連