人工神經(jīng)網(wǎng)絡(luò)應(yīng)用實例分析

人工神經(jīng)網(wǎng)絡(luò)的研究方法及應(yīng)用?1、什么是人工神經(jīng)網(wǎng)絡(luò)？的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)?！毙畔⑻幚韨鬏斝畔⑻幚韨鬏攬D1.生物神經(jīng)元功能模型o1…ok…o圖1.生物神經(jīng)元功能模型o1…ok…oly1○y2○…○yj…○ymV1Vm○○○○○x1x2…xi…xn-1xn3、人工神經(jīng)網(wǎng)絡(luò)研究的局限性(1)ANN研究受到腦科學研究成果的限制。(2)ANN缺少一個完整、成熟的理論體系。(3)ANN研究帶有濃厚的策略和經(jīng)驗色彩。(4)ANN與傳統(tǒng)技術(shù)的接口不成熟。輸入輸出輸入輸出突突觸(1)一般而言,ANN與經(jīng)典計算方法相比并非優(yōu)越,只有當尤其對問題的機理不甚了解或不能用數(shù)學模型表示的系統(tǒng),如故(2)另一方面,ANN對處理大量原始數(shù)據(jù)而不能用規(guī)則或公例較好的容錯性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。在實際應(yīng)用中，80%~90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法或其變化形式的網(wǎng)絡(luò)模型(簡稱BP網(wǎng)絡(luò))，目前主要應(yīng)用于函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘?！舨捎肂P神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本?！魹楸O(jiān)控訓練(學習)過程使之不發(fā)生“過擬合”和評價建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機分成訓練樣本、檢驗樣本(10%以上)和測試樣本(10%以上)3部分?！魯?shù)據(jù)分組時還應(yīng)盡可能考慮樣本模式間的平衡。1.2輸入/輸出變量的確定及其數(shù)據(jù)的預(yù)處理變量(影響因子或自變量)數(shù),一般根據(jù)專業(yè)知識確定。?若輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。?輸出變量即為系統(tǒng)待分析的外生變量(系統(tǒng)性能指標或因變量)，可以是一個，也可以是多個。一般將一個具有多個輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個具有一個輸出的網(wǎng)絡(luò)模型效果會更好，訓練也更方便。Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必須作相應(yīng)的預(yù)處理，否則，輸出變量也可以不做預(yù)處理。盡相同。但必須注意的是，預(yù)處理的數(shù)據(jù)訓練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進行反變換才能得到實際值。?再者，為保證建立的模型具有一定的外推能力，最好使數(shù)據(jù)預(yù)處理后的值在0.2~0.8之間。2.神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)的確定2.1隱層數(shù)的選取◆一般認為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差(也有文獻認為不一定能有效降低)，提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓練時間和出現(xiàn)“過擬合”的傾◆Hornik等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個存在性結(jié)論。在設(shè)計BP網(wǎng)絡(luò)時可參考這一點，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)(即有1個隱層)?！粢话愕兀吭黾与[層節(jié)點數(shù)來獲得較低的誤差，其訓練效果要比增加隱層數(shù)更容易實現(xiàn)。2.2隱層節(jié)點數(shù)神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓練時出現(xiàn)“過擬合”的練樣本任意多的情況，而且多數(shù)是針對最不利的情況，一般工程實踐中很難滿足，不宜采用。事實上，各種計算公式得到的隱層的網(wǎng)絡(luò)層節(jié)點數(shù)。研究表明，隱層節(jié)點數(shù)不僅與輸入/輸出層的節(jié)點數(shù)有關(guān)，更與需解決的問題和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。在確定隱層節(jié)點數(shù)時必須滿足下列條件：(1)隱層節(jié)點數(shù)必須小于N-1(其中N為訓練樣本數(shù))，否則，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓練樣本的特性無關(guān)而任何實用價值。同理可推得：輸入層的節(jié)點數(shù)(變量數(shù))必須小于N-1。(2)訓練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般為2~10倍，否則，樣本必須分成幾部分并采用“輪流訓練”的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò)模型。口若隱層節(jié)點數(shù)太少，網(wǎng)絡(luò)可能根本不能訓練或網(wǎng)絡(luò)性能很差；若隱層節(jié)點數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓練時間延長；口另一方面，訓練容易陷入局部極小點而得不到最優(yōu)點，也是訓練時出現(xiàn)“過擬合”的內(nèi)在原因。口因此，合理隱層節(jié)點數(shù)應(yīng)在綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的情況下用節(jié)點刪除法和擴張法確3.神經(jīng)網(wǎng)絡(luò)的訓練3.1訓練BP網(wǎng)絡(luò)的訓練就是通過應(yīng)用誤差反傳原理不斷調(diào)整網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與已知的訓練樣本輸出值之間的誤差平方和達到最小或小于某一期望值。雖然理論上早已經(jīng)證明：具有1個隱層(采用Sigmoid轉(zhuǎn)換函數(shù))的BP網(wǎng)絡(luò)可實現(xiàn)對任意函數(shù)的任意逼近。但遺憾的是，迄今為止還沒有構(gòu)造性結(jié)論，即在給定有限個(訓練)樣本的情況下，如何設(shè)計一個合理的BP網(wǎng)絡(luò)模型并通過向所給的有限個樣本的學習(訓練)來滿意地逼近樣本所蘊含的規(guī)律(函數(shù)關(guān)系，不僅僅是使訓練樣本的誤差達到很小)的問題，目前在很大程度上還需要依靠經(jīng)驗知識和設(shè)計者的經(jīng)驗。因此，通過訓練樣本的學習(訓練)建立合理的BP神經(jīng)網(wǎng)絡(luò)模型的過程，在國外被稱為“藝術(shù)創(chuàng)造的過程”，是一個復(fù)雜而又十分煩瑣和困難由于BP網(wǎng)絡(luò)采用誤差反傳算法，其實質(zhì)是一個無約束的非線性最優(yōu)化計算過程，在網(wǎng)絡(luò)結(jié)構(gòu)較大時不僅計算時間長，而且很容易限入局部極小點而得不到最優(yōu)結(jié)果。目前雖已有改進BP法、遺傳算法(GA)和模擬退火算法等多種優(yōu)化方法用于BP網(wǎng)絡(luò)的訓練(這些方法從原理上講可通過調(diào)整某些參數(shù)求得全局極小點)，但在應(yīng)用中，這些參數(shù)的調(diào)整往往因問題不同而異，較難求得全局極小點。這些方法中應(yīng)用最廣的是增加了沖量(動量)項的改進BP算法。3.2訓練函數(shù)的選擇3.3學習率和沖量系數(shù)學習率影響系統(tǒng)學習過程的穩(wěn)定性。大的學習率可在修正過程中超出某個誤差的極小值呈不規(guī)則跳躍而不收斂；但過小的學習率導致