神經(jīng)網(wǎng)絡原理與應用詳解

神經(jīng)計算--吳廣發(fā)20112420021神經(jīng)計算-神經(jīng)網(wǎng)絡算法在實際應用中經(jīng)常遇到一些復雜優(yōu)化問題，而往往需要求解它的全局最優(yōu)解。由于許多問題具有多個局部最優(yōu)解，特別是有些問題的目標函數(shù)是非凸的、或是不可微的、甚至是不可表達的。這樣一來，傳統(tǒng)的非線性規(guī)劃問題算法就不適用了。二十世紀以來，一些優(yōu)秀的優(yōu)化算法，如神經(jīng)計算、遺傳算法、蟻群算法、模擬退火算法等，通過模擬某些自然現(xiàn)象和過程而得到發(fā)展，為解決復雜優(yōu)化問題提供了新的思路和手段。其中，神經(jīng)計算是以神經(jīng)網(wǎng)絡為基礎的計算。2神經(jīng)網(wǎng)絡-演示的主要內(nèi)容神經(jīng)網(wǎng)絡概述神經(jīng)元結(jié)構(gòu)與連接BP網(wǎng)絡及其應用舉例Hopfield網(wǎng)絡及其應用舉例神經(jīng)網(wǎng)絡重要結(jié)論神經(jīng)網(wǎng)絡研究分析3神經(jīng)網(wǎng)絡概述（1）人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwork，簡稱ANN）又稱神經(jīng)網(wǎng)絡，是由具有適應性的簡單單元組成的廣泛并行互連的網(wǎng)絡，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應。神經(jīng)網(wǎng)絡結(jié)構(gòu)和工作機理基本上以人腦的組織結(jié)構(gòu)（大腦神經(jīng)元網(wǎng)絡）和活動規(guī)律為背景的，它反映了人腦的某些基本特征，但并不是對人腦部分的真實再現(xiàn)，可以說人工神經(jīng)網(wǎng)絡是利用人工的方式對生物神經(jīng)網(wǎng)絡的模擬。4神經(jīng)網(wǎng)絡概述（2）人工神經(jīng)網(wǎng)絡的特性1.并行分布處理：網(wǎng)絡具有良好的并行結(jié)構(gòu)和并行實現(xiàn)能力，因而具有較好的耐故障能力和總體處理能力。2.非線性映射：網(wǎng)絡固有的非線性特性，這源于其近似任意非線性映射（變換）能力，尤其適用于處理非線性問題。3.通過訓練進行學習：一個經(jīng)過適當訓練的神經(jīng)網(wǎng)絡具有歸納全部數(shù)據(jù)的能力。因此適用于解決那些由數(shù)學模型或描述規(guī)則難以解決的問題。5神經(jīng)網(wǎng)絡概述（3）4.適應與集成：網(wǎng)絡能夠適應在線運行，并能同時進行定量和定性操作。神經(jīng)網(wǎng)絡的強適應和信息融合能力使得它可以同時輸入大量不同的控制信號，解決輸入信息間的互補和冗余問題，并實現(xiàn)信息集成和融合處理。適于復雜、大規(guī)模和多變量系統(tǒng)。5.硬件實現(xiàn)：神經(jīng)網(wǎng)絡不僅能夠通過軟件而且可以借助硬件實現(xiàn)并行處理。一些超大規(guī)模集成電路實現(xiàn)硬件已經(jīng)問世，如神經(jīng)計算機，它的研制開始于20世紀80年代后期。“預言神”是我國第一臺研制成功的神經(jīng)計算機。6神經(jīng)網(wǎng)絡概述（4）我國第一臺神經(jīng)計算機面世的報道7神經(jīng)網(wǎng)絡概述（5）一般而言，神經(jīng)網(wǎng)絡與經(jīng)典計算方法相比并非優(yōu)越，只有當常規(guī)方法解決不了或效果不佳時神經(jīng)網(wǎng)絡方法才能顯示出其優(yōu)越性。尤其對問題的機理不甚了解或不能用數(shù)學模型表示的系統(tǒng)，如故障診斷、特征提取和預測等問題，神經(jīng)網(wǎng)絡往往是最有利的工具。另一方面，神經(jīng)網(wǎng)絡對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題，也表現(xiàn)出一定靈活性和自適應性。8神經(jīng)網(wǎng)絡概述（6）人工神經(jīng)網(wǎng)絡研究的局限性：ANN研究受到腦科學研究成果的限制ANN缺少一個完整、成熟的理論體系ANN研究帶有濃厚的策略和經(jīng)驗色彩ANN與傳統(tǒng)技術的接口不成熟9神經(jīng)元結(jié)構(gòu)與連接（1）神經(jīng)元是大腦處理信息的基本單元，人腦大約由百億個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡。神經(jīng)元以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干。主要由細胞體、樹突、軸突和突觸（又稱神經(jīng)鍵）組成。10神經(jīng)元結(jié)構(gòu)與連接（2）大腦神經(jīng)網(wǎng)絡是由神經(jīng)元經(jīng)突觸與樹突連接起來形成的。人工神經(jīng)網(wǎng)絡是由基本處理單元及其互連方法決定的。11神經(jīng)元結(jié)構(gòu)與連接（3）神經(jīng)元的M-P模型，即將人工神經(jīng)元的基本模型和激活函數(shù)合在一起構(gòu)成人工神經(jīng)元，稱之為處理單元。12

yx1……x2

1

2xn

ns神經(jīng)元結(jié)構(gòu)與連接（4）單輸出神經(jīng)元（感知器）的工作過程是：從輸入端接收輸入信號根據(jù)連接權(quán)值，求出所有輸入的加權(quán)和

用非線性特征函數(shù)

進行轉(zhuǎn)換，獲得輸出

13神經(jīng)元結(jié)構(gòu)與連接（5）尋找感知器網(wǎng)絡的判定邊界感知器的學習是有導師學習，如：訓練算法的基本原理來源于著名的Delta學習率，即逐步地將樣本集中的樣本輸入到網(wǎng)絡中，根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡中的權(quán)矩陣，如：14

神經(jīng)元結(jié)構(gòu)與連接（6）無獎問答環(huán)節(jié)：感知器曾一度讓人工神經(jīng)網(wǎng)絡展現(xiàn)出其獨特的功能和誘人的發(fā)展前景。但當Minsky嚴格地對問題進行了分析，證明了單級網(wǎng)（感知器）無法解決“異或”等最基本的問題時，人工神經(jīng)網(wǎng)絡便從第一個高潮期進入了反思期。那么如何理解感知器無法解決“異或”的問題呢？15

神經(jīng)元結(jié)構(gòu)與連接（7）神經(jīng)網(wǎng)絡每個節(jié)點均具有相同的結(jié)構(gòu)，其動作在時間和空間上均同步。模型主要考慮網(wǎng)絡連接的拓撲結(jié)構(gòu)、神經(jīng)元的特征、學習規(guī)則、傳遞函數(shù)等。目前已有近40種不同神經(jīng)網(wǎng)絡模型。實驗表明，對大部分網(wǎng)絡模型來說（也有例外情況），W的各個元素不能用相同的數(shù)據(jù)進行初始化，因為這樣會使網(wǎng)絡失去學習能力。一般地，使用一系列小偽隨機數(shù)對W進行初始化?！靶‰S機數(shù)”用來保證網(wǎng)絡不會因為權(quán)過大而進入飽和狀態(tài)，從而導致訓練失?。弧安煌庇脕肀ＷC網(wǎng)絡可以正常地學習。16神經(jīng)元結(jié)構(gòu)與連接（8）神經(jīng)元互連基本形式（分為前饋和反饋兩種）：17…………………前向網(wǎng)絡反饋網(wǎng)絡層內(nèi)互連網(wǎng)絡互連網(wǎng)絡輸入層輸出層隱層輸入層輸出層隱層輸入層輸出層隱層輸入層輸出層隱層神經(jīng)元結(jié)構(gòu)與連接（9）神經(jīng)網(wǎng)絡訓練模式：有導師學習：根據(jù)期望與實際的網(wǎng)絡輸出之間的差調(diào)整神經(jīng)元連接的強度或權(quán)，訓練方法主要有Delta規(guī)則等。

無導師學習：自動地適應連接權(quán)，以便按相似特征把輸入模式分組聚集，訓練方法主要有Hebb學習律、競爭與協(xié)同學習規(guī)則、隨機聯(lián)接學習規(guī)則等。強化學習：不需要老師給出目標輸出，采用一個“評論員”來評價與給定輸入相對應的神經(jīng)網(wǎng)絡輸出的優(yōu)度。遺傳算法就是一個例子。18神經(jīng)元結(jié)構(gòu)與連接（10）無導師學習Hebb學習率：如果處理單元從另一個處理單元接收到一個輸入，并且兩個單元都處于高度活動狀態(tài)，這時兩單元間的連接權(quán)重就要被加強。競爭與協(xié)同學習規(guī)則：利用不同層間或同一層內(nèi)很近的神經(jīng)元發(fā)生興奮性連接，而距離較遠的神經(jīng)元產(chǎn)生抑制性連接。隨機連接學習規(guī)則：從統(tǒng)計力學、分子熱力學和概率論中關于系統(tǒng)穩(wěn)態(tài)能量的標準出發(fā)，進行神經(jīng)網(wǎng)絡學習的方式稱概率式學習。如基于模擬退火統(tǒng)計優(yōu)化方法的玻爾茲曼機學習規(guī)則。19神經(jīng)元結(jié)構(gòu)與連接（11）神經(jīng)網(wǎng)絡的訓練次數(shù)也稱為神經(jīng)網(wǎng)絡的學習時間。在一定范圍內(nèi)，訓練次數(shù)的增加可以提高神經(jīng)網(wǎng)絡的泛化能力，然而，在神經(jīng)網(wǎng)絡的訓練過程中經(jīng)常出現(xiàn)一種過擬合現(xiàn)象，即在網(wǎng)絡訓練過程中，隨著網(wǎng)絡訓練次數(shù)的增加，網(wǎng)絡對訓練樣本的誤差逐漸減少，并很容易達到中止訓練的最小誤差的要求，從而停止訓練。然而，在訓練樣本的誤差逐漸減少并達到某個定值以后，往往會出現(xiàn)網(wǎng)絡對訓練樣本意外的測試樣本的誤差反而開始增加的情況。20神經(jīng)元結(jié)構(gòu)與連接（12）神經(jīng)網(wǎng)絡的泛化性能還體現(xiàn)在網(wǎng)絡對噪聲應具有一定的抗干擾能力上。最佳的泛化能力往往出現(xiàn)在訓練誤差的全局最小點出現(xiàn)之前，最佳泛化點出現(xiàn)存在一定的時間范圍。理論上可以證明在神經(jīng)網(wǎng)絡訓練過程中，存在最優(yōu)的停止時間。泛化特性的好壞取決于人工神經(jīng)網(wǎng)絡是否從訓練樣本中找到內(nèi)部的真正規(guī)律。影響泛化能力的因素主要有：訓練樣本的質(zhì)量和數(shù)量；網(wǎng)絡結(jié)構(gòu)；問題本身的復雜程度。21BP網(wǎng)絡及其應用舉例（1）感知器算法中，理想輸出與實際輸出之差被用來估計直接到達該神經(jīng)元的連接的權(quán)重的誤差。當為解決線性不可分問題而引入多級網(wǎng)絡后，如何估計網(wǎng)絡隱藏層的神經(jīng)元的誤差就成了難題。反向傳播網(wǎng)絡（Back-PropagationNetwork，簡稱BP網(wǎng)絡）在于利用輸出層的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差。如此下去，就獲得了所有其他各層的誤差估計。這樣就形成了將輸出端表現(xiàn)出的誤差沿著與輸入信號傳送相反的方向逐級向網(wǎng)絡的輸入端傳遞的過程。22BP網(wǎng)絡及其應用舉例（2）BP算法是非循環(huán)多級網(wǎng)絡的訓練算法。權(quán)值的調(diào)整采用反向傳播的學習算法，它是一種多層前向反饋神經(jīng)網(wǎng)絡，其神經(jīng)元的變換函數(shù)是S型函數(shù)（也可以采用其他處處可導的激活函數(shù)）。輸出量為0到1之間的連續(xù)量，它可實現(xiàn)從輸入到輸出的任意的非線性映射。反向傳播采用的是Delta規(guī)則，按照梯度下降的方向修正各連接權(quán)的權(quán)值。BP網(wǎng)絡的缺陷：容易導致局部最小值、過度擬合以及收斂速度較慢等。23BP網(wǎng)絡及其應用舉例（3）多層BP網(wǎng)絡是一種具有三層或三層以上的多層神經(jīng)網(wǎng)絡，每一層都由若干個神經(jīng)元組成，如下圖所示，它的左、右各層之間各個神經(jīng)元實現(xiàn)全連接，即左層的每個神經(jīng)元與右層的每個神經(jīng)元都有連接，而層內(nèi)的神經(jīng)元無連接。24ri1ri2rimO1O2OmBP網(wǎng)絡及其應用舉例（4）一般地，BP網(wǎng)絡的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量），一般根據(jù)專業(yè)知識確定。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標或因變量），可以是一個，也可以是多個。事實上，增加隱藏層的層數(shù)和隱藏層神經(jīng)元的個數(shù)不一定總能夠提高網(wǎng)絡的精度和表達能力。以下通過BP網(wǎng)絡模擬程序的運行，展示網(wǎng)絡訓練的過程以及實驗證明上述論點。25BP網(wǎng)絡及其應用舉例（5）問題描述：基于神經(jīng)網(wǎng)絡及其模型優(yōu)化技術，對大規(guī)模肉雞養(yǎng)殖中性能預測問題進行深入研究和建模實現(xiàn)。大量的研究揭示了氣象因素是影響家禽生長的最重要的環(huán)節(jié)因素之一。采用小雞和成雞的兩階段季節(jié)性因素進行建模，即單因素兩輸入模型。溫度->上市率26BP網(wǎng)絡及其應用舉例（6）應用集均方差比對圖27BP網(wǎng)絡及其應用舉例（7）由于知識是分布表示的，所以人工神經(jīng)網(wǎng)絡可以在實際應用中根據(jù)不斷獲取的經(jīng)驗來增加自己的處理能力。因此，它的學習可以不是一次完成的。這就要求在一定的范圍內(nèi)，網(wǎng)絡在學會新知識的同時，保持原來學會的東西不被忘記。這種特性被稱作可塑性。BP網(wǎng)絡不具有這種可塑性。BP網(wǎng)絡接收樣本的順序也會對訓練的結(jié)果有一定影響。比較而言，它更“偏愛”較后出現(xiàn)的樣本。因為BP根據(jù)后來的樣本修改網(wǎng)絡的連接矩陣時，進行的是全面的修改，這使得“信息的破壞”不是