神經(jīng)網(wǎng)絡基本原理ppt課件

1、 人工神經(jīng)網(wǎng)絡 ANN，Artificial Neural Network也簡稱為神經(jīng)網(wǎng)絡NN，是由大量的簡單處置單元經(jīng)廣泛并行互連構成的一種網(wǎng)絡系統(tǒng)。它是對人腦系統(tǒng)的簡化、籠統(tǒng)和模擬，具有人腦功能的許多根本特征。 目前，人工神經(jīng)網(wǎng)絡已成為許多高科技領域的一個搶手話題。在人工智能領域，它已實踐運用于決策支持、方式識別、專家系統(tǒng)、機器學習等許多方面。 由于神經(jīng)網(wǎng)絡是多學科交叉的產(chǎn)物，各個相關的學科領域對神經(jīng)網(wǎng)絡都有各自的看法，因此，關于神經(jīng)網(wǎng)絡的定義，在科學界存在許多不同的見解。目前運用得較廣泛的是T.Koholen芬蘭赫爾辛基技術大學 的定義，即神經(jīng)網(wǎng)絡是由具有順應性的簡單單元組成的廣泛并行互

2、連的網(wǎng)絡，它的組織可以模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反響。 人腦的根本組成是腦神經(jīng)細胞，大量腦神經(jīng)細胞相互聯(lián)接組成人的大腦神經(jīng)網(wǎng)絡，完成各種大腦功能。而人工神經(jīng)網(wǎng)絡那么是由大量的人工神經(jīng)細胞神經(jīng)元經(jīng)廣泛互連構成的人工網(wǎng)絡，以此模擬人類神經(jīng)系統(tǒng)的構造和功能。 了解人腦神經(jīng)網(wǎng)絡的組成和原理，有助于對人工神經(jīng)網(wǎng)絡的了解。 人體神經(jīng)構造與特征人體神經(jīng)構造與特征雖然神經(jīng)元的形狀各不一樣，但是都由細胞體和突起兩大雖然神經(jīng)元的形狀各不一樣，但是都由細胞體和突起兩大部分組成，而突起又分樹突和軸突。部分組成，而突起又分樹突和軸突。 軸突是由細胞體向外延伸出的一切纖維中最長的一條軸突是由細胞體向外延伸

3、出的一切纖維中最長的一條分枝，用來向外傳送神經(jīng)元產(chǎn)生的輸出信號。每個神分枝，用來向外傳送神經(jīng)元產(chǎn)生的輸出信號。每個神經(jīng)元只發(fā)出一條軸突，短的僅幾個微米，其最大長度經(jīng)元只發(fā)出一條軸突，短的僅幾個微米，其最大長度可達可達1m以上。以上。突觸，在軸突的末端構成了許多很細的分枝，這些分枝叫神經(jīng)末梢。每一突觸，在軸突的末端構成了許多很細的分枝，這些分枝叫神經(jīng)末梢。每一條神經(jīng)末梢可以與其他神經(jīng)元形勝利能性接觸，該接觸部位稱為突觸。每條神經(jīng)末梢可以與其他神經(jīng)元形勝利能性接觸，該接觸部位稱為突觸。每個神經(jīng)元大約有個神經(jīng)元大約有103105個突觸，換句話說，每個神經(jīng)元大約與個突觸，換句話說，每個神經(jīng)元大約與10

4、3105個其它神經(jīng)元有銜接，正是由于這些突觸才使得全部大腦神經(jīng)元構成個其它神經(jīng)元有銜接，正是由于這些突觸才使得全部大腦神經(jīng)元構成一個復雜的網(wǎng)絡構造。一個復雜的網(wǎng)絡構造。 所謂功能性接觸，突觸的信息傳送特性可變，因此細胞之間的銜接所謂功能性接觸，突觸的信息傳送特性可變，因此細胞之間的銜接強度可變，這是一種柔性銜接，也稱為神經(jīng)元構造的可塑性，這正是神經(jīng)強度可變，這是一種柔性銜接，也稱為神經(jīng)元構造的可塑性，這正是神經(jīng)元之間傳送信息的奧妙之一。元之間傳送信息的奧妙之一。 樹突是指由細胞體向外延伸的除軸突以外的其他一樹突是指由細胞體向外延伸的除軸突以外的其他一切分支。不同的神經(jīng)元其樹突的數(shù)量也不同，長度

5、切分支。不同的神經(jīng)元其樹突的數(shù)量也不同，長度較短，但數(shù)量很多，它是神經(jīng)元的輸入端，用于接較短，但數(shù)量很多，它是神經(jīng)元的輸入端，用于接受從其他神經(jīng)元的突觸傳來的信號。受從其他神經(jīng)元的突觸傳來的信號。 細胞體是神經(jīng)元的主體，胞體和樹突外表是接受的細胞體是神經(jīng)元的主體，胞體和樹突外表是接受的其他神經(jīng)元傳來的信號的主要部位。其他神經(jīng)元傳來的信號的主要部位。 神經(jīng)元中的細胞體相當于一個初等處置器，它對來自其他神經(jīng)元中的細胞體相當于一個初等處置器，它對來自其他各個神經(jīng)元的信號進展總體求和，并產(chǎn)生一個神經(jīng)輸出信號。由各個神經(jīng)元的信號進展總體求和，并產(chǎn)生一個神經(jīng)輸出信號。由于細胞膜將細胞體內外分開，因此，在細

6、胞體的內外具有不同的于細胞膜將細胞體內外分開，因此，在細胞體的內外具有不同的電位，通常是內部電位比外部電位低。細胞膜內外的電位之差被電位，通常是內部電位比外部電位低。細胞膜內外的電位之差被稱為膜電位。在無信號輸入時的膜電位稱為靜止膜電位。當一個稱為膜電位。在無信號輸入時的膜電位稱為靜止膜電位。當一個神經(jīng)元的一切輸入總效應到達某個閾值電位時，該細胞變?yōu)榛钚陨窠?jīng)元的一切輸入總效應到達某個閾值電位時，該細胞變?yōu)榛钚约毎せ?，其膜電位將自發(fā)地急劇升高產(chǎn)生一個電脈沖。這細胞激活，其膜電位將自發(fā)地急劇升高產(chǎn)生一個電脈沖。這個電脈沖又會從細胞體出發(fā)沿軸突到達神經(jīng)末梢，并經(jīng)與其他神個電脈沖又會從細胞體出發(fā)沿軸

7、突到達神經(jīng)末梢，并經(jīng)與其他神經(jīng)元銜接的突觸，將這一電脈沖傳給相應的神經(jīng)元。經(jīng)元銜接的突觸，將這一電脈沖傳給相應的神經(jīng)元。細胞體突觸軸突樹突圖12.2 生物神經(jīng)元功能模型輸入輸出信息處理電脈沖形成傳輸 生物神經(jīng)元的功能與特征生物神經(jīng)元的功能與特征根據(jù)神經(jīng)生理學的研討，生物神經(jīng)元具有如下重要功能與特根據(jù)神經(jīng)生理學的研討，生物神經(jīng)元具有如下重要功能與特性。性。1時空整合功能時空整合功能神經(jīng)元對不同時間經(jīng)過同一突觸傳入的神經(jīng)激動，具有時間整合神經(jīng)元對不同時間經(jīng)過同一突觸傳入的神經(jīng)激動，具有時間整合功能。對于同一時間經(jīng)過不同突觸傳入的神經(jīng)激動，具有空間整功能。對于同一時間經(jīng)過不同突觸傳入的神經(jīng)激動，具有

8、空間整合功能。兩種功能相互結合，使生物神經(jīng)元對由突觸傳入的神經(jīng)合功能。兩種功能相互結合，使生物神經(jīng)元對由突觸傳入的神經(jīng)激動具有時空整合的功能。激動具有時空整合的功能。2興奮與抑制形狀興奮與抑制形狀神經(jīng)元具有興奮和抑制兩種常規(guī)的任務形狀。當傳入激動的時空神經(jīng)元具有興奮和抑制兩種常規(guī)的任務形狀。當傳入激動的時空整合結果使細胞膜電位升高，超越動作電位的閾值時，細胞進入整合結果使細胞膜電位升高，超越動作電位的閾值時，細胞進入興奮形狀，產(chǎn)生神經(jīng)激動。相反，當傳入激動的時空整合結果使興奮形狀，產(chǎn)生神經(jīng)激動。相反，當傳入激動的時空整合結果使細胞膜電位低于動作電位閾值時，細胞進入抑制形狀，無神經(jīng)激細胞膜電位低

9、于動作電位閾值時，細胞進入抑制形狀，無神經(jīng)激動輸出。動輸出。3脈沖與電位轉換 突觸界面具有脈沖/電位信號轉化功能。沿神經(jīng)纖維傳送的信號為離散的電脈沖信號，而細胞膜電位的變化為延續(xù)的電位信號。這種在突觸接口處進展的“數(shù)/模轉換，是經(jīng)過神經(jīng)介質以量子化學方式實現(xiàn)的如下過程：電脈沖神經(jīng)化學物質膜電位4神經(jīng)纖維傳導速率 神經(jīng)激動沿神經(jīng)纖維傳導的速度在1m/s150m/s之間。其速度差別與纖維的粗細、髓鞘(包繞在神經(jīng)元的軸突外部的物質，起絕緣作用 )的有無有關。普通來說，有髓鞘的纖維，其傳導速度在100ms以上，無髓鞘的纖維，其傳導速度可低至每秒數(shù)米。 人腦神經(jīng)系統(tǒng)的構造與特征人腦神經(jīng)系統(tǒng)的構造與特征

10、1記憶和存儲功能記憶和存儲功能 人腦神經(jīng)系統(tǒng)的記憶和處置功能是有機地結合人腦神經(jīng)系統(tǒng)的記憶和處置功能是有機地結合在一同的。神經(jīng)元既有存儲功能，又有處置功能，在一同的。神經(jīng)元既有存儲功能，又有處置功能，它在進展回想時不僅不需求先找到存儲地址再調出它在進展回想時不僅不需求先找到存儲地址再調出所存內容，而且還可以由一部分內容恢復全部內容。所存內容，而且還可以由一部分內容恢復全部內容。尤其是當一部分神經(jīng)元遭到損壞例如腦部受傷等尤其是當一部分神經(jīng)元遭到損壞例如腦部受傷等時，它只會喪失損壞最嚴重部分的那些信息，而不時，它只會喪失損壞最嚴重部分的那些信息，而不會喪失全部存儲信息。會喪失全部存儲信息。 人腦神

11、經(jīng)系統(tǒng)的構造與特征人腦神經(jīng)系統(tǒng)的構造與特征 2高度并行性高度并行性 人腦大約有人腦大約有10111012個神經(jīng)元，每個神經(jīng)個神經(jīng)元，每個神經(jīng)元又有元又有103105個突觸，即每個神經(jīng)元都可以和個突觸，即每個神經(jīng)元都可以和其他其他103105個神經(jīng)元相連，這就提供了非常宏個神經(jīng)元相連，這就提供了非常宏大的存儲容量和并行度。例如，人可以非常迅速地大的存儲容量和并行度。例如，人可以非常迅速地識別出一幅非常復雜的圖像。識別出一幅非常復雜的圖像。3分布式功能 人們經(jīng)過對腦損壞病人所做的神經(jīng)心思學研討，沒有發(fā)現(xiàn)大腦中的哪一部分可以決議其他一切各部分的活動，也沒有發(fā)如今大腦中存在有用于驅動和管理整個智能處置

12、過程的任何中央控制部分。人類大腦的各個部分是協(xié)同任務、相互影響的，并沒有哪一部分神經(jīng)元能對智能活動的整個過程負有特別重要的責任。 可見，在大腦中，不僅知識的存儲是分散的，而且其控制和決策也是分散的。因此，大腦是一種分布式系統(tǒng)。4容錯功能 容錯性是指根據(jù)不完全的、有錯誤的信息仍能做出正確、完好結論的才干。大腦的容錯性是非常強的。例如，我們往往可以僅由某個人的一雙眼睛、一個背影、一個動作或一句話的音調，就能識別出來這個人是誰。5聯(lián)想功能 人腦不僅具有很強的容錯功能，還有聯(lián)想功能。擅長將不同領域的知識結合起來靈敏運用，擅長概括、類比和推理。例如，一個人能很快認出多年不見、容顏變化較大的老朋友。 6自

13、組織和自學習功能 人腦可以經(jīng)過內部自組織、自學習才干不斷順應外界環(huán)境，從而可以有效地處置各種模擬的、模糊的或隨機的問題。人工神經(jīng)元的構造 好像生物學上的根本神經(jīng)元，人工的神經(jīng)網(wǎng)絡也有根本的神經(jīng)元。人工神經(jīng)元是對生物神經(jīng)元的籠統(tǒng)與模擬。所謂籠統(tǒng)是從數(shù)學角度而言的，所謂模擬是從其構造和功能角度而言的。 從人腦神經(jīng)元的特性和功能可以知道，神經(jīng)元是一個多輸入單輸出的信息處置單元， 其模型如以下圖所示： 神經(jīng)元模型神經(jīng)元模型x1x2xny12n神經(jīng)元模型神經(jīng)元模型x1x2xny12nM-P模型模型 M-P模型屬于一種閾值元件模型，它模型屬于一種閾值元件模型，它是由美國心思學家是由美國心思學家Mc Cul

14、loch和數(shù)學家和數(shù)學家Pitts提出的最早提出的最早1943神經(jīng)元模型之一。神經(jīng)元模型之一。M-P模型是大多數(shù)神經(jīng)網(wǎng)絡模型的根底。模型是大多數(shù)神經(jīng)網(wǎng)絡模型的根底。 在如下圖的模型中，x1，x2，xn表示某一神經(jīng)元的n個輸入；i表示第i個輸入的銜接強度，稱為銜接權值；為神經(jīng)元的閾值；y為神經(jīng)元的輸出?？梢钥闯?，人工神經(jīng)元是一個具有多輸入，單輸出的非線性器件。 神經(jīng)元模型的輸入是 i xi (i=1,2,n) 輸出是 y=f()=f( i xi ) 其中f 稱之為神經(jīng)元功能函數(shù)作用函數(shù)，轉移函數(shù)，傳送函數(shù)，激活函數(shù)。注：可以令x0= -1，w0=，這樣將閾值作為權值來對待。神經(jīng)元模型神經(jīng)元模型x

15、1x2xny12n 常用的人工神經(jīng)元模型 功能函數(shù)f是表示神經(jīng)元輸入與輸出之間關系的函數(shù)，根據(jù)功能函數(shù)的不同，可以得到不同的神經(jīng)元模型。常用的神經(jīng)元模型有以下幾種。1閾值型Threshold 這種模型的神經(jīng)元沒有內部形狀，作用函數(shù)f是一個階躍函數(shù)，它表示激活值和其輸出f()之間的關系，如圖5-3所示。 f()10圖圖 5-3 閾值型神經(jīng)元的輸入輸出特性閾值型神經(jīng)元的輸入輸出特性 0001)(f 閾值型神經(jīng)元是一種最簡單的人工神經(jīng)元。這種二值型神經(jīng)元，其輸出形狀取值1或0，分別代表神經(jīng)元的興奮和抑制形狀。任一時辰，神經(jīng)元的形狀由功能函數(shù)f 來決議。 當激活值0時，即神經(jīng)元輸入的加權總和超越給定的

16、閾值時，該神經(jīng)元被激活，進入興奮形狀，其形狀f()為1； 否那么，當0時，即神經(jīng)元輸入的加權總和不超越給定的閾值時，該神經(jīng)元不被激活，其形狀f()為0。2分段線性強飽和型Linear Saturation 這種模型又稱為偽線性，其輸入輸出之間在一定范圍內滿足線性關系，不斷延續(xù)到輸出為最大值1為止。但當?shù)竭_最大值后，輸出就不再增大。如圖5-4所示。圖圖 5-4 分段線性飽和型神經(jīng)元的輸入輸出特性分段線性飽和型神經(jīng)元的輸入輸出特性 f()013S型Sigmoid 這是一種延續(xù)的神經(jīng)元模型，其輸出函數(shù)也是一個有最大輸出值的非線性函數(shù)，其輸出值是在某個范圍內延續(xù)取值的，輸入輸出特性常用S型函數(shù)表示。它

17、反映的是神經(jīng)元的飽和特性，如圖5-5所示。f()圖圖 5-5 S型神經(jīng)元的輸入輸出特性型神經(jīng)元的輸入輸出特性10ef11)(4子閾累積型Subthreshold Summation 這種類型的作用函數(shù)也是一個非線性函數(shù)，當產(chǎn)生的激活值超越T值時，該神經(jīng)元被激活產(chǎn)生一個反響。在線性范圍內，系統(tǒng)的反響是線性的，如圖56所示。f()T01圖圖5-6 子閾累積型神經(jīng)元的輸入輸出特性子閾累積型神經(jīng)元的輸入輸出特性,)(eeeef. 1)(1f 從生理學角度看，階躍函數(shù)閾值型最符合人腦神經(jīng)元的特點，現(xiàn)實上，人腦神經(jīng)元正是經(jīng)過電位的高低兩種形狀來反映該神經(jīng)元的興奮與抑制。然而，由于階躍函數(shù)不可微，因此，實踐

18、上更多運用的是與之相仿的Sigmoid函數(shù)。 人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡 人工神經(jīng)網(wǎng)絡是對人類神經(jīng)系統(tǒng)的一種模擬。雖然人工神經(jīng)網(wǎng)絡是對人類神經(jīng)系統(tǒng)的一種模擬。雖然人類神經(jīng)系統(tǒng)規(guī)模宏大、構造復雜、功能神奇，但其最人類神經(jīng)系統(tǒng)規(guī)模宏大、構造復雜、功能神奇，但其最根本的處置單元卻只需神經(jīng)元。人工神經(jīng)系統(tǒng)的功能實根本的處置單元卻只需神經(jīng)元。人工神經(jīng)系統(tǒng)的功能實踐上是經(jīng)過大量神經(jīng)元的廣泛互連，以規(guī)模宏偉的并行踐上是經(jīng)過大量神經(jīng)元的廣泛互連，以規(guī)模宏偉的并行運算來實現(xiàn)的。運算來實現(xiàn)的。 基于對人類生物系統(tǒng)的這一認識，人們也試圖經(jīng)過基于對人類生物系統(tǒng)的這一認識，人們也試圖經(jīng)過對人工神經(jīng)元的廣泛互連來模擬生物神

19、經(jīng)系統(tǒng)的構造和對人工神經(jīng)元的廣泛互連來模擬生物神經(jīng)系統(tǒng)的構造和功能。功能。人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡 人工神經(jīng)元之間經(jīng)過互連構成的網(wǎng)絡稱為人工人工神經(jīng)元之間經(jīng)過互連構成的網(wǎng)絡稱為人工神經(jīng)網(wǎng)絡。在人工神經(jīng)網(wǎng)絡中，神經(jīng)元之間互連的神經(jīng)網(wǎng)絡。在人工神經(jīng)網(wǎng)絡中，神經(jīng)元之間互連的方式稱為銜接方式或銜接模型。它不僅決議了神經(jīng)方式稱為銜接方式或銜接模型。它不僅決議了神經(jīng)元網(wǎng)絡的互連構造，同時也決議了神經(jīng)網(wǎng)絡的信號元網(wǎng)絡的互連構造，同時也決議了神經(jīng)網(wǎng)絡的信號處置方式。處置方式。人工神經(jīng)網(wǎng)絡的分類人工神經(jīng)網(wǎng)絡的分類目前，已有的人工神經(jīng)網(wǎng)絡模型至少有幾十種，其分類目前，已有的人工神經(jīng)網(wǎng)絡模型至少有幾十種，其分類方法

20、也有多種。例如方法也有多種。例如:1)按網(wǎng)絡拓撲構造可分為層次型構造和互連型構造按網(wǎng)絡拓撲構造可分為層次型構造和互連型構造 2)按信息流向可分為前饋型網(wǎng)絡與有反響型網(wǎng)絡；按信息流向可分為前饋型網(wǎng)絡與有反響型網(wǎng)絡；3) 按網(wǎng)絡的學習方法可分為有教師的學習網(wǎng)絡和無按網(wǎng)絡的學習方法可分為有教師的學習網(wǎng)絡和無教師的學習網(wǎng)絡；教師的學習網(wǎng)絡；4) 按網(wǎng)絡的性能可分為延續(xù)型網(wǎng)絡與離散型網(wǎng)絡，按網(wǎng)絡的性能可分為延續(xù)型網(wǎng)絡與離散型網(wǎng)絡，或分為確定性網(wǎng)絡與隨機型網(wǎng)絡；或分為確定性網(wǎng)絡與隨機型網(wǎng)絡； 神經(jīng)元的模型確定之后，一個神經(jīng)神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡的特性及才干主要取決于網(wǎng)絡網(wǎng)絡的特性及才干主要取決

21、于網(wǎng)絡的拓撲構造及學習方法的拓撲構造及學習方法人工神經(jīng)網(wǎng)絡的拓撲構造 建立人工神經(jīng)網(wǎng)絡的一個重要步驟是構造人工神經(jīng)網(wǎng)絡的拓撲構造，即確定人工神經(jīng)元之間的互連構造。根據(jù)神經(jīng)元之間銜接的拓撲構造，可將神經(jīng)網(wǎng)絡的互連構造分為層次型網(wǎng)絡和互連型網(wǎng)絡兩大類。層次型網(wǎng)絡構造又可根據(jù)層數(shù)的多少分為單層、兩層及多層網(wǎng)絡構造。x1x2xno1o2onwnmw11w1mw2mwn1輸出層輸出層輸入層輸入層 單層網(wǎng)絡構造有時也稱兩層網(wǎng)絡構造單層或兩層神經(jīng)網(wǎng)絡構造是早期神經(jīng)網(wǎng)絡模型的互連方式，這種互連方式是最簡單的層次構造。 1不允許屬于同一層次間的神經(jīng)元互連。 2允許同一層次間的神經(jīng)元互連，那么稱為帶側抑制的銜接或

22、橫向反響。 此外，在有些雙層神經(jīng)網(wǎng)絡中，還允許不同層之間有反響銜接。輸 出輸 出層層x1o1w11w1mx2o2w2mxnomwn1輸入層輸入層V 多層網(wǎng)絡構造 通常把三層和三層以上的神經(jīng)網(wǎng)絡構造稱為多層神經(jīng)網(wǎng)絡構造。一切神經(jīng)元按功能分為假設干層。普通有輸入層、隱層中間層和輸出層。輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xn 多層網(wǎng)絡構造 1輸入層節(jié)點上的神經(jīng)元接受外部環(huán)境的輸入方式，并由它傳送給相連隱層上的各個神經(jīng)元。2隱層是神經(jīng)元網(wǎng)絡的內部處置層，這些神經(jīng)元再在網(wǎng)絡內部構成中間層，由于它們不直接與外部輸入、輸出打交道，故稱隱層。人工神經(jīng)網(wǎng)絡所具有的方式變換才干主要表達在隱層

23、的神經(jīng)元上。 3輸出層用于產(chǎn)生神經(jīng)網(wǎng)絡的輸出方式。 較有代表性的多層網(wǎng)絡模型有：前向網(wǎng)絡模型、多層側抑制神經(jīng)網(wǎng)絡模型和帶有反響的多層神經(jīng)網(wǎng)絡模型等。 多層前向神經(jīng)網(wǎng)絡多層前向神經(jīng)網(wǎng)絡模型如圖5-8所示。輸入方式：由輸入層進入網(wǎng)絡，經(jīng)中間各層的順序變換，最后由輸出層產(chǎn)生一個輸出方式，便完成一次網(wǎng)絡更新。前向網(wǎng)絡的銜接方式不具有側抑制和反響的銜接方式。圖圖5-8 多層前向神經(jīng)網(wǎng)絡模型多層前向神經(jīng)網(wǎng)絡模型 多層側抑制神經(jīng)網(wǎng)同一層內有相互銜接的多層前向網(wǎng)絡，它允許網(wǎng)絡中同一層上的神經(jīng)元之間相互銜接，如圖5-9所示。這種銜接方式將構成同一層的神經(jīng)元彼此之間的牽制造用，可實現(xiàn)同一層上神經(jīng)元之間的橫向抑制或

24、興奮的機制。這樣可以用來限制同一層內能同時激活神經(jīng)元的個數(shù)，或者把每一層內的神經(jīng)元分成假設干組，讓每組作為一個整體來動作。圖圖5-9 多層側抑制神經(jīng)網(wǎng)絡多層側抑制神經(jīng)網(wǎng)絡 帶有反響的多層神經(jīng)網(wǎng)絡帶有反響的多層神經(jīng)網(wǎng)絡 這是一種允許輸出層這是一種允許輸出層-隱層，隱層中各層之間，隱層，隱層中各層之間，隱層隱層-輸入層之間具有反響銜接的方式，反響的結輸入層之間具有反響銜接的方式，反響的結果將構成封鎖環(huán)路。果將構成封鎖環(huán)路。x1o1輸出層輸出層隱藏層隱藏層輸入層輸入層x2o2omxn 帶有反響的多層神經(jīng)網(wǎng)絡帶有反響的多層神經(jīng)網(wǎng)絡 這種神經(jīng)網(wǎng)絡和前向多層神經(jīng)網(wǎng)絡不同。這種神經(jīng)網(wǎng)絡和前向多層神經(jīng)網(wǎng)絡不同

25、。多層前向神經(jīng)網(wǎng)絡屬于非循環(huán)銜接方式，它的每多層前向神經(jīng)網(wǎng)絡屬于非循環(huán)銜接方式，它的每個神經(jīng)元的輸入都沒有包含該神經(jīng)元先前的輸出，個神經(jīng)元的輸入都沒有包含該神經(jīng)元先前的輸出，因此可以說是沒有因此可以說是沒有“短期記憶的。但帶反響的多短期記憶的。但帶反響的多層神經(jīng)網(wǎng)絡那么不同，它的每個神經(jīng)元的輸入都層神經(jīng)網(wǎng)絡那么不同，它的每個神經(jīng)元的輸入都有能夠包含有該神經(jīng)元先前的輸出反響信息。因有能夠包含有該神經(jīng)元先前的輸出反響信息。因此，它的輸出要由當前的輸入和先前的輸出兩者此，它的輸出要由當前的輸入和先前的輸出兩者來決議，這有點類似于人類短期記憶的性質。來決議，這有點類似于人類短期記憶的性質。人工神經(jīng)網(wǎng)絡

26、的運轉普通分為學習和任人工神經(jīng)網(wǎng)絡的運轉普通分為學習和任務兩個階段。務兩個階段。人工神經(jīng)網(wǎng)絡學習人工神經(jīng)網(wǎng)絡學習 人工神經(jīng)網(wǎng)絡最具有吸引力的特點是它的學習才人工神經(jīng)網(wǎng)絡最具有吸引力的特點是它的學習才干。干。 人工神經(jīng)網(wǎng)絡學習和記憶的心思學根底人工神經(jīng)網(wǎng)絡學習和記憶的心思學根底 學習和記憶是人類智能的一個重要特征。有一種學習和記憶是人類智能的一個重要特征。有一種觀念以為，人類的學習過程實踐上是一種經(jīng)過訓練而觀念以為，人類的學習過程實踐上是一種經(jīng)過訓練而使個體在行為上產(chǎn)生較為耐久改動的過程。按照這種使個體在行為上產(chǎn)生較為耐久改動的過程。按照這種觀念，學習離不開訓練。觀念，學習離不開訓練。人工神經(jīng)網(wǎng)

27、絡學習人工神經(jīng)網(wǎng)絡學習 學習和記憶同樣也應該是人工神經(jīng)網(wǎng)學習和記憶同樣也應該是人工神經(jīng)網(wǎng)絡的一個重要特征。絡的一個重要特征。 人工神經(jīng)網(wǎng)絡的學習過程就是它的訓練人工神經(jīng)網(wǎng)絡的學習過程就是它的訓練過程。人工神經(jīng)網(wǎng)絡的功能特性由其銜接的拓過程。人工神經(jīng)網(wǎng)絡的功能特性由其銜接的拓撲構造和突觸銜接強度即銜接權值來確定。撲構造和突觸銜接強度即銜接權值來確定。神經(jīng)網(wǎng)絡訓練的本質是經(jīng)過對樣本集的輸入神經(jīng)網(wǎng)絡訓練的本質是經(jīng)過對樣本集的輸入/輸輸出方式反復作用于網(wǎng)絡，網(wǎng)絡按照一定的學習出方式反復作用于網(wǎng)絡，網(wǎng)絡按照一定的學習算法自動調理神經(jīng)元之間的銜接強度閾值算法自動調理神經(jīng)元之間的銜接強度閾值或拓撲構造，當網(wǎng)

28、絡的實踐輸出滿足期望要求，或拓撲構造，當網(wǎng)絡的實踐輸出滿足期望要求，或者趨于穩(wěn)定時，那么以為學習圓滿終了?；蛘呲呌诜€(wěn)定時，那么以為學習圓滿終了?，F(xiàn)以人工神經(jīng)網(wǎng)絡對手寫現(xiàn)以人工神經(jīng)網(wǎng)絡對手寫“A、“B兩個字母的辨以為例進展闡明，規(guī)定當兩個字母的辨以為例進展闡明，規(guī)定當“A輸入網(wǎng)絡時，應該輸出輸入網(wǎng)絡時，應該輸出“1，而當輸入為，而當輸入為“B時，輸出為時，輸出為“0。網(wǎng)絡學習的準那么應該是：假設網(wǎng)絡作出錯誤的的判決，那么經(jīng)過網(wǎng)絡的學網(wǎng)絡學習的準那么應該是：假設網(wǎng)絡作出錯誤的的判決，那么經(jīng)過網(wǎng)絡的學習，應使得網(wǎng)絡減少下次犯同樣錯誤的能夠性。首先，給網(wǎng)絡的各銜接權值習，應使得網(wǎng)絡減少下次犯同樣錯誤的

29、能夠性。首先，給網(wǎng)絡的各銜接權值賦予賦予(0，1)區(qū)間內的隨機值，將區(qū)間內的隨機值，將“A所對應的圖象方式輸入給網(wǎng)絡，網(wǎng)絡將所對應的圖象方式輸入給網(wǎng)絡，網(wǎng)絡將輸入方式加權求和、與門限比較、再進展非線性運算，得到網(wǎng)絡的輸出。在輸入方式加權求和、與門限比較、再進展非線性運算，得到網(wǎng)絡的輸出。在此情況下，網(wǎng)絡輸出為此情況下，網(wǎng)絡輸出為“1和和“0的概率各為的概率各為50%，也就是說是完全隨機的。，也就是說是完全隨機的。這時假設輸出為這時假設輸出為“1(結果正確結果正確)，那么使銜接權值增大，以便使網(wǎng)絡再次遇到，那么使銜接權值增大，以便使網(wǎng)絡再次遇到“A方式輸入時，依然能作出正確的判別。方式輸入時，依

30、然能作出正確的判別。假設輸出為假設輸出為“0(即結果錯誤即結果錯誤)，那么把網(wǎng)絡銜接權值朝著減小綜合輸入加權值，那么把網(wǎng)絡銜接權值朝著減小綜合輸入加權值的方向調整，其目的在于使網(wǎng)絡下次再遇到的方向調整，其目的在于使網(wǎng)絡下次再遇到“A方式輸入時，減小犯同樣錯方式輸入時，減小犯同樣錯誤的能夠性。如此操作調整，當給網(wǎng)絡輪番輸入假設干個手寫字母誤的能夠性。如此操作調整，當給網(wǎng)絡輪番輸入假設干個手寫字母“A、“B后，經(jīng)過網(wǎng)絡按以上學習方法進展假設干次學習后，網(wǎng)絡判別的正確率將后，經(jīng)過網(wǎng)絡按以上學習方法進展假設干次學習后，網(wǎng)絡判別的正確率將大大提高。這闡明網(wǎng)絡對這兩個方式的學習曾經(jīng)獲得了勝利，它已將這兩個

31、大大提高。這闡明網(wǎng)絡對這兩個方式的學習曾經(jīng)獲得了勝利，它已將這兩個方式分布地記憶在網(wǎng)絡的各個銜接權值上。當網(wǎng)絡再次遇到其中任何一個方方式分布地記憶在網(wǎng)絡的各個銜接權值上。當網(wǎng)絡再次遇到其中任何一個方式時，可以作出迅速、準確的判別和識別。普通說來，網(wǎng)絡中所含的神經(jīng)元式時，可以作出迅速、準確的判別和識別。普通說來，網(wǎng)絡中所含的神經(jīng)元個數(shù)越多，那么它能記憶、識別的方式也就越多。個數(shù)越多，那么它能記憶、識別的方式也就越多。 人工神經(jīng)網(wǎng)絡的學習算法人工神經(jīng)網(wǎng)絡的學習算法學習算法是人工神經(jīng)網(wǎng)絡研討中的中心問題學習算法是人工神經(jīng)網(wǎng)絡研討中的中心問題 神經(jīng)網(wǎng)絡學習算法有很多，大體可分為有導師神經(jīng)網(wǎng)絡學習算法有

32、很多，大體可分為有導師學習學習Supervised Learning、和無導師學習、和無導師學習Unsupervised Learning兩大類，另外還有一類死兩大類，另外還有一類死記式學習。記式學習。 有導師學習普通需求事先搜集樣本數(shù)據(jù)。將數(shù)據(jù)分為訓有導師學習普通需求事先搜集樣本數(shù)據(jù)。將數(shù)據(jù)分為訓練集和檢驗集兩部分，以保證所訓練出的神經(jīng)網(wǎng)絡同時具有練集和檢驗集兩部分，以保證所訓練出的神經(jīng)網(wǎng)絡同時具有擬合精度和泛化才干。擬合精度和泛化才干。 神經(jīng)網(wǎng)絡的學習規(guī)那么神經(jīng)網(wǎng)絡的學習規(guī)那么 日本著名神經(jīng)網(wǎng)絡學者日本著名神經(jīng)網(wǎng)絡學者Amari 于于1990年提出一種年提出一種神經(jīng)網(wǎng)絡權值訓練的通用學習規(guī)

33、那么。神經(jīng)網(wǎng)絡權值訓練的通用學習規(guī)那么。 是一正的常是一正的常量，其值決議了學習的速率，也稱為學習率或學習因子；量，其值決議了學習的速率，也稱為學習率或學習因子； t時辰權值的調整量與時辰權值的調整量與t時辰的輸入量和學習信號時辰的輸入量和學習信號r的乘積的乘積成正比。成正比。 Hebb型學習Hebb型學習Hebbian Learning的出發(fā)點是 Hebb學習規(guī)那么 假設神經(jīng)網(wǎng)絡中某一神經(jīng)元同另不斷接與它銜接的神經(jīng)元同時處于興奮形狀，那么這兩個神經(jīng)元之間的銜接強度將得到加強。 Hebb型學習Hebb學習方式可用如下公式表示： ij(t+1)= ij(t) +xi(t)xj(t) 其中，ijt

34、1表示對時辰t的權值修正一次后的新的權值； xi(t)、xj(t)分別表示t時辰神經(jīng)元i輸入和神經(jīng)元j輸出的形狀。 上式闡明，權值的調整量與輸入輸出的乘積成正比。此時的學習信號即輸出信號。 這是一種純前饋、無導師學習。 該規(guī)那么至今仍在各種神經(jīng)網(wǎng)絡模型中起著重要作用。 誤差修正學習規(guī)那么也稱感知器學習規(guī)那么 誤差修正學習ErrorCorrection Learning是一種有導師的學習過程，其根本思想是利用神經(jīng)網(wǎng)絡的期望輸出與實踐之間的偏向作為銜接權值調整的參考，并最終減少這種偏向。 最根本的誤差修正規(guī)那么規(guī)定：銜接權值的變化與神經(jīng)元希望輸出和實踐輸出之差成正比。 誤差修正學習規(guī)那么也稱感知器

35、學習規(guī)那么 該規(guī)那么的銜接權的計算公式為： ij(t+1)= ij (t)+dj(t)-yj(t)xi(t)其中， ij (t) 表示時辰t的權值； ij (t+1) 表示對時辰t的權值修正一次后的新的權值； dj(t)為時辰 t神經(jīng)元 j的希望輸出，yj(t)為與 i 直接銜接的另一神經(jīng)元j在時辰t的實踐輸出；dj(t)-yj(t)表示時辰t神經(jīng)元j的輸出誤差。 Delta學習規(guī)那么 學習規(guī)那么很容易從輸出值與希望值的最小平方誤差導出來。 感知器是美國心思學家羅森勃拉特于1958年為研討大腦的存儲、學習和認知過程而提出的一類具有自學習才干的神經(jīng)網(wǎng)絡模型。 最初的感知器只需一個神經(jīng)元，實踐上依

36、然是M-P模型的構造，但是它與M-P模型的區(qū)別在于神經(jīng)元之間銜接權的變化。經(jīng)過采用監(jiān)視學習來逐漸加強方式劃分的才干，到達所謂學習的目的。 感知器研討中初次提出 了自組織、自學習的概念，對神經(jīng)網(wǎng)絡的研討起到重要的推進作用， 是研討其他網(wǎng)絡的根底。感知器模型 感知器是一種具有分層構造的前向網(wǎng)絡模型，它可分為單層、兩層及多層構造。 感知器中的神經(jīng)網(wǎng)絡是線性閾值單元。當輸入信息的加權和大于或等于閾值時，輸出為1，否那么輸出為0或-1。 神經(jīng)元之間的銜接權i是可變的，這種可變性就保證了感知器具有學習的才干。誤差反向傳播誤差反向傳播Error Back Propagation ：美國：美國加州大學的魯梅爾

37、哈特加州大學的魯梅爾哈特Rumelhart和麥克萊蘭和麥克萊蘭(Meclelland) 等學者繼續(xù)深化研討了感知器模型，等學者繼續(xù)深化研討了感知器模型，他們抓住信息處置中的并行性和分布性這兩個本質他們抓住信息處置中的并行性和分布性這兩個本質概念，概念，1985年提出了一個神經(jīng)網(wǎng)絡反向傳播模型，年提出了一個神經(jīng)網(wǎng)絡反向傳播模型，簡稱為簡稱為B-P模型，這個模型既實現(xiàn)了明斯基模型，這個模型既實現(xiàn)了明斯基Minsky所提出的多層網(wǎng)絡的想象，又突破了感知所提出的多層網(wǎng)絡的想象，又突破了感知器的一些局限性。器的一些局限性。 BP模型利用輸出后的誤差來估計輸出層的直接前導層的誤差模型利用輸出后的誤差來估計

38、輸出層的直接前導層的誤差，再利用這個誤差估計更前一層的誤差。如此下去，獲得一，再利用這個誤差估計更前一層的誤差。如此下去，獲得一切其他各層的誤差估計。構成將輸出表現(xiàn)出來的誤差沿著與切其他各層的誤差估計。構成將輸出表現(xiàn)出來的誤差沿著與輸入信號傳送相反的方向逐級向網(wǎng)絡的輸入端傳送的過程，輸入信號傳送相反的方向逐級向網(wǎng)絡的輸入端傳送的過程，因此稱為后向傳播因此稱為后向傳播B-P算法。算法。BP模型不僅有輸人層節(jié)點、輸出層節(jié)點，而且有一層或多層隱含節(jié)點。層與層之間多采用全互連方式，但同一層的節(jié)點之間不存在相互銜接。 B-P網(wǎng)絡的學習過程是由正向傳播和誤差反向傳播組成網(wǎng)絡的學習過程是由正向傳播和誤差反向

39、傳播組成的。的。 當給定網(wǎng)絡一組輸入方式時，當給定網(wǎng)絡一組輸入方式時，B-P網(wǎng)絡將依次對這組輸網(wǎng)絡將依次對這組輸入方式中的每個輸入方式按如下方式進展學習：把輸入入方式中的每個輸入方式按如下方式進展學習：把輸入方式從輸入層傳到隱含層單元，經(jīng)隱含層單元逐層處置方式從輸入層傳到隱含層單元，經(jīng)隱含層單元逐層處置后，產(chǎn)生一個輸出方式傳至輸出層，這一過程稱為正向后，產(chǎn)生一個輸出方式傳至輸出層，這一過程稱為正向傳播。傳播。 假設經(jīng)正向傳播在輸出層沒有得到所期望的輸出方式，假設經(jīng)正向傳播在輸出層沒有得到所期望的輸出方式，那么轉為誤差反向傳播過程，即把誤差信號沿原銜接途那么轉為誤差反向傳播過程，即把誤差信號沿原

40、銜接途徑前往，并經(jīng)過修正各層神經(jīng)元的銜接權值，使誤差信徑前往，并經(jīng)過修正各層神經(jīng)元的銜接權值，使誤差信號為最小。號為最小。 反復正向傳播和反向傳播過程，直至得到所期望的輸出反復正向傳播和反向傳播過程，直至得到所期望的輸出方式為止。方式為止。 BPBP網(wǎng)絡除了在多層網(wǎng)絡上與單層感知器不同外，其網(wǎng)絡除了在多層網(wǎng)絡上與單層感知器不同外，其主要差別也表如今激活函數(shù)上。主要差別也表如今激活函數(shù)上。 BPBP網(wǎng)絡的激活函數(shù)必需是處處可微的，因此它不能網(wǎng)絡的激活函數(shù)必需是處處可微的，因此它不能采用二值型的閥值函數(shù)采用二值型的閥值函數(shù)00，11或符號函數(shù)或符號函數(shù) 1 1，11 BPBP網(wǎng)絡經(jīng)常運用的是網(wǎng)絡經(jīng)

41、常運用的是S S型的對數(shù)或正切激活函數(shù)和型的對數(shù)或正切激活函數(shù)和線性函數(shù)線性函數(shù) B-P網(wǎng)絡的學習算法：網(wǎng)絡的學習算法：1初始化網(wǎng)絡及學習參數(shù)，即將隱含層和輸出層各節(jié)點初始化網(wǎng)絡及學習參數(shù)，即將隱含層和輸出層各節(jié)點的銜接權值、神經(jīng)元閾值賦予的銜接權值、神經(jīng)元閾值賦予1，1區(qū)間的一個隨機數(shù)。區(qū)間的一個隨機數(shù)。 2提供訓練樣本，即從訓練樣本集合中選出一個訓練樣提供訓練樣本，即從訓練樣本集合中選出一個訓練樣本，將其輸入和期望輸出送入網(wǎng)絡。本，將其輸入和期望輸出送入網(wǎng)絡。3正向傳播過程，即對給定的輸入，從第一隱含層開場，正向傳播過程，即對給定的輸入，從第一隱含層開場，計算網(wǎng)絡的輸出，并把得到的輸出與期

42、望輸出比較，假設有誤差，計算網(wǎng)絡的輸出，并把得到的輸出與期望輸出比較，假設有誤差，那么執(zhí)行第那么執(zhí)行第4步；否那么，前往第步；否那么，前往第2步，提供下一個訓練步，提供下一個訓練方式；方式；4反向傳播過程，即從輸出層反向計算到第一隱含層，反向傳播過程，即從輸出層反向計算到第一隱含層，逐層修正各單元的銜接權值。逐層修正各單元的銜接權值。5前往第前往第2步，對訓練樣本集中的每一個訓練樣本反復第步，對訓練樣本集中的每一個訓練樣本反復第2到第到第3步，直到訓練樣本集中的每一個樣本都滿足期望步，直到訓練樣本集中的每一個樣本都滿足期望輸出為止。輸出為止。函函 數(shù)數(shù) 名名功功 能能newff()生成一個前饋

43、生成一個前饋BP網(wǎng)絡網(wǎng)絡tansig()雙曲正切雙曲正切S型型(Tan-Sigmoid)傳輸函數(shù)傳輸函數(shù)logsig()對數(shù)對數(shù)S型型(Log-Sigmoid)傳輸函數(shù)傳輸函數(shù)traingd()梯度下降梯度下降BP訓練函數(shù)訓練函數(shù) MATLAB中中BP神經(jīng)網(wǎng)絡的重要函數(shù)和神經(jīng)網(wǎng)絡的重要函數(shù)和根本功能根本功能 newff() 功能功能 建立一個前向建立一個前向BP網(wǎng)絡網(wǎng)絡 格式格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF) 闡明闡明 net為創(chuàng)建的新為創(chuàng)建的新BP神經(jīng)網(wǎng)絡；神經(jīng)網(wǎng)絡；PR為網(wǎng)絡輸入取向量取值范圍的矩陣；為網(wǎng)絡輸入取向量取值

44、范圍的矩陣；S1 S2SNl表示網(wǎng)絡隱含層和輸出表示網(wǎng)絡隱含層和輸出層神經(jīng)元的個數(shù)；層神經(jīng)元的個數(shù)；TFl TF2TFN1表表示網(wǎng)絡隱含層和輸出層的傳輸函數(shù)，示網(wǎng)絡隱含層和輸出層的傳輸函數(shù)，默以為默以為tansig；BTF表示網(wǎng)絡的訓練表示網(wǎng)絡的訓練函數(shù)，默以為函數(shù)，默以為trainlm；BLF表示網(wǎng)絡表示網(wǎng)絡的權值學習函數(shù)，默以為的權值學習函數(shù)，默以為learngdm；PF表示性能數(shù)，默以為表示性能數(shù)，默以為mse。 MATLAB中中BP神經(jīng)網(wǎng)絡的重要函數(shù)和根本功能神經(jīng)網(wǎng)絡的重要函數(shù)和根本功能 tansig() 功能功能 正切正切sigmoid激活函數(shù)激活函數(shù) 格式格式 a = tansig

45、(n) 闡明闡明 雙曲正切雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到映射到(-1，1)。它是可導函數(shù)，適用于。它是可導函數(shù)，適用于BP訓練的神經(jīng)訓練的神經(jīng)元。元。 logsig() 功能功能 對數(shù)對數(shù)Sigmoid激活函數(shù)激活函數(shù) 格式格式 a = logsig(N) 闡明闡明 對數(shù)對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從函數(shù)把神經(jīng)元的輸入范圍從(-，+)映映射到射到(0，1)。它是可導函數(shù)，適用于。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。訓練的神經(jīng)元。net.trainParam.epochs：最大訓練步數(shù)。不過當誤差準那么：最大訓練步數(shù)。不過當誤

46、差準那么滿足時，即使沒到達此步數(shù)也停頓訓練。缺省為滿足時，即使沒到達此步數(shù)也停頓訓練。缺省為100。net.trainParam.goad：網(wǎng)絡誤差準那么，當誤差小于此準那：網(wǎng)絡誤差準那么，當誤差小于此準那么時停頓訓練，缺省為么時停頓訓練，缺省為0。net.trainFcn：訓練算法。缺省為：訓練算法。缺省為 trainlm，即，即Levenberg-Marquardt算法。還可運用算法。還可運用traingdx，即帶動量的梯度下降，即帶動量的梯度下降算法；算法；traincgf，即共軛梯度法。，即共軛梯度法。其它可看其它可看matlab協(xié)助協(xié)助:help-contents- Neural N

47、etwork Toobox- Network Object Reference;help(net.trainFcn)月份月份123456銷量銷量205623952930229816341600月份月份789101112銷量銷量187314781900150020461556 %以每三個月的銷售量經(jīng)歸一化處置后作為輸入以每三個月的銷售量經(jīng)歸一化處置后作為輸入 P=0.51520.8173 1.0000 ; 0.8173 1.0000 0.7308; 1.00000.7308 0.0; 0.73080.00.1087; 0.00.1087 0.3520; 0.10870.3520 0.1065; ; %以第四個月的銷售量歸一化處置后作為目的向量以第四個月的銷售量歸一化處置后作為目的向量 T=0.7308 0.0 0.1087 0.3520 0.1065 0.3761; %創(chuàng)建一個創(chuàng)建一個BP神經(jīng)網(wǎng)絡，每一個輸入向量的取值范圍為神經(jīng)網(wǎng)絡，每一個輸入向量的取值范圍為0 ,1,隱含層隱含層有有5個神經(jīng)個神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為元，輸出層有一個神經(jīng)元，隱含層