神經網絡基本原理-培訓課件

人工神經網絡（ANN，ArtificialNeuralNetwork）也簡稱為神經網絡（NN），是由大量的簡單處理單元經廣泛并行互連形成的一種網絡系統(tǒng)。它是對人腦系統(tǒng)的簡化、抽象和模擬，具有人腦功能的許多基本特征。

目前，人工神經網絡已成為許多高科技領域的一個熱門話題。在人工智能領域，它已實際應用于決策支持、模式識別、專家系統(tǒng)、機器學習等許多方面。7/23/20231神經網絡基本原理

由于神經網絡是多學科交叉的產物，各個相關的學科領域對神經網絡都有各自的看法，因此，關于神經網絡的定義，在科學界存在許多不同的見解。目前使用得較廣泛的是T.Koholen（芬蘭赫爾辛基技術大學）的定義，即"神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能夠模擬生物神經系統(tǒng)對真實世界物體所作出的交互反應。"

7/23/20232神經網絡基本原理

人腦的基本組成是腦神經細胞，大量腦神經細胞相互聯接組成人的大腦神經網絡，完成各種大腦功能。而人工神經網絡則是由大量的人工神經細胞（神經元）經廣泛互連形成的人工網絡，以此模擬人類神經系統(tǒng)的結構和功能。

了解人腦神經網絡的組成和原理，有助于對人工神經網絡的理解。7/23/20233神經網絡基本原理人工神經網絡概述人體神經結構與特征雖然神經元的形態(tài)各不相同，但是都由細胞體和突起兩大部分組成，而突起又分樹突和軸突。7/23/20234神經網絡基本原理軸突是由細胞體向外延伸出的所有纖維中最長的一條分枝，用來向外傳遞神經元產生的輸出信號。每個神經元只發(fā)出一條軸突，短的僅幾個微米，其最大長度可達1m以上。7/23/20235神經網絡基本原理突觸，在軸突的末端形成了許多很細的分枝，這些分枝叫神經末梢。每一條神經末梢可以與其他神經元形成功能性接觸，該接觸部位稱為突觸。每個神經元大約有103～105個突觸，換句話說，每個神經元大約與103～105個其它神經元有連接，正是因為這些突觸才使得全部大腦神經元形成一個復雜的網絡結構。所謂功能性接觸，突觸的信息傳遞特性可變，因此細胞之間的連接強度可變，這是一種柔性連接，也稱為神經元結構的可塑性，這正是神經元之間傳遞信息的奧秘之一。7/23/20236神經網絡基本原理樹突是指由細胞體向外延伸的除軸突以外的其他所有分支。不同的神經元其樹突的數量也不同，長度較短，但數量很多，它是神經元的輸入端，用于接受從其他神經元的突觸傳來的信號。細胞體是神經元的主體，胞體和樹突表面是接受的其他神經元傳來的信號的主要部位。7/23/20237神經網絡基本原理 神經元中的細胞體相當于一個初等處理器，它對來自其他各個神經元的信號進行總體求和，并產生一個神經輸出信號。由于細胞膜將細胞體內外分開，因此，在細胞體的內外具有不同的電位，通常是內部電位比外部電位低。細胞膜內外的電位之差被稱為膜電位。在無信號輸入時的膜電位稱為靜止膜電位。當一個神經元的所有輸入總效應達到某個閾值電位時，該細胞變?yōu)榛钚约毎せ睿?，其膜電位將自發(fā)地急劇升高產生一個電脈沖。這個電脈沖又會從細胞體出發(fā)沿軸突到達神經末梢，并經與其他神經元連接的突觸，將這一電脈沖傳給相應的神經元。7/23/20238神經網絡基本原理生物神經元的功能與特征 根據神經生理學的研究，生物神經元具有如下重要功能與特性。（1）時空整合功能

神經元對不同時間通過同一突觸傳入的神經沖動，具有時間整合功能。對于同一時間通過不同突觸傳入的神經沖動，具有空間整合功能。兩種功能相互結合，使生物神經元對由突觸傳入的神經沖動具有時空整合的功能。

（2）興奮與抑制狀態(tài)

神經元具有興奮和抑制兩種常規(guī)的工作狀態(tài)。當傳入沖動的時空整合結果使細胞膜電位升高，超過動作電位的閾值時，細胞進入興奮狀態(tài)，產生神經沖動。相反，當傳入沖動的時空整合結果使細胞膜電位低于動作電位閾值時，細胞進入抑制狀態(tài)，無神經沖動輸出。

7/23/20239神經網絡基本原理 （3）脈沖與電位轉換

突觸界面具有脈沖/電位信號轉化功能。沿神經纖維傳遞的信號為離散的電脈沖信號，而細胞膜電位的變化為連續(xù)的電位信號。這種在突觸接口處進行的“數/?！鞭D換，是通過神經介質以量子化學方式實現的如下過程：電脈沖→神經化學物質→膜電位 （4）神經纖維傳導速率

神經沖動沿神經纖維傳導的速度在1m/s～150m/s之間。其速度差異與纖維的粗細、髓鞘(包繞在神經元的軸突外部的物質，起絕緣作用

)的有無有關。一般來說，有髓鞘的纖維，其傳導速度在100m／s以上，無髓鞘的纖維，其傳導速度可低至每秒數米。7/23/202310神經網絡基本原理人腦神經系統(tǒng)的結構與特征

（1）記憶和存儲功能

人腦神經系統(tǒng)的記憶和處理功能是有機地結合在一起的。神經元既有存儲功能，又有處理功能，它在進行回憶時不僅不需要先找到存儲地址再調出所存內容，而且還可以由一部分內容恢復全部內容。尤其是當一部分神經元受到損壞（例如腦部受傷等）時，它只會丟失損壞最嚴重部分的那些信息，而不會丟失全部存儲信息。7/23/202311神經網絡基本原理人腦神經系統(tǒng)的結構與特征

（2）高度并行性

人腦大約有1011～1012個神經元，每個神經元又有103～105個突觸，即每個神經元都可以和其他103～105個神經元相連，這就提供了非常巨大的存儲容量和并行度。例如，人可以非常迅速地識別出一幅十分復雜的圖像。

7/23/202312神經網絡基本原理

（3）分布式功能

人們通過對腦損壞病人所做的神經心理學研究，沒有發(fā)現大腦中的哪一部分可以決定其余所有各部分的活動，也沒有發(fā)現在大腦中存在有用于驅動和管理整個智能處理過程的任何中央控制部分。人類大腦的各個部分是協(xié)同工作、相互影響的，并沒有哪一部分神經元能對智能活動的整個過程負有特別重要的責任?？梢姡诖竽X中，不僅知識的存儲是分散的，而且其控制和決策也是分散的。因此，大腦是一種分布式系統(tǒng)。7/23/202313神經網絡基本原理

（4）容錯功能

容錯性是指根據不完全的、有錯誤的信息仍能做出正確、完整結論的能力。大腦的容錯性是非常強的。例如，我們往往能夠僅由某個人的一雙眼睛、一個背影、一個動作或一句話的音調，就能辨認出來這個人是誰。7/23/202314神經網絡基本原理

（5）聯想功能

人腦不僅具有很強的容錯功能，還有聯想功能。善于將不同領域的知識結合起來靈活運用，善于概括、類比和推理。例如，一個人能很快認出多年不見、面貌變化較大的老朋友。

（6）自組織和自學習功能

人腦能夠通過內部自組織、自學習能力不斷適應外界環(huán)境，從而可以有效地處理各種模擬的、模糊的或隨機的問題。7/23/202315神經網絡基本原理人工神經元及人工神經網絡

人工神經元的結構

如同生物學上的基本神經元，人工的神經網絡也有基本的神經元。人工神經元是對生物神經元的抽象與模擬。所謂抽象是從數學角度而言的，所謂模擬是從其結構和功能角度而言的。

從人腦神經元的特性和功能可以知道，神經元是一個多輸入單輸出的信息處理單元，其模型如下圖所示：神經元模型θx1x2xnyω1ω2ωn7/23/202316神經網絡基本原理人工神經元及人工神經網絡神經元模型θx1x2xnyω1ω2ωn7/23/202317神經網絡基本原理人工神經元及人工神經網絡M-P模型M-P模型屬于一種閾值元件模型，它是由美國心理學家McCulloch和數學家Pitts提出的最早（1943）神經元模型之一。M-P模型是大多數神經網絡模型的基礎。7/23/202318神經網絡基本原理

在如圖所示的模型中，x1，x2，…，xn表示某一神經元的n個輸入；ωi表示第i個輸入的連接強度，稱為連接權值；θ為神經元的閾值；y為神經元的輸出。可以看出，人工神經元是一個具有多輸入，單輸出的非線性器件。

神經元模型的輸入是

∑ωi*xi(i=1,2,……,n)

輸出是

y=f(σ)=f(∑ωi*xi–

θ)

其中f稱之為神經元功能函數（作用函數，轉移函數，傳遞函數，激活函數）。注：可以令X0=-1，w0=θ，這樣將閾值作為權值來看待。神經元模型θx1x2xnyω1ω2ωn7/23/202319神經網絡基本原理常用的人工神經元模型

功能函數f是表示神經元輸入與輸出之間關系的函數，根據功能函數的不同，可以得到不同的神經元模型。常用的神經元模型有以下幾種。 （1）閾值型（Threshold）

這種模型的神經元沒有內部狀態(tài)，作用函數f是一個階躍函數，它表示激活值σ和其輸出f(σ

）之間的關系，如圖5-3所示。σf(σ)10圖5-3閾值型神經元的輸入／輸出特性

7/23/202320神經網絡基本原理 閾值型神經元是一種最簡單的人工神經元。這種二值型神經元，其輸出狀態(tài)取值1或0，分別代表神經元的興奮和抑制狀態(tài)。任一時刻，神經元的狀態(tài)由功能函數f來決定。 當激活值σ＞0時，即神經元輸入的加權總和超過給定的閾值時，該神經元被激活，進入興奮狀態(tài)，其狀態(tài)f(σ)為1； 否則，當σ＜0時，即神經元輸入的加權總和不超過給定的閾值時，該神經元不被激活，其狀態(tài)f(σ)為0。7/23/202321神經網絡基本原理

（2）分段線性強飽和型（LinearSaturation）這種模型又稱為偽線性，其輸入／輸出之間在一定范圍內滿足線性關系，一直延續(xù)到輸出為最大值1為止。但當達到最大值后，輸出就不再增大。如圖5-4所示。圖5-4分段線性飽和型神經元的輸入／輸出特性

f(σ)σ017/23/202322神經網絡基本原理 （3）S型（Sigmoid）

這是一種連續(xù)的神經元模型，其輸出函數也是一個有最大輸出值的非線性函數，其輸出值是在某個范圍內連續(xù)取值的，輸入輸出特性常用S型函數表示。它反映的是神經元的飽和特性，如圖5-5所示。σf(σ)圖5-5S型神經元的輸入／輸出特性107/23/202323神經網絡基本原理

（4）子閾累積型（SubthresholdSummation）

這種類型的作用函數也是一個非線性函數，當產生的激活值超過T值時，該神經元被激活產生一個反響。在線性范圍內，系統(tǒng)的反響是線性的，如圖5－6所示。σf(σ)T01圖5-6子閾累積型神經元的輸入／輸出特性7/23/202324神經網絡基本原理

從生理學角度看，階躍函數（閾值型）最符合人腦神經元的特點，事實上，人腦神經元正是通過電位的高低兩種狀態(tài)來反映該神經元的興奮與抑制。然而，由于階躍函數不可微，因此，實際上更多使用的是與之相仿的Sigmoid函數。7/23/202325神經網絡基本原理人工神經網絡

人工神經網絡是對人類神經系統(tǒng)的一種模擬。盡管人類神經系統(tǒng)規(guī)模宏大、結構復雜、功能神奇，但其最基本的處理單元卻只有神經元。人工神經系統(tǒng)的功能實際上是通過大量神經元的廣泛互連，以規(guī)模宏偉的并行運算來實現的。

基于對人類生物系統(tǒng)的這一認識，人們也試圖通過對人工神經元的廣泛互連來模擬生物神經系統(tǒng)的結構和功能。7/23/202326神經網絡基本原理人工神經網絡

人工神經元之間通過互連形成的網絡稱為人工神經網絡。在人工神經網絡中，神經元之間互連的方式稱為連接模式或連接模型。它不僅決定了神經元網絡的互連結構，同時也決定了神經網絡的信號處理方式。7/23/202327神經網絡基本原理人工神經網絡的分類

目前，已有的人工神經網絡模型至少有幾十種，其分類方法也有多種。例如: 1)按網絡拓撲結構可分為層次型結構和互連型結構

2)按信息流向可分為前饋型網絡與有反饋型網絡；

3)按網絡的學習方法可分為有教師的學習網絡和無教師的學習網絡；

4)按網絡的性能可分為連續(xù)型網絡與離散型網絡，或分為確定性網絡與隨機型網絡；7/23/202328神經網絡基本原理神經元的模型確定之后，一個神經網絡的特性及能力主要取決于網絡的拓撲結構及學習方法7/23/202329神經網絡基本原理人工神經網絡的互連結構及其學習機理人工神經網絡的拓撲結構

建立人工神經網絡的一個重要步驟是構造人工神經網絡的拓撲結構，即確定人工神經元之間的互連結構。根據神經元之間連接的拓撲結構，可將神經網絡的互連結構分為層次型網絡和互連型網絡兩大類。層次型網絡結構又可根據層數的多少分為單層、兩層及多層網絡結構。7/23/202330神經網絡基本原理人工神經網絡的互連結構及其學習機理簡單單級網……x1x2…xno1o2onwnmw11w1mw2mwn1輸出層輸入層 7/23/202331神經網絡基本原理單層網絡結構有時也稱兩層網絡結構

單層或兩層神經網絡結構是早期神經網絡模型的互連模式，這種互連模式是最簡單的層次結構。1）不允許屬于同一層次間的神經元互連。2）允許同一層次間的神經元互連，則稱為帶側抑制的連接（或橫向反饋）。此外，在有些雙層神經網絡中，還允許不同層之間有反饋連接。輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V7/23/202332神經網絡基本原理多層網絡結構

通常把三層和三層以上的神經網絡結構稱為多層神經網絡結構。所有神經元按功能分為若干層。一般有輸入層、隱層（中間層）和輸出層。輸出層隱藏層輸入層o1o2om…x1x2xn………………7/23/202333神經網絡基本原理多層網絡結構

1）輸入層節(jié)點上的神經元接受外部環(huán)境的輸入模式，并由它傳遞給相連隱層上的各個神經元。

2）隱層是神經元網絡的內部處理層，這些神經元再在網絡內部構成中間層，由于它們不直接與外部輸入、輸出打交道，故稱隱層。人工神經網絡所具有的模式變換能力主要體現在隱層的神經元上。

3）輸出層用于產生神經網絡的輸出模式。

較有代表性的多層網絡模型有：前向網絡模型、多層側抑制神經網絡模型和帶有反饋的多層神經網絡模型等。

7/23/202334神經網絡基本原理多層前向神經網絡

多層前向神經網絡模型如圖5-8所示。輸入模式：由輸入層進入網絡，經中間各層的順序變換，最后由輸出層產生一個輸出模式，便完成一次網絡更新。

前向網絡的連接模式不具有側抑制和反饋的連接方式?！瓐D5-8多層前向神經網絡模型7/23/202335神經網絡基本原理多層側抑制神經網 同一層內有相互連接的多層前向網絡，它允許網絡中同一層上的神經元之間相互連接，如圖5-9所示。這種連接方式將形成同一層的神經元彼此之間的牽制作用，可實現同一層上神經元之間的橫向抑制或興奮的機制。這樣可以用來限制同一層內能同時激活神經元的個數，或者把每一層內的神經元分成若干組，讓每組作為一個整體來動作。………………………圖5-9多層側抑制神經網絡7/23/202336神經網絡基本原理帶有反饋的多層神經網絡

這是一種允許輸出層-隱層，隱層中各層之間，隱層-輸入層之間具有反饋連接的方式，反饋的結果將構成封閉環(huán)路。x1o1輸出層隱藏層輸入層x2o2omxn…………………7/23/202337神經網絡基本原理帶有反饋的多層神經網絡 這種神經網絡和前向多層神經網絡不同。多層前向神經網絡屬于非循環(huán)連接模式，它的每個神經元的輸入都沒有包含該神經元先前的輸出，因此可以說是沒有“短期記憶”的。但帶反饋的多層神經網絡則不同，它的每個神經元的輸入都有可能包含有該神經元先前的輸出反饋信息。因此，它的輸出要由當前的輸入和先前的輸出兩者來決定，這有點類似于人類短期記憶的性質。7/23/202338神經網絡基本原理人工神經網絡的運行一般分為學習和工作兩個階段。7/23/202339神經網絡基本原理人工神經網絡學習

人工神經網絡最具有吸引力的特點是它的學習能力。

人工神經網絡學習和記憶的心理學基礎

學習和記憶是人類智能的一個重要特征。有一種觀點認為，人類的學習過程實際上是一種經過訓練而使個體在行為上產生較為持久改變的過程。按照這種觀點，學習離不開訓練。

7/23/202340神經網絡基本原理人工神經網絡學習

學習和記憶同樣也應該是人工神經網絡的一個重要特征。人工神經網絡的學習過程就是它的訓練過程。人工神經網絡的功能特性由其連接的拓撲結構和突觸連接強度（即連接權值）來確定。神經網絡訓練的實質是通過對樣本集的輸入/輸出模式反復作用于網絡，網絡按照一定的學習算法自動調節(jié)神經元之間的連接強度（閾值）或拓撲結構，當網絡的實際輸出滿足期望要求，或者趨于穩(wěn)定時，則認為學習圓滿結束。7/23/202341神經網絡基本原理人工神經網絡的學習算法

學習算法是人工神經網絡研究中的核心問題

神經網絡學習算法有很多，大體可分為有導師學習（SupervisedLearning）、和無導師學習（UnsupervisedLearning）兩大類，另外還有一類死記式學習。7/23/202342神經網絡基本原理有導師學習一般需要事先收集樣本數據。將數據分為訓練集和檢驗集兩部分，以保證所訓練出的神經網絡同時具有擬合精度和泛化能力。7/23/202343神經網絡基本原理7/23/202344神經網絡基本原理7/23/202345神經網絡基本原理神經網絡的學習規(guī)則

日本著名神經網絡學者Amari于1990年提出一種神經網絡權值訓練的通用學習規(guī)則。η是一正的常量，其值決定了學習的速率，也稱為學習率或學習因子；t時刻權值的調整量與t時刻的輸入量和學習信號r的乘積成正比。7/23/202346神經網絡基本原理Hebb型學習

Hebb型學習（HebbianLearning）的出發(fā)點是Hebb學習規(guī)則如果神經網絡中某一神經元同另一直接與它連接的神經元同時處于興奮狀態(tài)，那么這兩個神經元之間的連接強度將得到加強。7/23/202347神經網絡基本原理Hebb型學習

Hebb學習方式可用如下公式表示：

ωij(t+1)=ωij(t)+η[xi(t)*xj(t)]

其中，ωij（t＋1）表示對時刻t的權值修正一次后的新的權值；xi（t）、xj(t）分別表示t時刻神經元i（輸入）和神經元j（輸出）的狀態(tài)。上式表明，權值的調整量與輸入輸出的乘積成正比。此時的學習信號即輸出信號。這是一種純前饋、無導師學習。該規(guī)則至今仍在各種神經網絡模型中起著重要作用。

7/23/202348神經網絡基本原理Hebb學習規(guī)則舉例：設有一具有4個輸入，單個輸出的神經元網絡，為簡化起見，取閾值θ=0，學習率η=1。3個輸入樣本量和初始權向量分別為 X1=（1，-2，1.5，0）T， X2=（1，-0.5，-2，-1.5）T， X3=（0，1，-1，1.5）T， W0=（1，-1，0，0.5）解：首先設激活函數為符號函數，即f(net)=sgn(net),7/23/202349神經網絡基本原理誤差修正學習規(guī)則（也稱感知器學習規(guī)則）

誤差修正學習（Error－CorrectionLearning）是一種有導師的學習過程，其基本思想是利用神經網絡的期望輸出與實際之間的偏差作為連接權值調整的參考，并最終減少這種偏差。

最基本的誤差修正規(guī)則規(guī)定：連接權值的變化與神經元希望輸出和實際輸出之差成正比。

7/23/202350神經網絡基本原理誤差修正學習規(guī)則（也稱感知器學習規(guī)則）

該規(guī)則的連接權的計算公式為：

ωij(t+1)=ωij(t)+η[dj(t)-yj(t)]xi(t)

其中，ωij(t)表示時刻t的權值；ωij(t+1)表示對時刻t的權值修正一次后的新的權值；dj(t)為時刻t神經元j的希望輸出，yj(t)為與i直接連接的另一神經元j在時刻t的實際輸出；dj(t)-yj(t)表示時刻t神經元j的輸出誤差。

7/23/202351神經網絡基本原理δ（Delta）學習規(guī)則

δ學習規(guī)則很容易從輸出值與希望值的最小平方誤差導出來。舉例：7/23/202352神經網絡基本原理感知器模型及其學習（自學習模型）

感知器是美國心理學家羅森勃拉特于1958年為研究大腦的存儲、學習和認知過程而提出的一類具有自學習能力的神經網絡模型。最初的感知器只有一個神經元，實際上仍然是M-P模型的結構，但是它與M-P模型的區(qū)別在于神經元之間連接權的變化。通過采用監(jiān)督學習來逐步增強模式劃分的能力，達到所謂學習的目的。感知器研究中首次提出了自組織、自學習的概念，對神經網絡的研究起到重要的推動作用，是研究其他網絡的基礎。

7/23/202353神經網絡基本原理感知器模型及其學習（自學習模型）

感知器模型

感知器是一種具有分層結構的前向網絡模型，它可分為單層、兩層及多層結構。

感知器中的神經網絡是線性閾值單元。當輸入信息的加權和大于或等于閾值時，輸出為1，否則輸出為0或一1。神經元之間的連接權ωi是可變的，這種可變性就保證了感知器具有學習的能力。7/23/202354神經網絡基本原理

單層感知器是一個由輸入部分和輸出層構成，但只有輸出層可作為計算層的網絡。在單層感知器中，輸入部分(也稱為感知層)和輸出層都可由多個神經元組成，輸入部分將輸入模式傳送給連接的輸出單元；輸出層對所有輸入數據進行加權求和，經閾值型作用函數產生一組輸出模式。7/23/202355神經網絡基本原理單層感知器的兩層神經元之間采用全互連方式，即輸入部分各單元與輸出層各單元之間均有連接。單層感知器模型y1x2xnynx1…………輸出層輸入部分權可調7/23/202356神經網絡基本原理多層感知器圖5-13二層感知器y1yn……輸出層x2xnx1……輸入部分權可調權固定隱含層7/23/202357神經網絡基本原理感知器的功能

當激活函數取階躍函數或符號函數時，由感知器的網絡結構，可以看出單感知器的基本功能是將輸入矢量轉化成1或0（一1）的輸出。因此單輸出節(jié)點的感知器具有分類功能。

其分類原理是將分類知識存儲于感知器的權向量（包含了閾值）中，由權向量確定的分類判決界面可以將輸入模式分為兩類。7/23/202358神經網絡基本原理感知器的功能

利用感知器可以實現邏輯代數中的一些運算（例）7/23/202359神經網絡基本原理感知器的學習算法感知器的學習是通過有導師的學習過程來實現的。羅森勃拉特提出的感知器學習算法是: 1)把連接權和閾值初始化為較小的非零隨機數。

2)把有n個連接值元素的輸入送入網絡。調整連接權值，以使網絡對任何輸入都能得到所希望的輸出。7/23/202360神經網絡基本原理

（l）初始化連接權和閾值。給連接權值ωi(0)

（i=1，2，…，n）及輸出節(jié)點中的閾值θ分別賦予一個較小的非零隨機數，作為它們的初始值。

（2）提供新的樣本輸入xi(0)（i=1，2，…，n）和期望輸出d（t）。

（3）計算網絡的實際輸出y（t）=f(Σωi(t)xi(t)-θ)（i=1，2，…，n）

（4）經學習后，調整連接權值ωi(t+1)=ωi(t)+η[d(t)-y(t)]xi(t)（i=1，2，…，n）

其中，0＜η≤1。通常η的值不能太大，也不能太小。如果η的值太大，會影響ωi(t)的收斂性；如果太小，又會使ωi(t)的收斂速度太慢。

5）返回（2）。在（2）～（5）間反復進行，直到對所有訓練樣本，網絡輸出誤差均能達到一定的精度要求。7/23/202361神經網絡基本原理

感知器學習算法舉例7/23/202362神經網絡基本原理有關感知器XOR問題求解的討論

明斯基（Minsky）仔細從數學上分析了以感知器為代表的神經網絡系統(tǒng)的功能和局限性，于1969年發(fā)表了《Perceptron》一書。書中指出感知器僅能解決一階謂詞邏輯問題，不能解決高階謂詞邏輯問題,并給出了一個簡單的例子，即XOR（異或）問題，如下表所示，它是不能直接通過感知器算法來解決的。

點輸入x1輸入x2輸出y

A1 0 0 0

B1 1 0 1

A2 1 1 0

B2 0 1 1

XOR（異或）真值表

7/23/202363神經網絡基本原理 點輸入x1輸入x2輸出y

A1 0 0 0

B1 1 0 1

A2 1 1 0

B2 0 1 1

由上表可以看出，只有當輸入的兩個值中有一個為1，且不同時為1時，輸出的值才為1，否則輸出值為0。 由于單層感知器的輸出：y=f(ω1*x1+ω2*x2-θ)

可以看出，要用單層感知器解決異或問題，就必須存在ω1、ω2和θ，滿足如下方程，但是方程組無解(線性不可分)。

ω1+ω2-θ＜0

ω1+0-θ≥0

0+0-θ＜0

0+ω2-θ≥07/23/202364神經網絡基本原理感知器神經網絡應用的局限性

單層感知器只能對線性可分的向量集合進行分類。對于“異或”問題可以用兩個計算層的感知器來解決。7/23/202365神經網絡基本原理B-P網絡及其學習誤差反向傳播（ErrorBackPropagation）：美國加州大學的魯梅爾哈特（Rumelhart）和麥克萊蘭(Meclelland)等學者繼續(xù)深入研究了感知器模型，他們抓住信息處理中的并行性和分布性這兩個本質概念，1985年提出了一個神經網絡反向傳播模型，簡稱為B-P模型，這個模型既實現了明斯基（Minsky）所提出的多層網絡的設想，又突破了感知器的一些局限性。7/23/202366神經網絡基本原理B-P網絡及其學習

BP模型利用輸出后的誤差來估計輸出層的直接前導層的誤差，再利用這個誤差估計更前一層的誤差。如此下去，獲得所有其他各層的誤差估計。形成將輸出表現出來的誤差沿著與輸入信號傳送相反的方向逐級向網絡的輸入端傳遞的過程，因此稱為后向傳播（B-P）算法。7/23/202367神經網絡基本原理B-P網絡及其學習BP模型不僅有輸人層節(jié)點、輸出層節(jié)點，而且有一層或多層隱含節(jié)點。層與層之間多采用全互連方式，但同一層的節(jié)點之間不存在相互連接?！?/23/202368神經網絡基本原理B-P網絡的學習過程是由正向傳播和誤差反向傳播組成的。當給定網絡一組輸入模式時，B-P網絡將依次對這組輸入模式中的每個輸入模式按如下方式進行學習：把輸入模式從輸入層傳到隱含層單元，經隱含層單元逐層處理后，產生一個輸出模式傳至輸出層，這一過程稱為正向傳播。7/23/202369神經網絡基本原理如果經正向傳播在輸出層沒有得到所期望的輸出模式，則轉為誤差反向傳播過程，即把誤差信號沿原連接路徑返回，并通過修改各層神經元的連接權值，使誤差信號為最小。重復正向傳播和反向傳播過程，直至得到所期望的輸出模式為止。7/23/202370神經網絡基本原理BP網絡除了在多層網絡上與單層感知器不同外，其主要差別也表現在激活函數上。BP網絡的激活函數必須是處處可微的，因此它不能采用二值型的閥值函數{0，1}或符號函數{－1，1}BP網絡經常使用的是S型的對數或正切激活函數和線性函數7/23/202371神經網絡基本原理B-P網絡的學習算法： （1）初始化網絡及學習參數，即將隱含層和輸出層各節(jié)點的連接權值、神經元閾值賦予[－1，1]區(qū)間的一個隨機數。

（2）提供訓練樣本，即從訓練樣本集合中選出一個訓練樣本，將其輸入和期望輸出送入網絡。

（3）正向傳播過程，即對給定的輸入，從第一隱含層開始，計算網絡的輸出，并把得到的輸出與期望輸出比較，若有誤差，則執(zhí)行第（4）步；否則，返回第（2）步，提供下一個訓練模式；

（4）反向傳播過程，即從輸出層反向計算到第一隱含層，逐層修正各單元的連接權值。

（5）返回第（2）步，對訓練樣本集中的每一個訓練樣本重復第（2）到第（3）步，直到訓練樣本集中的每一個樣本都滿足期望輸出為止。7/23/202372神經網絡基本原理Hopfield網絡及其學習

Hopfield網絡是美國加州工學院物理學家霍普菲爾特（Hopfield）提出來的一種具有相互連接的反饋型神經網絡模型。根據其激活函數的選取不同，可分為離散型的霍普菲爾德網絡(DiscreteHopfieldNeuralNetwork，簡稱DHNN)和連續(xù)型的霍普菲爾德網絡(ContinuousHopfieldNeuralNetwork，簡稱CHNN)。7/23/202373神經網絡基本原理Hopfield網絡是由若干基本神經元構成的一個單層全