第2章 神經(jīng)網(wǎng)絡基礎知識課件

第二章神經(jīng)網(wǎng)絡基礎知識2.1人工神經(jīng)網(wǎng)絡的生物基礎2.2人工神經(jīng)元模型2.3人工神經(jīng)網(wǎng)絡模型2.4

神經(jīng)網(wǎng)絡學習

第2章神經(jīng)網(wǎng)絡基礎知識2.1人工神經(jīng)網(wǎng)絡的生物基礎

神經(jīng)元(Neuron)也稱神經(jīng)細胞，它是生物神經(jīng)系統(tǒng)的最基本單元，它和人體中其他細胞的關鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號的功能。2.1.1生物神經(jīng)元結(jié)構每個神經(jīng)元都包括四個部分：細胞體(cellbody)、樹突(dendrite)和軸突(axon)和突觸(synapse)。每個神經(jīng)元大約有1000~100000個突觸。若干神經(jīng)元以突觸相連構成神經(jīng)網(wǎng)絡。第2章神經(jīng)網(wǎng)絡基礎知識

(a)簡單神經(jīng)元網(wǎng)絡圖c)簡化后的網(wǎng)絡示意圖圖2.1簡單神經(jīng)元網(wǎng)絡及其簡化結(jié)構圖b)突觸結(jié)構圖第2章神經(jīng)網(wǎng)絡基礎知識

2.1.2生物神經(jīng)元的信息處理機理一、信息的產(chǎn)生

研究認為，神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學活動。由膜內(nèi)外離子濃度決定。

神經(jīng)元狀態(tài)：靜息興奮抑制

膜電位：極化polarization去極化depolarization超極化hypeypolarization第2章神經(jīng)網(wǎng)絡基礎知識膜電位變化圖第2章神經(jīng)網(wǎng)絡基礎知識神經(jīng)元對信息的傳遞與接收通過突觸進行。

二信息的傳遞與接收神經(jīng)電脈沖神經(jīng)質(zhì)產(chǎn)生神經(jīng)質(zhì)釋放結(jié)合過程電生理反應突觸信息傳遞過程第2章神經(jīng)網(wǎng)絡基礎知識三、信息的整合空間整合：同一時刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨刺激引起的膜電位變化的代數(shù)和。時間整合：各輸入脈沖抵達神經(jīng)元的時間先后不一樣。總的突觸后膜電位為一段時間內(nèi)的累積。四、生物神經(jīng)網(wǎng)絡

以確定方式和拓撲結(jié)構互連而成，完成信息采集、存儲、綜合處理等功能。人類社會關系亦如此。第2章神經(jīng)網(wǎng)絡基礎知識2.2人工神經(jīng)元模型

2.2.1神經(jīng)元的建模最早提出且影響巨大的是1943年McCulloch和W.Pitts提出的M-P模型，具有6點假設：(1)每個神經(jīng)元都是一個多輸入單輸出的信息處理單元；(2)神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；(6)神經(jīng)元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)。(3)神經(jīng)元具有空間整合特性和閾值特性；(4)神經(jīng)元輸入與輸出間有固定的時滯,主要取決于突觸延擱；(5)忽略時間整合作用和不應期；第2章神經(jīng)網(wǎng)絡基礎知識(a)表明人工神經(jīng)元有許多輸入信息，一個輸出信息；(b)表示突觸強度和性質(zhì)不同，導致作用不同，即權重不同；(c)表明信號整合；(d)總和超過閾值時，神經(jīng)元被激活。第2章神經(jīng)網(wǎng)絡基礎知識2.2.2神經(jīng)元的數(shù)學模型

令xi(t)表示t時刻神經(jīng)元j接收的來自神經(jīng)元i的輸入信息，oj(t)表示t時刻神經(jīng)元j的輸出信息，則神經(jīng)元j的狀態(tài)可用如下數(shù)學式表示：τij——輸入輸出間的突觸時延；

Tj——神經(jīng)元j的閾值；

wij——神經(jīng)元i到j的突觸連接系數(shù)或稱權重值；

f()——神經(jīng)元轉(zhuǎn)移函數(shù)。(2.1)第2章神經(jīng)網(wǎng)絡基礎知識若取突觸時延為單位時間，則式(2.2)全面表達了神經(jīng)元模型的6點假設。令：(2.2)(2.3)

上式是神經(jīng)元j在t時刻的凈輸入，體現(xiàn)了神經(jīng)元j的空間整合特性，但未考慮時間整合。第2章神經(jīng)網(wǎng)絡基礎知識利用矩陣表示如下：

net'j=WjTX其中：

Wj=(w1,w2,…,wn)TX=(x1,x2,…,xn)T(2.4)(2.5)

oj=f(netj)=f(WjTX)(2.6)

令x0=-1，w0=Tj

則有

-Tj=x0w0第2章神經(jīng)網(wǎng)絡基礎知識2.2.3神經(jīng)元的轉(zhuǎn)移函數(shù)主要區(qū)別為轉(zhuǎn)移函數(shù)，常用的有四種：(1)閾值型轉(zhuǎn)移函數(shù)

1x≥0

f(x)=(2.7) 0x＜0

M-P模型屬于此類。

單極性閾值函數(shù)雙極性閾值函數(shù)

第2章神經(jīng)網(wǎng)絡基礎知識(2)非線性轉(zhuǎn)移函數(shù)

單極性S型函數(shù)雙極性S型函數(shù)

第2章神經(jīng)網(wǎng)絡基礎知識(3)分段線性轉(zhuǎn)移函數(shù)

0x≤0 f(x)= cx

0＜

x≤xc(2.9) 1xc＜

x 第2章神經(jīng)網(wǎng)絡基礎知識(4)概率型轉(zhuǎn)移函數(shù)溫度參數(shù)玻爾茲曼熱力學模型第2章神經(jīng)網(wǎng)絡基礎知識人工神經(jīng)元－信息處理單元第2章神經(jīng)網(wǎng)絡基礎知識人工神經(jīng)元－信息處理單元信息輸入第2章神經(jīng)網(wǎng)絡基礎知識人工神經(jīng)元－信息處理單元信息傳播與處理：加權求和第2章神經(jīng)網(wǎng)絡基礎知識人工神經(jīng)元－信息處理單元信息傳播第2章神經(jīng)網(wǎng)絡基礎知識人工神經(jīng)元－信息處理單元信息傳播與處理：非線性第2章神經(jīng)網(wǎng)絡基礎知識人工神經(jīng)元－信息處理單元信息輸出轉(zhuǎn)換函數(shù)是神經(jīng)網(wǎng)絡特征的第一大要素。第2章神經(jīng)網(wǎng)絡基礎知識單純層次型結(jié)構2.3人工神經(jīng)網(wǎng)絡模型兩種分類方法：拓撲結(jié)構、信息流向2.3.1網(wǎng)絡拓撲結(jié)構類型

1、層次型結(jié)構：3種第2章神經(jīng)網(wǎng)絡基礎知識輸出層到輸入層有連接第2章神經(jīng)網(wǎng)絡基礎知識層內(nèi)有連接層次型結(jié)構第2章神經(jīng)網(wǎng)絡基礎知識2、互連型結(jié)構全互連型結(jié)構第2章神經(jīng)網(wǎng)絡基礎知識局部互連型網(wǎng)絡結(jié)構還有一種稀疏連接型第2章神經(jīng)網(wǎng)絡基礎知識2.3.2網(wǎng)絡信息流向類型：2種前饋型網(wǎng)絡第2章神經(jīng)網(wǎng)絡基礎知識

拓撲結(jié)構是神經(jīng)網(wǎng)絡特征的第二大要素反饋型網(wǎng)絡第2章神經(jīng)網(wǎng)絡基礎知識2.4神經(jīng)網(wǎng)絡學習

神經(jīng)網(wǎng)絡能夠通過對樣本的學習訓練，不斷改變網(wǎng)絡的連接權值以及拓撲結(jié)構，以使網(wǎng)絡的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡的學習或訓練，其本質(zhì)是可變權值的動態(tài)調(diào)整。第2章神經(jīng)網(wǎng)絡基礎知識神經(jīng)網(wǎng)絡的學習類型：有導師學習(有監(jiān)督學習)無導師學習(無監(jiān)督、自組織)死記式學習(灌輸式)第2章神經(jīng)網(wǎng)絡基礎知識

日本學者Amari在1990年提出了一種神經(jīng)網(wǎng)絡權值調(diào)整的通用學習規(guī)則，如下圖：

通用學習規(guī)則：權向量Wj在t時刻的調(diào)整量ΔWj(t)與t時刻的輸入X(t)和學習信號r的乘積成正比，即：第2章神經(jīng)網(wǎng)絡基礎知識

2.4.1Hebb學習規(guī)則學習信號：權調(diào)整公式：權分量調(diào)整公式：要求：使用小的隨機數(shù)初始化權值特點：前饋、無導師學習第2章神經(jīng)網(wǎng)絡基礎知識例2.1設有4個輸入和1個輸出的神經(jīng)網(wǎng)絡，閾值T=0，學習率η=1，三個樣本為：X1=(1,-2,1.5,0)T，X2=(1,-0.5,-2,-1.5)T,X3=(0,1,-1,1.5)T,初始權：W(0)=(1,-1,0,0.5)T。

利用Hebb學習法計算權值。解：設轉(zhuǎn)換函數(shù)為符號函數(shù)f(x)=sgn(net)(1)(2)(3)第2章神經(jīng)網(wǎng)絡基礎知識

2.4.2Perceptron學習規(guī)則學習信號：權調(diào)整公式：權分量調(diào)整公式：

由于采用符號函數(shù)，符合期望時不調(diào)整，否則，權值特征公式為：要求：只適應二進制神經(jīng)元特點：有導師學習第2章神經(jīng)網(wǎng)絡基礎知識

2.4.3δ學習規(guī)則學習信號：權調(diào)整公式：權分量調(diào)整公式：要求：轉(zhuǎn)換函數(shù)連續(xù)可導特點：多層前饋，有導師學習第2章神經(jīng)網(wǎng)絡基礎知識例2.2設有4個輸入1個輸出的神經(jīng)網(wǎng)絡，閾值內(nèi)含，學習率η=0.1，三個樣本為：X1=(-1,1,-2,0)T，X2=(-1,0,1.5,-0.5)T,X3=(-1,-1,1,0.5)T,初始權：W(0)=(0.5,1,-1,0)T，期望輸出：d1=-1，d2=-1，d3=1。

利用δ學習法計算權值。解：設轉(zhuǎn)換函數(shù)為：(1)第2章神經(jīng)網(wǎng)絡基礎知識(2)第2章神經(jīng)網(wǎng)絡基礎知識(3)第2章神經(jīng)網(wǎng)絡基礎知識

2.4.4LMS學習規(guī)則(最小均方)學習信號：權調(diào)整公式：權分量調(diào)整公式：LMS是δ學習規(guī)則的特例特點：有導師學習第2章神經(jīng)網(wǎng)絡基礎知識

2.4.5Correlation（相關）學習規(guī)則學習信號：權調(diào)整公式：權分量調(diào)整公式：要求：權值初始化為0特點：有導師學習