神經(jīng)網(wǎng)絡(luò)的基本原理

1、會計學1神經(jīng)網(wǎng)絡(luò)的基本原理神經(jīng)網(wǎng)絡(luò)的基本原理 本章主要從電生理學的角度介紹生物神經(jīng)元的基本工作原理，以及它們之間的相互作用由此概述大腦的基本構(gòu)造和它的信息處理特征并在上述的基礎(chǔ)上研究生物神經(jīng)元的數(shù)學模型及其學習法則。基本原理基本原理腦神經(jīng)系統(tǒng)無論從構(gòu)造和功能上來講，腦神經(jīng)系統(tǒng)無論從構(gòu)造和功能上來講，都稱得上是一個非常復(fù)雜的巨系統(tǒng)。都稱得上是一個非常復(fù)雜的巨系統(tǒng)。正常大腦的神經(jīng)細胞正常大腦的神經(jīng)細胞( (神經(jīng)元神經(jīng)元) )的數(shù)目的數(shù)目約在約在100100億到億到10001000億個左右。億個左右?；驹韴D圖2.1 2.1 神經(jīng)元的構(gòu)造神經(jīng)元的構(gòu)造基本原理基本原理基本原理圖圖2.2 2.2 細胞

2、膜等效電路細胞膜等效電路漏電流支路基本原理基本原理基本原理圖圖2.3 2.3 神經(jīng)元的膜電位分布神經(jīng)元的膜電位分布基本原理基本原理基本原理圖圖2.4 2.4 突觸中的信號傳遞突觸中的信號傳遞基本原理中樞神經(jīng)的構(gòu)造中樞神經(jīng)的構(gòu)造 基本原理人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型jiwiuiiy1 (2.1) (2.2( ) ( )nijijijiiu tw xyf u t人工神經(jīng)網(wǎng)絡(luò)模型 是輸入與輸出之間的非線性函數(shù)，通常稱為作用函數(shù)或閾值函數(shù)。在MP模型中， 是二值函數(shù)，其輸出為0或1，分別代表神經(jīng)元的抑制和興奮狀態(tài)。( ) if u( ) if uii u 0 u010( ( .3) 2if u圖2

3、.7 閾值函數(shù)人工神經(jīng)網(wǎng)絡(luò)模型0jiw 0jiw 0jiw i人工神經(jīng)網(wǎng)絡(luò)模型圖圖2.8 2.8 形式神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)形式神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型式中式中 ， 為神經(jīng)元在為神經(jīng)元在t t時刻的平均輸入和輸出，時刻的平均輸入和輸出， 為平均膜電位，為平均膜電位， 為膜電位變化的時間常數(shù)，為膜電位變化的時間常數(shù)， 為靜止膜電位。為靜止膜電位。函數(shù)函數(shù)f f通常為通常為S S型的單調(diào)遞增函數(shù)，其數(shù)學形式為型的單調(diào)遞增函數(shù)，其數(shù)學形式為jxiyiu0u01 (2.4) (2.( )( )( )(5)niijijjiidu tu tw x tudtyf u t 1( )1uf ue人工神

4、經(jīng)網(wǎng)絡(luò)模型圖圖2.10(a) 2.10(a) 串行連接串行連接人工神經(jīng)網(wǎng)絡(luò)模型圖圖2.10(b) 2.10(b) 相互結(jié)合型連接相互結(jié)合型連接人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型圖圖2.11(a) 2.11(a) 相互結(jié)合型神經(jīng)網(wǎng)絡(luò)相互結(jié)合型神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型在相互結(jié)合型神經(jīng)系統(tǒng)中在相互結(jié)合型神經(jīng)系統(tǒng)中，一定存在著反饋環(huán)，在，一定存在著反饋環(huán)，在神經(jīng)元的學習過程中，也神經(jīng)元的學習過程中，也同樣存在著反饋環(huán)同樣存在著反饋環(huán)( (誤差反誤差反饋饋) )。因此，互相結(jié)合型神。因此，互相結(jié)合型神經(jīng)網(wǎng)絡(luò)是一種經(jīng)網(wǎng)絡(luò)是一種非線性動力非線性動力學系統(tǒng)學系統(tǒng)。圖圖2.11(b) 2.11(b) 層次型神經(jīng)網(wǎng)

5、絡(luò)層次型神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型式中式中 是學習率，是學習率， 是教師信號或希望輸出，是教師信號或希望輸出， 是實際輸出與希望輸出之差，是實際輸出與希望輸出之差， 和和 取取1或或0的離散值。由于權(quán)值更新與的離散值。由于權(quán)值更新與 有關(guān)，所以也稱有關(guān)，所以也稱 學習規(guī)則學習規(guī)則。 idiiyjx1( )nijijijiiuw xyf uii1 u00 u0( )if u則學習規(guī)則為則學習規(guī)則為(1)( )()( )jijiiijjiijwtwtyd xwtx(2. 8)人工神經(jīng)網(wǎng)絡(luò)模型(1)( )jijiijwtwty x(2.9)與式與式(2.8)(2.8)不同的是，即無教師信號。所以在聯(lián)想

6、不同的是，即無教師信號。所以在聯(lián)想式學習中，權(quán)值變化僅是輸入與輸出同時興奮的式學習中，權(quán)值變化僅是輸入與輸出同時興奮的結(jié)果。由于聯(lián)想發(fā)生在輸入和輸出之間，所以這結(jié)果。由于聯(lián)想發(fā)生在輸入和輸出之間，所以這種聯(lián)想被稱為種聯(lián)想被稱為異聯(lián)想異聯(lián)想。人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型1( )1exp(/)iiP lET(2. 10)式中，式中， 為系統(tǒng)對應(yīng)狀態(tài)的能量變化，為系統(tǒng)對應(yīng)狀態(tài)的能量變化，T T是絕對溫度。是絕對溫度。 E( )iP l人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型內(nèi)容和特點內(nèi)容和特點內(nèi)容和特點 本章主要從電生理學的角度介紹生物神經(jīng)元的基本工作原理，以及它們之間的相互作用由此概述大腦的基本構(gòu)造和它的信息處理特征并在上述的基礎(chǔ)上研究生物神經(jīng)元的數(shù)學模型及其學習法則?；驹韏iwiuiiy1 (2.1) (2.2( ) ( )nijijijiiu tw xyf u t人工神經(jīng)網(wǎng)絡(luò)模型圖圖2.8 2.8 形式神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)形式神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型式中式中 ， 為神經(jīng)元在為神經(jīng)元在t t時刻的平均輸入和輸出，時刻的平均輸入和輸出， 為平均膜電位，為平均膜電位， 為膜電位變化的時間常數(shù)，為膜電位變化的時間常數(shù)， 為靜止膜電位。為靜止膜電位。函數(shù)函數(shù)f f通常為通常為S S型的單調(diào)遞增函數(shù)