神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu)

神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu)第1頁，共20頁，2023年，2月20日，星期一3．1生物神經(jīng)元及生物神經(jīng)網(wǎng)絡(luò)

3．1．1生物神經(jīng)元人腦大約由1012個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)神經(jīng)元是大腦處理信息的基本單元，以細(xì)胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹的枝干。它主要由細(xì)胞體、樹突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成。

第2頁，共20頁，2023年，2月20日，星期一圖3－1生物神經(jīng)元示意圖

第3頁，共20頁，2023年，2月20日，星期一從神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近。當(dāng)神經(jīng)元細(xì)胞體通過軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)。突觸有兩種：興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位。

第4頁，共20頁，2023年，2月20日，星期一突觸傳遞信息的功能和特點(diǎn)歸納為：

信息傳遞有時(shí)延，一般為0.3～lms。信息的綜合有時(shí)間累加和空間累加。

突觸有興奮性和抑制性兩種類型。

具有脈沖／電位信號(hào)轉(zhuǎn)換功能。

神經(jīng)纖維傳導(dǎo)的速度，即脈沖沿神經(jīng)纖維傳遞的速度，在1—150m／s之間

存在不應(yīng)期。

不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞。

可塑性，突觸傳遞信息的強(qiáng)度是可變的，即具有學(xué)習(xí)功能。

存在遺忘或疲勞效應(yīng)。第5頁，共20頁，2023年，2月20日，星期一3．1．2人腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)圖3—2腦神經(jīng)系統(tǒng)的主要組成部分

第6頁，共20頁，2023年，2月20日，星期一3．1．3人腦神經(jīng)網(wǎng)絡(luò)信息處理的特點(diǎn)1．分布存儲(chǔ)與冗余性

2．并行處理

3．信息處理與存儲(chǔ)合一

4．可塑性與自組織性

5．魯棒性

第7頁，共20頁，2023年，2月20日，星期一3．2人工神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)直觀理解

神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，它一般由許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元只有一個(gè)輸出，它可以連接到很多其他的神經(jīng)元，每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù)。

第8頁，共20頁，2023年，2月20日，星期一3．2．1人工神經(jīng)元模型歸納一下生物神經(jīng)元傳遞信息的過程：生物神經(jīng)元是一個(gè)多輸入、單輸出單元。常用的人工神經(jīng)元模型可用圖3－3模擬。

圖3－3人工神經(jīng)元模型

第9頁，共20頁，2023年，2月20日，星期一響應(yīng)函數(shù)的基本作用：1、控制輸入對(duì)輸出的激活作用；2、對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。

第10頁，共20頁，2023年，2月20日，星期一根據(jù)響應(yīng)函數(shù)的不同，人工神經(jīng)元有以下幾種類型：

圖3—4人工神經(jīng)元的響應(yīng)函數(shù)

第11頁，共20頁，2023年，2月20日，星期一1、閾值單元

2、線性單元

3、非線性單元：Sigmoid函數(shù)

第12頁，共20頁，2023年，2月20日，星期一上述模型能反映生物神經(jīng)元的基本特性，但還有如下不同之點(diǎn)：(1)生物神經(jīng)元傳遞的信息是脈沖，而上述模型傳遞的信息是模擬電壓。(2)由于在上述模型中用一個(gè)等效的模擬電壓來模擬生物神經(jīng)元的脈沖密度，所以在模型中只有空間累加而沒有時(shí)間累加(可以認(rèn)為時(shí)間累加已隱含在等效的模擬電壓之中)。(3)上述模型未考慮時(shí)延、不應(yīng)期和疲勞等。

第13頁，共20頁，2023年，2月20日，星期一3．2．2人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法。

人工神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式：1．前向網(wǎng)絡(luò)

網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連接。

2．從輸出到輸入有反饋的前向網(wǎng)絡(luò)

3．層內(nèi)互連前向網(wǎng)絡(luò)

4．互連網(wǎng)絡(luò)

第14頁，共20頁，2023年，2月20日，星期一圖3—5神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)

第15頁，共20頁，2023年，2月20日，星期一3．2．3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題。

人工神經(jīng)網(wǎng)絡(luò)連接權(quán)的確定通常有兩種方法：一種是根據(jù)具體要求：直接計(jì)算出來，如Hopfield網(wǎng)絡(luò)作優(yōu)化計(jì)算時(shí)就屬于這種情況；另一種是通過學(xué)習(xí)得到的，大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都用這種方法。

第16頁，共20頁，2023年，2月20日，星期一1．Hebb學(xué)習(xí)規(guī)則是DonallHebb根據(jù)生理學(xué)中條件反射機(jī)理，于1949年提出的神經(jīng)元連接強(qiáng)度變化的規(guī)則。

如果兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活)，則它們之間的突觸連接加強(qiáng)。

Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形。

第17頁，共20頁，2023年，2月20日，星期一2．誤差校正規(guī)則用已知樣本作為教師對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。式(3—8)和式(3—9)的學(xué)習(xí)規(guī)則可由二次誤差函數(shù)的梯度法導(dǎo)出，故誤差校正學(xué)習(xí)規(guī)則實(shí)際上是一種梯度方法。

第18頁，共20頁，2023年，2月20日，星期一3．相近學(xué)習(xí)規(guī)則