神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu)

2.1目的

第1章給除了生物神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)述?，F(xiàn)在來(lái)介紹簡(jiǎn)化的神經(jīng)元數(shù)學(xué)模型，并解釋這些人工神經(jīng)元如何相互連接形成各種網(wǎng)絡(luò)結(jié)構(gòu)。另外，本章還將通過(guò)幾個(gè)簡(jiǎn)單的實(shí)例闡述這些網(wǎng)絡(luò)如何工作。本書中將使用本章所引入的概念和符號(hào)。本文檔共30頁(yè)；當(dāng)前第1頁(yè)；編輯于星期二\4點(diǎn)7分2.2原理和實(shí)例2.2.1符號(hào)本書中的圖、數(shù)字公式以及解釋圖和數(shù)字公式的正文，將使用一下符號(hào)：標(biāo)量：小寫的斜體字母，如a,b,c。向量：小寫的黑正體字母，如a,b,c。矩陣：大寫的黑整體字母，如A,B,C。●●●本文檔共30頁(yè)；當(dāng)前第2頁(yè)；編輯于星期二\4點(diǎn)7分2.2.2神經(jīng)元模型單輸入神經(jīng)元權(quán)值偏置(值)凈輸入傳輸函數(shù)圖2-1單輸入神經(jīng)元本文檔共30頁(yè)；當(dāng)前第3頁(yè)；編輯于星期二\4點(diǎn)7分若將這個(gè)簡(jiǎn)單模型和前面第1章所討論的生物神經(jīng)元相對(duì)照，則權(quán)值w對(duì)應(yīng)于突觸的連接強(qiáng)度，細(xì)胞體對(duì)應(yīng)于累加器和傳輸函數(shù)，神經(jīng)元輸出a代表軸突的信號(hào)。

神經(jīng)元輸出按下式計(jì)算：

a=f(wp+b)注：還有多閾值、多權(quán)值神經(jīng)元本文檔共30頁(yè)；當(dāng)前第4頁(yè)；編輯于星期二\4點(diǎn)7分

實(shí)際輸出取決與所選擇的待定傳輸函數(shù)。2.傳輸函數(shù)圖2-1中的傳輸函數(shù)可以是n的線性或者非線性函數(shù)。可以用特定的傳輸函數(shù)滿足神經(jīng)元要解決的特定問題。本書包括了各個(gè)不同的傳輸函數(shù)。下面將討論其中最常用的三種。

硬極限傳輸函數(shù)

線性傳輸函數(shù)

a=n(2.1)

對(duì)數(shù)-S形傳輸函數(shù)

a=1/1+e-n

(2.2)本文檔共30頁(yè)；當(dāng)前第5頁(yè)；編輯于星期二\4點(diǎn)7分

a=hardlim(n)a=hardlim(wp+b)

硬極限傳輸函數(shù)單輸入hardlim神經(jīng)元圖2-2硬極限傳輸函數(shù)本文檔共30頁(yè)；當(dāng)前第6頁(yè)；編輯于星期二\4點(diǎn)7分

a=purelin(n)a=purelin(wp+b)

線性傳輸函數(shù)單輸入purelin神經(jīng)元圖2-3線性傳輸函數(shù)本文檔共30頁(yè)；當(dāng)前第7頁(yè)；編輯于星期二\4點(diǎn)7分

a=logsig(n)a=logsig(wp+b)

Log-Sigmoid

傳輸函數(shù)單輸入logsig神經(jīng)元圖2-4對(duì)數(shù)-S形傳輸函數(shù)本文檔共30頁(yè)；當(dāng)前第8頁(yè)；編輯于星期二\4點(diǎn)7分名稱輸入/輸出關(guān)系圖標(biāo)MATLAB函數(shù)硬極限函數(shù)a=0,n<0a=1,n≥0hardlim對(duì)稱硬極限函數(shù)a=-1,n<0a=+1,n≥0hardlims線性函數(shù)a=npurelin飽和線性函數(shù)a=0,n<0a=n,0≤n≤1a=1,n>1satlin對(duì)稱飽和線性函數(shù)a=-1,n<-1a=n,-1≤n≤1a=1,n>1satlins對(duì)數(shù)-S形函數(shù)a=1/1+e-nlogsig雙曲正切S形函數(shù)a=en-e-n/en+e-ntansig正線性函數(shù)a=0,n<0a=n,n≥0poslin競(jìng)爭(zhēng)函數(shù)a=1,具有最大n的神經(jīng)元a=0,所有其他神經(jīng)元compet本文檔共30頁(yè)；當(dāng)前第9頁(yè)；編輯于星期二\4點(diǎn)7分

3.多輸入神經(jīng)元

權(quán)值矩陣通常，一個(gè)神經(jīng)元有不止一個(gè)輸入。具有R個(gè)輸入的神經(jīng)元如圖2-5所示。其輸入p1,p2,…,pR

分別對(duì)應(yīng)權(quán)值矩陣W的元素w1,1,w1,2,…,w1,R

。圖2-5多輸入神經(jīng)元本文檔共30頁(yè)；當(dāng)前第10頁(yè)；編輯于星期二\4點(diǎn)7分

該神經(jīng)元有一個(gè)偏置值b,它與所有輸入的加權(quán)和累加，從而形成凈輸入n：

n=w1,1p1+w1,2p2+…+w1,RpR+b

（2.3）這個(gè)表達(dá)式也可以寫成矩陣形式：n=Wp+b(2.4)其中單個(gè)神經(jīng)元的權(quán)值矩陣W只有一行元素。神經(jīng)元的輸出可以寫成：a=f(Wp+b)(2.5)

權(quán)值下標(biāo)權(quán)值矩陣元素下標(biāo)的第一個(gè)下標(biāo)表示權(quán)值相應(yīng)連接所指定的目標(biāo)神經(jīng)元編號(hào)，第二個(gè)下標(biāo)表示權(quán)值相應(yīng)連接的源神經(jīng)元編號(hào)。

簡(jiǎn)化符號(hào)圖2-6為利用這種符號(hào)所表示的多輸入神經(jīng)元。本文檔共30頁(yè)；當(dāng)前第11頁(yè)；編輯于星期二\4點(diǎn)7分

圖2-6具有R個(gè)輸入的神經(jīng)元的簡(jiǎn)化符號(hào)在圖2-6中，左邊垂直的實(shí)心條表示輸入向量p，p下面的變量R×1表示p的維數(shù)，也即輸入是由R個(gè)元素組成的一維向量。這些輸入被送人權(quán)值矩陣W，W有1行R列。常量1則作為輸入與標(biāo)量偏置值b相乘。傳輸函數(shù)f的凈輸入是n，它是偏置值b與積Wp的和。在這種情況本文檔共30頁(yè)；當(dāng)前第12頁(yè)；編輯于星期二\4點(diǎn)7分下，神經(jīng)元的輸出a是一個(gè)標(biāo)量。如果網(wǎng)絡(luò)有多個(gè)神經(jīng)元，那么網(wǎng)絡(luò)輸出就可能是一個(gè)向量。請(qǐng)注意，網(wǎng)絡(luò)的輸入是由問題的外部描述決定的。2.2.3網(wǎng)絡(luò)結(jié)構(gòu)1.神經(jīng)元的層層圖2-7是由S個(gè)神經(jīng)元組成的單層網(wǎng)絡(luò)。

該層包括權(quán)值矩陣、累加器、偏置值向量b、傳輸函數(shù)框和輸出向量a。本文檔共30頁(yè)；當(dāng)前第13頁(yè)；編輯于星期二\4點(diǎn)7分輸入向量p的每個(gè)元素均通過(guò)權(quán)值矩陣W和每個(gè)神經(jīng)元相連。輸入向量通過(guò)如下權(quán)矩陣W進(jìn)入網(wǎng)絡(luò)：（2.6）同樣，具有S個(gè)神經(jīng)元、R個(gè)輸入的單層網(wǎng)絡(luò)也能用簡(jiǎn)化的符號(hào)表示為如圖2-8所示的形式。

權(quán)值下標(biāo)權(quán)值矩陣元素下標(biāo)的第一個(gè)下標(biāo)表示權(quán)值相應(yīng)連接所指定的目標(biāo)神經(jīng)元編號(hào)，第二個(gè)下標(biāo)表示權(quán)值相應(yīng)連接的源神經(jīng)元編號(hào)。W2,3?本文檔共30頁(yè)；當(dāng)前第14頁(yè)；編輯于星期二\4點(diǎn)7分

2.多層神經(jīng)元層上標(biāo)現(xiàn)在考慮具有幾層神經(jīng)元的網(wǎng)絡(luò)。每個(gè)變量都附加一個(gè)上標(biāo)來(lái)表示其所處層次。圖2-9所示的三層網(wǎng)絡(luò)就使用了這種標(biāo)記方法。本文檔共30頁(yè)；當(dāng)前第15頁(yè)；編輯于星期二\4點(diǎn)7分

輸入層隱含層如果某層的輸出是網(wǎng)絡(luò)的輸出，那么稱該層為輸出層，而其他層叫隱含層。前面討論的三層網(wǎng)絡(luò)同樣也可以用簡(jiǎn)化的符號(hào)表示，如圖2-10所示。本文檔共30頁(yè)；當(dāng)前第16頁(yè)；編輯于星期二\4點(diǎn)7分

3.遞歸網(wǎng)絡(luò)延時(shí)在討論遞歸網(wǎng)絡(luò)前，首先介紹一些簡(jiǎn)單的構(gòu)造模塊。第一種是延時(shí)模塊，如圖2-11所示。延時(shí)輸出a(t)由輸入u(t)根據(jù)下式計(jì)算得到：

a(t)=u(t-1)

（2.7）本文檔共30頁(yè)；當(dāng)前第17頁(yè)；編輯于星期二\4點(diǎn)7分

積分器另一種將用于第15章至第18章中的連續(xù)時(shí)間遞歸網(wǎng)絡(luò)的構(gòu)造模塊是積分器，如圖2-12所示：

積分器的輸出a(t)由輸入u(t)根據(jù)下式計(jì)算得到：（2.8）本文檔共30頁(yè)；當(dāng)前第18頁(yè)；編輯于星期二\4點(diǎn)7分

遞歸網(wǎng)絡(luò)一個(gè)遞歸網(wǎng)絡(luò)是一個(gè)帶反饋的網(wǎng)絡(luò)，其部分輸出連接到它的輸入。圖2-13給出了一種類型的離散時(shí)間遞歸網(wǎng)絡(luò)。

a(1)=satlins(Wa(0)+b),a(2)=satlins(Wa(1)+b),…本文檔共30頁(yè)；當(dāng)前第19頁(yè)；編輯于星期二\4點(diǎn)7分2.3小結(jié)單輸入神經(jīng)元多輸入神經(jīng)元本文檔共30頁(yè)；當(dāng)前第20頁(yè)；編輯于星期二\4點(diǎn)7分傳輸函數(shù)名稱輸入/輸出關(guān)系圖標(biāo)MATLAB函數(shù)硬極限函數(shù)a=0,n<0a=1,n≥0hardlim對(duì)稱硬極限函數(shù)a=-1,n<0a=+1,n≥0hardlims線性函數(shù)a=npurelin飽和線性函數(shù)a=0,n<0a=n,0≤n≤1a=1,n>1satlin對(duì)稱飽和線性函數(shù)a=-1,n<-1a=n,-1≤n≤1a=1,n>1satlins對(duì)數(shù)-S形函數(shù)a=1/1+e-nlogsig雙曲正切S形函數(shù)a=en-e-n/en+e-ntansig正線性函數(shù)a=0,n<0a=n,n≥0poslin競(jìng)爭(zhēng)函數(shù)a=1,具有最大n的神經(jīng)元a=0,所有其他神經(jīng)元compet本文檔共30頁(yè)；當(dāng)前第21頁(yè)；編輯于星期二\4點(diǎn)7分神經(jīng)元層三層神經(jīng)元本文檔共30頁(yè)；當(dāng)前第22頁(yè)；編輯于星期二\4點(diǎn)7分延時(shí)模塊積分器模塊本文檔共30頁(yè)；當(dāng)前第23頁(yè)；編輯于星期二\4點(diǎn)7分遞歸網(wǎng)絡(luò)如何選取一種網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用問題的描述從如下幾個(gè)方面非常有助于定義網(wǎng)絡(luò)的結(jié)構(gòu)：

1）網(wǎng)絡(luò)的輸入個(gè)數(shù)=應(yīng)用問題的輸入數(shù)；

2）輸出層神經(jīng)元的數(shù)目=應(yīng)用問題的輸出數(shù)目；

本文檔共30頁(yè)；當(dāng)前第24頁(yè)；編輯于星期二\4點(diǎn)7分

3）輸出層的傳輸函數(shù)選擇至少部分依賴與應(yīng)用問題的輸出描述。2.4例題

P2.1一個(gè)單輸入神經(jīng)元的輸入是2.0，其權(quán)值是2.3，偏置值是-3。（i）傳輸函數(shù)的凈輸入是多少？（ii）神經(jīng)元的輸出是多少？解（i）傳輸函數(shù)的網(wǎng)絡(luò)輸出由下式給出：本文檔共30頁(yè)；當(dāng)前第25頁(yè)；編輯于星期二\4點(diǎn)7分

（ii）因?yàn)槲粗付▊鬏敽瘮?shù)，所以不能確定該神經(jīng)元的輸出。

P2.2如果P2.1中的神經(jīng)元分別具有如下傳輸函數(shù)，請(qǐng)問其輸出值分別是多少？（i）硬極限函數(shù)（ii）線性函數(shù)（iii）對(duì)數(shù)-S形（logsig）函數(shù)解（i）對(duì)硬極限傳輸函數(shù)有（ii）對(duì)線性傳輸函數(shù)有（iii）對(duì)對(duì)數(shù)-S形傳輸函數(shù)有本文檔共30頁(yè)；當(dāng)前第26頁(yè)；編輯于星期二\4點(diǎn)7分

P2.3

給定一個(gè)具有如下參數(shù)的兩輸入神經(jīng)元：b=1.2,W=[32],p=，試依據(jù)下列傳輸函數(shù)計(jì)算神經(jīng)元輸出：（i）對(duì)稱硬極限傳輸函數(shù)（ii）飽和現(xiàn)行傳輸函數(shù)（iii）雙曲正切S形（tansig）傳輸函數(shù)解首先計(jì)算凈輸入n:

現(xiàn)針對(duì)每種傳輸函數(shù)計(jì)算該神經(jīng)元的輸出。

本文檔共30頁(yè)；當(dāng)前第27頁(yè)；編輯于星期二\4點(diǎn)7分（i）（ii）（iii）

P2.4現(xiàn)有一個(gè)單層神經(jīng)網(wǎng)絡(luò)，具有6個(gè)輸入和2個(gè)輸出。輸出被限制為0到1之間的連續(xù)值。敘述該網(wǎng)絡(luò)的結(jié)構(gòu)，請(qǐng)說(shuō)明：（i）需要多少個(gè)神經(jīng)元？（ii）權(quán)值矩陣的維數(shù)是多少？（iii）能夠采用什么傳輸函數(shù)？（iv）需要采用偏置值嗎？本文檔共30頁(yè)；當(dāng)前第28頁(yè)；編輯于星期二\4點(diǎn)7分