神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu)

2.1目的

第1章給除了生物神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的簡述。現(xiàn)在來介紹簡化的神經(jīng)元數(shù)學(xué)模型，并解釋這些人工神經(jīng)元如何相互連接形成各種網(wǎng)絡(luò)結(jié)構(gòu)。另外，本章還將通過幾個簡單的實(shí)例闡述這些網(wǎng)絡(luò)如何工作。本書中將使用本章所引入的概念和符號。第一頁，共三十頁。2.2原理和實(shí)例2.2.1符號本書中的圖、數(shù)字公式以及解釋圖和數(shù)字公式的正文，將使用一下符號：標(biāo)量：小寫的斜體字母，如a,b,c。向量：小寫的黑正體字母，如a,b,c。矩陣：大寫的黑整體字母，如A,B,C?！瘛瘛竦诙摚踩?。2.2.2神經(jīng)元模型單輸入神經(jīng)元權(quán)值偏置(值)凈輸入傳輸函數(shù)圖2-1單輸入神經(jīng)元第三頁，共三十頁。若將這個簡單模型和前面第1章所討論的生物神經(jīng)元相對照，則權(quán)值w對應(yīng)于突觸的連接強(qiáng)度，細(xì)胞體對應(yīng)于累加器和傳輸函數(shù)，神經(jīng)元輸出a代表軸突的信號。

神經(jīng)元輸出按下式計(jì)算：

a=f(wp+b)注：還有多閾值、多權(quán)值神經(jīng)元第四頁，共三十頁。

實(shí)際輸出取決與所選擇的待定傳輸函數(shù)。2.傳輸函數(shù)圖2-1中的傳輸函數(shù)可以是n的線性或者非線性函數(shù)?？梢杂锰囟ǖ膫鬏敽瘮?shù)滿足神經(jīng)元要解決的特定問題。本書包括了各個不同的傳輸函數(shù)。下面將討論其中最常用的三種。

硬極限傳輸函數(shù)

線性傳輸函數(shù)

a=n(2.1)

對數(shù)-S形傳輸函數(shù)

a=1/1+e-n

(2.2)第五頁，共三十頁。

a=hardlim(n)a=hardlim(wp+b)

硬極限傳輸函數(shù)單輸入hardlim神經(jīng)元圖2-2硬極限傳輸函數(shù)第六頁，共三十頁。

a=purelin(n)a=purelin(wp+b)

線性傳輸函數(shù)單輸入purelin神經(jīng)元圖2-3線性傳輸函數(shù)第七頁，共三十頁。

a=logsig(n)a=logsig(wp+b)

Log-Sigmoid

傳輸函數(shù)單輸入logsig神經(jīng)元圖2-4對數(shù)-S形傳輸函數(shù)第八頁，共三十頁。名稱輸入/輸出關(guān)系圖標(biāo)MATLAB函數(shù)硬極限函數(shù)a=0,n<0a=1,n≥0hardlim對稱硬極限函數(shù)a=-1,n<0a=+1,n≥0hardlims線性函數(shù)a=npurelin飽和線性函數(shù)a=0,n<0a=n,0≤n≤1a=1,n>1satlin對稱飽和線性函數(shù)a=-1,n<-1a=n,-1≤n≤1a=1,n>1satlins對數(shù)-S形函數(shù)a=1/1+e-nlogsig雙曲正切S形函數(shù)a=en-e-n/en+e-ntansig正線性函數(shù)a=0,n<0a=n,n≥0poslin競爭函數(shù)a=1,具有最大n的神經(jīng)元a=0,所有其他神經(jīng)元compet第九頁，共三十頁。

3.多輸入神經(jīng)元

權(quán)值矩陣通常，一個神經(jīng)元有不止一個輸入。具有R個輸入的神經(jīng)元如圖2-5所示。其輸入p1,p2,…,pR

分別對應(yīng)權(quán)值矩陣W的元素w1,1,w1,2,…,w1,R

。圖2-5多輸入神經(jīng)元第十頁，共三十頁。

該神經(jīng)元有一個偏置值b,它與所有輸入的加權(quán)和累加，從而形成凈輸入n：

n=w1,1p1+w1,2p2+…+w1,RpR+b

（2.3）這個表達(dá)式也可以寫成矩陣形式：n=Wp+b(2.4)其中單個神經(jīng)元的權(quán)值矩陣W只有一行元素。神經(jīng)元的輸出可以寫成：a=f(Wp+b)(2.5)

權(quán)值下標(biāo)權(quán)值矩陣元素下標(biāo)的第一個下標(biāo)表示權(quán)值相應(yīng)連接所指定的目標(biāo)神經(jīng)元編號，第二個下標(biāo)表示權(quán)值相應(yīng)連接的源神經(jīng)元編號。

簡化符號圖2-6為利用這種符號所表示的多輸入神經(jīng)元。第十一頁，共三十頁。

圖2-6具有R個輸入的神經(jīng)元的簡化符號在圖2-6中，左邊垂直的實(shí)心條表示輸入向量p，p下面的變量R×1表示p的維數(shù)，也即輸入是由R個元素組成的一維向量。這些輸入被送人權(quán)值矩陣W，W有1行R列。常量1則作為輸入與標(biāo)量偏置值b相乘。傳輸函數(shù)f的凈輸入是n，它是偏置值b與積Wp的和。在這種情況第十二頁，共三十頁。下，神經(jīng)元的輸出a是一個標(biāo)量。如果網(wǎng)絡(luò)有多個神經(jīng)元，那么網(wǎng)絡(luò)輸出就可能是一個向量。請注意，網(wǎng)絡(luò)的輸入是由問題的外部描述決定的。2.2.3網(wǎng)絡(luò)結(jié)構(gòu)1.神經(jīng)元的層層圖2-7是由S個神經(jīng)元組成的單層網(wǎng)絡(luò)。

該層包括權(quán)值矩陣、累加器、偏置值向量b、傳輸函數(shù)框和輸出向量a。第十三頁，共三十頁。輸入向量p的每個元素均通過權(quán)值矩陣W和每個神經(jīng)元相連。輸入向量通過如下權(quán)矩陣W進(jìn)入網(wǎng)絡(luò)：（2.6）同樣，具有S個神經(jīng)元、R個輸入的單層網(wǎng)絡(luò)也能用簡化的符號表示為如圖2-8所示的形式。

權(quán)值下標(biāo)權(quán)值矩陣元素下標(biāo)的第一個下標(biāo)表示權(quán)值相應(yīng)連接所指定的目標(biāo)神經(jīng)元編號，第二個下標(biāo)表示權(quán)值相應(yīng)連接的源神經(jīng)元編號。W2,3?第十四頁，共三十頁。

2.多層神經(jīng)元層上標(biāo)現(xiàn)在考慮具有幾層神經(jīng)元的網(wǎng)絡(luò)。每個變量都附加一個上標(biāo)來表示其所處層次。圖2-9所示的三層網(wǎng)絡(luò)就使用了這種標(biāo)記方法。第十五頁，共三十頁。

輸入層隱含層如果某層的輸出是網(wǎng)絡(luò)的輸出，那么稱該層為輸出層，而其他層叫隱含層。前面討論的三層網(wǎng)絡(luò)同樣也可以用簡化的符號表示，如圖2-10所示。第十六頁，共三十頁。

3.遞歸網(wǎng)絡(luò)延時在討論遞歸網(wǎng)絡(luò)前，首先介紹一些簡單的構(gòu)造模塊。第一種是延時模塊，如圖2-11所示。延時輸出a(t)由輸入u(t)根據(jù)下式計(jì)算得到：

a(t)=u(t-1)

（2.7）第十七頁，共三十頁。

積分器另一種將用于第15章至第18章中的連續(xù)時間遞歸網(wǎng)絡(luò)的構(gòu)造模塊是積分器，如圖2-12所示：

積分器的輸出a(t)由輸入u(t)根據(jù)下式計(jì)算得到：（2.8）第十八頁，共三十頁。

遞歸網(wǎng)絡(luò)一個遞歸網(wǎng)絡(luò)是一個帶反饋的網(wǎng)絡(luò)，其部分輸出連接到它的輸入。圖2-13給出了一種類型的離散時間遞歸網(wǎng)絡(luò)。

a(1)=satlins(Wa(0)+b),a(2)=satlins(Wa(1)+b),…第十九頁，共三十頁。2.3小結(jié)單輸入神經(jīng)元多輸入神經(jīng)元第二十頁，共三十頁。傳輸函數(shù)名稱輸入/輸出關(guān)系圖標(biāo)MATLAB函數(shù)硬極限函數(shù)a=0,n<0a=1,n≥0hardlim對稱硬極限函數(shù)a=-1,n<0a=+1,n≥0hardlims線性函數(shù)a=npurelin飽和線性函數(shù)a=0,n<0a=n,0≤n≤1a=1,n>1satlin對稱飽和線性函數(shù)a=-1,n<-1a=n,-1≤n≤1a=1,n>1satlins對數(shù)-S形函數(shù)a=1/1+e-nlogsig雙曲正切S形函數(shù)a=en-e-n/en+e-ntansig正線性函數(shù)a=0,n<0a=n,n≥0poslin競爭函數(shù)a=1,具有最大n的神經(jīng)元a=0,所有其他神經(jīng)元compet第二十一頁，共三十頁。神經(jīng)元層三層神經(jīng)元第二十二頁，共三十頁。延時模塊積分器模塊第二十三頁，共三十頁。遞歸網(wǎng)絡(luò)如何選取一種網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用問題的描述從如下幾個方面非常有助于定義網(wǎng)絡(luò)的結(jié)構(gòu)：

1）網(wǎng)絡(luò)的輸入個數(shù)=應(yīng)用問題的輸入數(shù)；

2）輸出層神經(jīng)元的數(shù)目=應(yīng)用問題的輸出數(shù)目；

第二十四頁，共三十頁。

3）輸出層的傳輸函數(shù)選擇至少部分依賴與應(yīng)用問題的輸出描述。2.4例題

P2.1一個單輸入神經(jīng)元的輸入是2.0，其權(quán)值是2.3，偏置值是-3。（i）傳輸函數(shù)的凈輸入是多少？（ii）神經(jīng)元的輸出是多少？解（i）傳輸函數(shù)的網(wǎng)絡(luò)輸出由下式給出：第二十五頁，共三十頁。

（ii）因?yàn)槲粗付▊鬏敽瘮?shù)，所以不能確定該神經(jīng)元的輸出。

P2.2如果P2.1中的神經(jīng)元分別具有如下傳輸函數(shù)，請問其輸出值分別是多少？（i）硬極限函數(shù)（ii）線性函數(shù)（iii）對數(shù)-S形（logsig）函數(shù)解（i）對硬極限傳輸函數(shù)有（ii）對線性傳輸函數(shù)有（iii）對對數(shù)-S形傳輸函數(shù)有第二十六頁，共三十頁。

P2.3

給定一個具有如下參數(shù)的兩輸入神經(jīng)元：b=1.2,W=[32],p=，試依據(jù)下列傳輸函數(shù)計(jì)算神經(jīng)元輸出：（i）對稱硬極限傳輸函數(shù)（ii）飽和現(xiàn)行傳輸函數(shù)（iii）雙曲正切S形（tansig）傳輸函數(shù)解首先計(jì)算凈輸入n:

現(xiàn)針對每種傳輸函數(shù)計(jì)算該神經(jīng)元的輸出。

第二十七頁，共三十頁。（i）（ii）（iii）

P2.4現(xiàn)有一個單層神經(jīng)網(wǎng)絡(luò)，具有6個輸入和2個輸出。輸出被限制為0到1之間的連續(xù)值。敘述該網(wǎng)絡(luò)的結(jié)構(gòu)，請說明：（i）需要多少個神經(jīng)元？（ii）權(quán)值矩陣的維數(shù)是多少？（iii）能夠采用什么傳輸函數(shù)？（iv）需要采用偏置值嗎？第二十八