第02章 神經元模型和網絡結構2009.10.1

第2章神經元模型和網絡結構2.1原理和實例2.2.1符號教材（本課程）中的圖、數(shù)學公式以及解釋圖和數(shù)學符號將使用以下符號：◆標量：小寫的余體字母，如a,b,c◆向量：小寫的黑體（即加粗）字母，如a，b,c,◆矩陣：大寫的黑體（即加粗）字母，如A,B,C2.2.2神經元模型1、單輸入神經元如圖2-1所示。標量輸入p乘上標量權值w得到wp，再將其送入累加器。另一個輸入1乘偏置值b，再將其送入累加器。累加器輸出n稱為凈輸入。它被送入一個傳輸函數(shù)f，在f中產生神經無的標量輸出a◆權值：w◆偏置值：b◆凈輸入：n◆傳輸函數(shù)：f傳輸函數(shù)也稱為活躍函數(shù)，偏置值也稱為偏移量2.2.2神經元模型神經元輸出按下式計算：實際輸出取取決于所選擇的特定傳輸函數(shù)。注意：

w和b是神經元的可調整的標量參數(shù)。設計者可以選擇特定的傳輸函數(shù)，在一些學習（訓練）規(guī)則中調整參數(shù)w和b，以滿足特定的需要。2.2.2神經元模型2、單輸入神經元◆硬極限傳輸函數(shù)：2.2.2神經元模型◆線性傳輸函數(shù)：2.2.2神經元模型◆對數(shù)-S形傳輸函數(shù)：該函數(shù)是可微。其它傳輸函數(shù)見表2-12.2.2神經元模型◆單層多神經元演示：1、先運行MATLAB,后在MATLAB的安裝目錄中的如下子目錄中找到：C:\ProgramFiles\MATLAB\R2007a\toolbox\nnet\nndemos\中找到nnd2n1.m，右擊運行。2、打開MATLAB幫助文件，并選中標簽頁“Demos”，按以下方式操作：(1)在左側的窗口中選擇：Toolboxes\NeuralNetwork\Neuros(2)然后在右側的窗口中選擇“Simpleneuroandtransferfunctions”(3)在右側窗口出現(xiàn)新的內容，找到“Runthisdemo”，然后點擊。

則會出現(xiàn)如下界面：2.2.2神經元模型3、多輸入神經元權值矩陣通常，一個神經神經元有不止一個輸入。具有R個輸入的神經元如圖2-5所示。p1,p2,...,pR分別對應的權值矩陣W的元素是w1,1,w1,2,...,w1,R.

神經元有一個偏置值b，它與所

有輸入的加權和累加，得到凈輸入n：這個表達式也可以寫成矩陣形式：神經元的輸出可以寫成：2.2.2神經元模型權值下標：◆第一個下標表示權值相應連接所指定的目標神經元編號，◆在多層網絡中第二個下標表示權值相應連接的源神經元編號，在單層網絡中表示輸入的編號w1,2表示從第2個輸入到第一個神

經元的連接。（書中相應地方解釋不妥）2.2.2神經元模型簡化符號：當畫出所有神經元之間的連接后，網絡將會多么復雜。而且對連接的詳細描述也會掩蓋網絡的主要特征，所以本書將采用簡化符號來表示神經元。如右圖，左邊垂直的實心條表示輸入向量p，p下面的變量R×1表示輸入是由R個元素組成的一維向量。W有1行R列。常量l則作為輸入與標量偏置值b相乘。傳輸函數(shù)f的凈輸入是n。，它是偏置值b與積Wp的和。神經元的輸出“是一個標量。如果網絡有多個神經：元，那么網絡輸出就可能是一個向量。簡化符號圖中，要標出變量維數(shù)。2.2.2神經元模型◆單層多神經元演示：1、先運行MATLAB,后在MATLAB的安裝目錄中的如下子目錄中找到：C:\ProgramFiles\MATLAB\R2007a\toolbox\nnet\nndemos\中找到nnd2n2.m，右擊運行。2、打開MATLAB幫助文件，并選中標簽頁“Demos”，按以下方式操作：(1)在左側的窗口中選擇：Toolboxes\NeuralNetwork\Neuros(2)然后在右側的窗口中選擇“Neuronwithvectorinput”(3)在右側窗口出現(xiàn)新的內容，找到“Runthisdemo”，然后點擊。

則會出現(xiàn)如下界面：2.2.3網絡結構（P13）一般來說，有多個輸入的單個神經元并不能滿足實際應用的要求。在實際應用中需要有多個并行操作的神經元，這里將這些可以并行操作的神經元組成的集合稱為“層”。1．神經元的層圖2-7是由S個神經元組成的單層網絡。注意，R個輸入中的每一個均與每個神經元相連，權值矩陣現(xiàn)在有S行。該層包括權值矩陣W、累加器、偏置值向量b、傳輸函數(shù)框和輸出向量a輸入向量通過如下權矩陣W進入網絡：2.2.3網絡結構（P13）注意：

1、通常每層的輸入個數(shù)并不等于該層中神經元的數(shù)目(即R≠S)

2、同一層中所有神經元的傳輸函數(shù)不一定相同同樣，具有S個神經元、

R個輸入的單層網絡也能用

簡化的符號表示為如圖2-8

所示2.多層神經網絡層上標

考慮具有幾層神經元的網絡。每層都有自己的枚值矩陣W、偏置值向量b、凈輸人向量n和一個輸出向量a。用上標來標注這些層次，第一層的權值矩陣可以寫為W1，第二層的權值矩陣可以寫為W2等。2.2.3網絡結構—2多層神經元（P13）注意：如圖所示，第一層有R個輸入、S1個神經元，第二層有