第四章神經網絡基本理論

第四章神經網絡基本理論第1頁，課件共48頁，創(chuàng)作于2023年2月4.1人工神經元模型人工神經元是對人或其它生物的神經元細胞的若干基本特性的抽象和模擬。

生物神經元模型生物神經元主要由細胞體、樹突和軸突組成，樹突和軸突負責傳入和傳出信息，興奮性的沖動沿樹突抵達細胞體，在細胞膜上累積形成興奮性電位；相反，抑制性沖動到達細胞膜則形成抑制性電位。兩種電位進行累加，若代數和超過某個閾值，神經元將產生沖動。

第2頁，課件共48頁，創(chuàng)作于2023年2月4.1人工神經元模型人工神經元模型模仿生物神經元產生沖動的過程，可以建立一個典型的人工神經元數學模型[x1,…,xn]T為輸入向量，y為輸出，f(·)為激發(fā)函數，θ為閾值。Wi為神經元與其它神經元的連接強度，也稱權值。第3頁，課件共48頁，創(chuàng)作于2023年2月4.1人工神經元模型常用的激發(fā)函數f的種類：1）閾值型函數第4頁，課件共48頁，創(chuàng)作于2023年2月4.1人工神經元模型2）飽和型函數3）雙曲函數第5頁，課件共48頁，創(chuàng)作于2023年2月4.1人工神經元模型4）S型函數5）高斯函數第6頁，課件共48頁，創(chuàng)作于2023年2月4.2神經網絡的定義和特點神經網絡系統(tǒng)是由大量的神經元，通過廣泛地互相連接而形成的復雜網絡系統(tǒng)。

定義

特點（1）非線性映射逼近能力?？梢员平我獾倪B續(xù)非線性函數映射關系。（2）自適應性和自組織性。神經元之間的連接具有多樣性，各神經元之間的連接強度具有可塑性，網絡可以通過學習與訓練進行自組織。（3）并行處理性。網絡的各單元可以同時進行類似的處理過程，整個網絡的信息處理方式是大規(guī)模并行的，可以大大加快對信息處理的速度。（4）分布存儲和容錯性。網絡的每部分對信息的存儲具有等勢作用，部分的信息丟失仍可以信息得到恢復，因而網絡具有容錯性和聯想記憶功能。（5）便于集成實現和計算模擬。第7頁，課件共48頁，創(chuàng)作于2023年2月4.3感知器模型感知器(Perceptron)是由美國學者F.Rosenblatt于1957年提出的，它是一個具有單層計算單元的神經網絡，并由線性閾值元件組成。

激發(fā)函數為閾值型函數，當其輸入的加權和大于或等于閾值時，輸出為1，否則為0或-1。它的權系W可變，這樣它就可以學習。

感知器的結構第8頁，課件共48頁，創(chuàng)作于2023年2月4.3感知器模型感知器的學習算法學習算法：①給定初始值：賦給Wi(0)各一個較小的隨機非零值，這里Wi(t)為t時刻第i個輸入的權(1≤i≤n)，Wn+1(t)為t時刻的閾值；

②輸入一樣本X=(xi,…,xn,1)和它的希望輸出d；

③計算實際輸出④修正權W

：

Wi(t+1)=Wi(t)+η[d-Y(t)]xi,i=1,2,…,n+1

⑤轉到②直到W對一切樣本均穩(wěn)定不變?yōu)橹埂?/p>

第9頁，課件共48頁，創(chuàng)作于2023年2月4.3感知器模型根據某樣本訓練時，均方差隨訓練次數的收斂情況第10頁，課件共48頁，創(chuàng)作于2023年2月4.4神經網絡的構成和分類

構成

從Perceptron模型可以看出神經網絡通過一組狀態(tài)方程和一組學習方程加以描述。狀態(tài)方程描述每個神經元的輸入、輸出、權值間的函數關系。學習方程描述權值應該怎樣修正。神經網絡通過修正這些權值來進行學習，從而調整整個神經網絡的輸入輸出關系。分類

（1）從結構上劃分

通常所說的網絡結構，主要是指它的聯接方式。神經網絡從拓撲結構上來說，主要分為層狀和網狀結構。

第11頁，課件共48頁，創(chuàng)作于2023年2月4.4神經網絡的構成和分類①層狀結構：網絡由若干層組成，每層中有一定數量的神經元，相鄰層中神經元單向聯接，一般同層內神經元不能聯接。前向網絡：只有前后相鄰兩層之間神經元相互聯接，各神經元之間沒有反饋。每個神經元從前一層接收輸入，發(fā)送輸出給下一層。

第12頁，課件共48頁，創(chuàng)作于2023年2月4.4神經網絡的構成和分類②網狀結構：網絡中任何兩個神經元之間都可能雙向聯接。反饋網絡：從輸出層到輸入層有反饋，每一個神經元同時接收外來輸入和來自其它神經元的反饋輸入，其中包括神經元輸出信號引回自身輸入的自環(huán)反饋。

混合型網絡：前向網絡的同一層神經元之間有互聯的網絡。第13頁，課件共48頁，創(chuàng)作于2023年2月4.4神經網絡的構成和分類（2）從激發(fā)函數的類型上劃分

高斯基函數神經網絡、小波基函數神經網絡、樣條基函數神經網絡等

（3）從網絡的學習方式上劃分①有導師學習神經網絡②有導師學習神經網絡（4）從學習算法上來劃分：基于BP算法的網絡、基于Hebb算法的網絡、基于競爭式學習算法的網絡、基于遺傳算法的網絡。第14頁，課件共48頁，創(chuàng)作于2023年2月4.4多層前向BP神經網絡

多層前向神經網絡的結構多層前向神經網絡由輸入層、隱層（不少于1層）、輸出層組成，信號沿輸入——>輸出的方向逐層傳遞。第15頁，課件共48頁，創(chuàng)作于2023年2月4.4多層前向BP神經網絡沿信息的傳播方向，給出網絡的狀態(tài)方程，用Inj(i)，Outj(i)表示第i層第j個神經元的輸入和輸出，則各層的輸入輸出關系可描述為：第一層（輸入層）：將輸入引入網絡第二層（隱層）第三層（輸出層）第16頁，課件共48頁，創(chuàng)作于2023年2月4.4多層前向BP神經網絡網絡的學習

學習的基本思想是：誤差反傳算法調整網絡的權值，使網絡的實際輸出盡可能接近期望的輸出。假設有M個樣本:

將第k個樣本Xk輸入網絡，得到的網絡輸出為定義學習的目標函數為：第17頁，課件共48頁，創(chuàng)作于2023年2月4.4多層前向BP神經網絡訓練算法是：令則第18頁，課件共48頁，創(chuàng)作于2023年2月4.4多層前向BP神經網絡學習的步驟：（1）依次取第k組樣本，將Xk輸入網絡。（2）依次計算

，如果

，退出。（3）計算（4）計算（5），修正權值，返回（1）

第19頁，課件共48頁，創(chuàng)作于2023年2月例4.1多層前向BP網絡訓練訓練樣本SISO：SampleInput=[00.10.20.30.4];SampleOutput=[42222];網絡結構：第20頁，課件共48頁，創(chuàng)作于2023年2月網絡輸入輸出關系：需訓練的量：第21頁，課件共48頁，創(chuàng)作于2023年2月訓練算法：第22頁，課件共48頁，創(chuàng)作于2023年2月訓練初始參數：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;第23頁，課件共48頁，創(chuàng)作于2023年2月訓練后參數：W1＝[-0.40598.5182-0.5994-0.1153-1.1916];W2=[0.62452.83820.66320.57833.5775];Beta=[1.6219-4.94031.60411.5145-0.3858];Theta=[1.58320.19001.54061.6665-0.1441];第24頁，課件共48頁，創(chuàng)作于2023年2月訓練1000次目標函數的變化曲線：第25頁，課件共48頁，創(chuàng)作于2023年2月訓練結束后神經網絡的輸出與樣本的擬和情況第26頁，課件共48頁，創(chuàng)作于2023年2月4.4多層前向BP神經網絡前向網絡進一步需研究的問題

局部最優(yōu)問題，（網絡初值選取不恰當）。學習算法收斂速度慢，Sigmaid函數本身存在無窮多閃導數，而BP算法只用了一次導數，致使收斂速度慢。網絡的運行是單向傳播，沒有反饋，是一個非淺性映射，而不是非淺性動力系統(tǒng)。網絡隱層節(jié)點個數和初始權值的選取，尚無理論指導。

第27頁，課件共48頁，創(chuàng)作于2023年2月4.5大腦自組織神經網絡腦神經科學研究表明：傳遞感覺的神經元排列是按某種規(guī)律有序進行的，這種排列往往反映所感受的外部刺激的某些物理特征。

大腦自組織神經網絡在接受外界輸入時，將會分成不同的區(qū)域，不同的區(qū)域對不同的模式具有不同的響應特征，即不同的神經元以最佳方式響應不同性質的信號激勵，從而形成一種拓撲意義上的有序排列

第28頁，課件共48頁，創(chuàng)作于2023年2月4.5大腦自組織神經網絡在這種網絡中，輸出節(jié)點與其鄰域其他節(jié)點廣泛相連，并互相激勵。輸入節(jié)點和輸出節(jié)點之間通過強度wij(t)相連接。通過某種規(guī)則，不斷地調整wij(t)，使得在穩(wěn)定時，每一鄰域的所有節(jié)點對某種輸入具有類似的輸出，并且這種聚類的概率分布與輸入模式的概率分布相接近。

第29頁，課件共48頁，創(chuàng)作于2023年2月4.5大腦自組織神經網絡自組織學習算法：權值初始化并選定領域的大??；(2)輸入模式；

(3)計算空間距離(4)選擇節(jié)點j*，它滿足(5)按下式改變j*和其領域節(jié)點的連接強度

wij(t+1)=wij(t)+η(t)[xi(t)-wij(t)],η(t)為衰減因子。

(6)返回到第(2)步，直至滿足[xi(t)-wij(t)]2＜ε。第30頁，課件共48頁，創(chuàng)作于2023年2月4.5大腦自組織神經網絡例4.2大腦自組織網絡的訓練輸入模式：X＝[x1,x2,x3]網絡節(jié)點數量：9鄰域：1網絡初始權值：W=[0.11220.01470.28160.78390.90280.82890.52080.46080.4435

0.44330.66410.26180.98620.45110.16630.71810.44530.3663

0.46680.72410.70850.47330.80450.39390.56920.08770.3025];第31頁，課件共48頁，創(chuàng)作于2023年2月4.5大腦自組織神經網絡1.單模式訓練情況輸入為：X=[001]結果：W=[0.11220.00000.00000.00000.90280.82890.52080.46080.44350.44330.00000.00000.00000.45110.16630.71810.44530.36630.46681.00001.00001.00000.80450.39390.56920.08770.3025]輸入為：X=[010]結果：W=[0.11220.01470.28160.78390.90280.82890.00000.00000.00000.44330.66410.26180.98620.45110.16631.00001.00001.00000.46680.72410.70850.47330.80450.39390.00000.00000.0000]第32頁，課件共48頁，創(chuàng)作于2023年2月4.5大腦自組織神經網絡2.多模式訓練情況100010001Input=訓練結果：0.00000.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.00000.00000.00001.00001.00001.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.0000W＝網絡輸出：Output=Input*W=0.00000.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.00000.00000.00001.00001.00001.00001.00001.00001.00000.00000.00000.00000.00000.00000.00000.0000模式1模式2模式3模式2模式1模式3模式1模式2模式3第33頁，課件共48頁，創(chuàng)作于2023年2月4.6小腦神經網絡小腦模型關節(jié)控制器（CMAC）是由Albus最初于1975年基于神經生理學提出的，它是一種基于局部逼近的簡單快速的神經網絡，能夠學習任意多維非線性映射,迄今已廣泛用于許多領域。CMAC具有優(yōu)點：具有局部逼近能力，每次修正的權值極少，學習速度快，適合于在線學習；一定的泛化能力，相近輸入給出相近輸出，不同輸入給出不同輸出；第34頁，課件共48頁，創(chuàng)作于2023年2月4.6小腦神經網絡CMAC的原理CMAC是一種模仿人類小腦的學習結構,每個狀態(tài)變量被量化并且輸入空間被劃分成離散狀態(tài)。量化的輸入構成的向量指定了一個離散狀態(tài)并且被用于產生地址來激活聯想單元中存儲的聯想強度從而恢復這個狀態(tài)的信息。第35頁，課件共48頁，創(chuàng)作于2023年2月4.6小腦神經網絡CMAC的空間劃分和量化機制超立方體聯想單元“塊”第36頁，課件共48頁，創(chuàng)作于2023年2月4.6小腦神經網絡CMAC學習的數學推導1)無hash映射的CMAC每個量化的狀態(tài)對應Ne個聯想單元。假設Nh是總的聯想單元的數量，該數量與沒有hash映射時的物理存儲空間大小一致。用CMAC技術，第s個狀態(tài)對應的輸出數據ys可以被表示為：

式中W是代表存儲內容（聯想強度）的向量，Cs是存儲單元激活向量，該向量包含Ne個1。第37頁，課件共48頁，創(chuàng)作于2023年2月4.6小腦神經網絡2)有hash映射的CMAChash映射將幾個聯想單元和一個物理存儲位置(hash單元)相對應。hash單元中存儲聯想強度，而此時的聯想單元是虛擬的存儲空間，只存儲hash單元的散列地址編碼。用有hash映射的CMAC技術，第s個狀態(tài)對應的輸出數據ys可以被表示為：Mp是hash單元的數量。hij=1表示聯想單元i激活hash單元j。由于每個聯想單元僅僅和一個hash單元相對應，所以hash矩陣H的每一行僅有一個單元等于1，其余的都等于0。

第38頁，課件共48頁，創(chuàng)作于2023年2月4.6小腦神經網絡

沒有hash映射的公式和有hash映射的公式可以合并為一個式子：

CMAC的學習CMAC用迭代算法來訓練聯想強度。在學習中，我們將Ns個訓練數據重復用于學習。在第i次迭代中用第s個樣本學習的迭代算法為：

S：樣本數i：迭代次數α：學習率期望輸出第39頁，課件共48頁，創(chuàng)作于2023年2月4.6小腦神經網絡第40頁，課件共48頁，創(chuàng)作于2023年2月4.6小腦神經網絡例4.3CMAC訓練樣本：SampleInput1=[0.050.150.250.35];SampleInput2=[0.050.150.250.35];SampleOutput=[4444;2222;3333;1111];量化：兩輸入均量化為四個元素ifx1>0&&x1<=0.1indexX1=1;elseifx1>0.1&&x1<=0.2indexX1=2;elseifx1>0.2&&x1<=0.3indexX1=3;elseifx1>0.3&&x1<=0.4indexX1=4;end第41頁，課件共48頁，創(chuàng)作于2023年2月4.6小腦神經網絡狀態(tài)編號：MSTATENUM=12345678910111213141516激活向量矩陣：

100010001000100001001000100001000100010001000100100000101000100000011000100000010100010000010100100000100010100000010010100000010001010000010001001000100010001000010010001000010001000100010001MC=第42頁，課件共48頁，創(chuàng)作于2023年2月4.6小腦神經網絡聯想強度初始值：Weig