神經(jīng)網(wǎng)絡(luò)最終版課件

1、人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識1.人工神經(jīng)網(wǎng)絡(luò)概述什么是人工神經(jīng)網(wǎng)絡(luò) (Artificial NeuralNetwroks-ANN)？ 生物神經(jīng)網(wǎng)絡(luò)( natural neural network, NNN): 由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺神經(jīng)、運動神經(jīng)等）所構(gòu)成的錯綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，其中最重要的是腦神經(jīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)(artificial neural networks, ANN): 模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運用大量簡單處理單元經(jīng)廣泛連接而組成的人工網(wǎng)絡(luò)系統(tǒng)。T.Koholen的定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系

2、統(tǒng)對真實世界物體所作出的交互反應(yīng)?！?.1 研究ANN目的1.2 ANN的研究內(nèi)容1.3 研究ANN方法1.4 神經(jīng)網(wǎng)絡(luò)的發(fā)展概況1.5 神經(jīng)網(wǎng)絡(luò)的特點1. 人工神經(jīng)網(wǎng)絡(luò)概述 利用機器模仿人類的智能是長期以來人們認識自然、改造自然和認識自身的理想。1.1 研究ANN目的：（1）探索和模擬人的感覺、思維和行為的規(guī)律，設(shè)計具有人類智能的計算機系統(tǒng)。（2）探討人腦的智能活動，用物化了的智能來考察和研究人腦智能的物質(zhì)過程及其規(guī)律。 1.2 ANN的研究內(nèi)容（1）理論研究：ANN模型及其學(xué)習(xí)算法，試圖從數(shù)學(xué)上描述ANN的動力學(xué)過程，建立相應(yīng)的ANN模型，在該模型的基礎(chǔ)上，對于給定的學(xué)習(xí)樣本，找出一種能以

3、較快的速度和較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)達到穩(wěn)定狀態(tài)，滿足學(xué)習(xí)要求的算法。（2）實現(xiàn)技術(shù)的研究：探討利用電子、光學(xué)、生物等技術(shù)實現(xiàn)神經(jīng)計算機的途徑。（3）應(yīng)用的研究：探討如何應(yīng)用ANN解決實際問題，如模式識別、故障檢測、智能機器人等。 1.3 研究ANN方法（1）生理結(jié)構(gòu)的模擬： 用仿生學(xué)觀點，探索人腦的生理結(jié)構(gòu)，把對人腦的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合起來即人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Netwroks，簡稱ANN）方法。（2）宏觀功能的模擬： 從人的思維活動和智能行為的心理學(xué)特性出發(fā)，利用計算機系統(tǒng)來對人腦智能進行宏觀功能的模擬，即符號處理方法。 探索時期:（

4、開始于20世紀(jì)40年代） 1943年，麥克勞（W. S. McCullocn）和匹茨（W. A. Pitts）首次提出一個神經(jīng)網(wǎng)絡(luò)模型MP模型。 1949年，赫布（D. O. Hebb）提出改變神經(jīng)元連接強度的 Hebb學(xué)習(xí)規(guī)則。1.4 神經(jīng)網(wǎng)絡(luò)的發(fā)展概況 1958年，羅森布拉特（F. Rosenblatt）提出感知器模型（perceptron）。 1959年，威德羅(B. Widrow)等提出自適應(yīng)線性元件（adaline）網(wǎng)絡(luò)，通過訓(xùn)練后可用于抵消通信中的回波和噪聲。 1960年， 他和 M. Hoff 提出LMS （Least Mean Square 最小方差）算法的學(xué)習(xí)規(guī)則。 第一次熱

5、潮時期：(20世紀(jì)50年代末 20世紀(jì)60年代初)1.5 人工神經(jīng)網(wǎng)絡(luò)的特點(1) 固有的并行結(jié)構(gòu)和并行處理人工神經(jīng)網(wǎng)絡(luò)與人類的大腦類似，不但結(jié)構(gòu)上是并行的，其處理順序也是并行的和同時的。在同一層內(nèi)的處理單元都是同時工作的，即神經(jīng)網(wǎng)絡(luò)的計算功能分布在多個處理單元上，而傳統(tǒng)的計算機通常只有一個處理單元，其處理順序是串行的。目前的神經(jīng)網(wǎng)絡(luò)功能常常用一般計算機的串行工作方式來模擬，所以顯得很慢，真正意義上的神經(jīng)網(wǎng)絡(luò)將會大大提高處理速度，實現(xiàn)快速處理。 (2) 知識的分布存儲在神經(jīng)網(wǎng)絡(luò)中，知識不是存儲在特定的存儲單元，而是分布在整個系統(tǒng)中，要存儲多個知識就需要很多連接。在計算機中，只要給定一個地址就可

6、以得到一個或一組數(shù)據(jù)，在神經(jīng)網(wǎng)絡(luò)中，要獲得存儲的知識則采用“聯(lián)想”的辦法，這類似于人類和動物的記憶。當(dāng)一個神經(jīng)網(wǎng)絡(luò)輸入一個激勵時，它要在已存儲的知識中尋找與該輸入匹配最好的知識存儲為其解。人類根據(jù)聯(lián)想善于正確識別圖形，人工神經(jīng)網(wǎng)絡(luò)也具有這種能力。 （3） 容錯性人類大腦具有很強的容錯能力，這正是由于大腦中知識是存儲在很多處理單元和它們的連接上的。每天大腦的一些細胞都可能會自動死亡，但這并沒有影響人們的記憶和思考能力。人工神經(jīng)網(wǎng)絡(luò)可以從不完善的數(shù)據(jù)和圖形進行學(xué)習(xí)和做出決定由于知識存在整個系統(tǒng)中，而不是在一個存儲單元內(nèi)，因此一定比例的結(jié)點不參與運算，對整個系統(tǒng)的性能不會產(chǎn)生重大影響。神經(jīng)網(wǎng)絡(luò)中承受

7、硬件損壞的能力比一般計算機要強得多。（輸入）（輸出） 神經(jīng)沖動神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動，樹突由于電化學(xué)作用接受外界的刺激(輸入)；通過胞體內(nèi)的活動體現(xiàn)為軸突電位，當(dāng)軸突電位達到一定的值則形成神經(jīng)脈沖或動作電位；再通過軸突末梢傳遞給其他神經(jīng)元(輸出) 。從控制論的觀點來看，這一過程可以看作一個多輸入單輸出非線性系統(tǒng)的動態(tài)過程。生物神經(jīng)網(wǎng)絡(luò)基本模型神經(jīng)元的 工作狀態(tài)： 興奮狀態(tài)：細胞膜電位 動作電位的閾值 神經(jīng)沖動 抑制狀態(tài)：細胞膜電位 0，此時who0情況二直觀表達當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)小于零時，權(quán)值調(diào)整量為正，實際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實際輸出與期望輸出的差減少

8、。e0who3.3 BP算法的實現(xiàn)（1） 隱層數(shù)及隱層神經(jīng)元數(shù)的確定：目前尚無理論指導(dǎo)。（2）初始權(quán)值的設(shè)置：一般以一個均值為0的隨機分布設(shè)置網(wǎng)絡(luò)的初始權(quán)值。 （3）訓(xùn)練數(shù)據(jù)預(yù)處理：線性的特征比例變換，將所有的特征變換到0，1或者-1，1區(qū)間內(nèi)，使得在每個訓(xùn)練集上，每個特征的均值為0，并且具有相同的方差。（4）后處理過程：當(dāng)應(yīng)用神經(jīng)網(wǎng)絡(luò)進行分類操作時，通常將輸出值編碼成所謂的名義變量，具體的值對應(yīng)類別標(biāo)號。 （1）. BP算法的設(shè)計 3.3 BP算法的實現(xiàn) 初始化：對所有連接權(quán)和閾值賦以隨機任意小值； 從 N 組輸入輸出樣本中取一組樣本： x=x1, x2, xp1T, d=d1, d2,dp

9、mT, 把輸入信息x=x1, x2, xp1T輸入到BP網(wǎng)絡(luò)中 正向傳播：計算各層節(jié)點的輸出： 計算網(wǎng)絡(luò)的實際輸出與期望輸出的誤差： （2）. BP算法的計算機實現(xiàn)流程 反向傳播：從輸出層方向計算到第一個隱層，按連接權(quán)值修正公式向減小誤差方向調(diào)整網(wǎng)絡(luò)的各個連接權(quán)值。 讓t+1t，取出另一組樣本重復(fù)（2）（5），直到 N 組輸入輸出樣本的誤差達到要求時為止。 BP學(xué)習(xí)算法程序框圖（3）BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實現(xiàn) MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 生成網(wǎng)絡(luò)：newff 學(xué)習(xí)規(guī)則： learngd，learngdm 訓(xùn)練算法：traingd，traingdm，traingd

10、a，traingdx，trainlm 變換函數(shù)：tansig，purelin，logsig 訓(xùn)練網(wǎng)絡(luò)：train 仿真網(wǎng)絡(luò)：sim 畫圖：plotes，plotep，ploterr，barerr newff 該函數(shù)用于創(chuàng)建一個BP網(wǎng)絡(luò)。調(diào)用格式為： net=newff net=newff(PR,S1 S2.SN1,TF1 TF2.TFN1, BTF,BLF,PF) 其中,net=newff;用于在對話框中創(chuàng)建一個BP網(wǎng)絡(luò)。 net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)； PR為網(wǎng)絡(luò)輸入向量取值范圍的矩陣； S1 S2SNl表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個數(shù)； TFl TF2TFN1表示網(wǎng)絡(luò)隱含層和輸出層的傳輸

11、函數(shù)，默認為tansig； BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認為trainlm； BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認為learngdm； PF表示性能數(shù)，默認為mse。 例：基于BP神經(jīng)網(wǎng)絡(luò)逼近函數(shù) 要求設(shè)計一個BP網(wǎng)絡(luò)逼近以下函數(shù)： 其中，分別令k=1，2，4進行仿真，通過調(diào)節(jié)參數(shù)（如隱藏層節(jié)點個數(shù)等）得出信號的頻率與隱層節(jié)點之間，隱層節(jié)點與函數(shù)逼近能力之間的關(guān)系。步驟1：假設(shè)頻率參數(shù)k=1，繪制要逼近的非線性函數(shù)的曲線。k=1;p=-1:.05:8;t=1+sin(k*pi/4*p);plot（p，t，-)；title(要逼近的非線性函數(shù));xlabel(時間);ylabel(非線性函數(shù));應(yīng)

12、用newff()函數(shù)建立BP網(wǎng)絡(luò)結(jié)構(gòu)。隱層神經(jīng)元數(shù)目n可以改變，暫設(shè)為n=3，輸出層有一個神經(jīng)元。選擇隱層和輸出層神經(jīng)元傳遞函數(shù)分別為tansig函數(shù)和purelin函數(shù)，網(wǎng)絡(luò)訓(xùn)練的算法采用LM算法trainlm。n=3;net = newff(minmax(p),n,1,tansig purelin,trainlm);%對于初始網(wǎng)絡(luò)，可以應(yīng)用sim（）函數(shù)觀察網(wǎng)絡(luò)輸出。y1=sim(net,p);figure;plot(p,t,-,p,y1,:)title(未訓(xùn)練網(wǎng)絡(luò)的輸出結(jié)果);xlabel(時間);ylabel(仿真輸出-原函數(shù)-);步驟2：網(wǎng)絡(luò)的建立其中 “ ” 代表要逼近的非線性函數(shù)

13、曲線；“” 代表未經(jīng)訓(xùn)練的函數(shù)曲線；步驟3：網(wǎng)絡(luò)訓(xùn)練應(yīng)用train（）函數(shù)對網(wǎng)絡(luò)進行訓(xùn)練之前，需要預(yù)先設(shè)置網(wǎng)絡(luò)訓(xùn)練參數(shù)。將訓(xùn)練時間設(shè)置為50，訓(xùn)練精度設(shè)置為0.01，其余參數(shù)使用缺省值。 net.trainParam.epochs=50; %網(wǎng)絡(luò)訓(xùn)練時間設(shè)置為50net.trainParam.goal=0.01; %網(wǎng)絡(luò)訓(xùn)練精度設(shè)置為0.01net=train(net,p,t); %開始訓(xùn)練網(wǎng)絡(luò)訓(xùn)練后得到的誤差變化過程 步驟4： 網(wǎng)絡(luò)測試對于訓(xùn)練好的網(wǎng)絡(luò)進行仿真： y2=sim(net,p); figure; plot(p,t,-,p,y1,:,p,y2, -) title(訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)

14、果); xlabel(時間); ylabel(仿真輸出);其中 “ ” 代表要逼近的非線性函數(shù)曲線；“” 代表未經(jīng)訓(xùn)練的函數(shù)曲線；“” 代表經(jīng)過訓(xùn)練的函數(shù)曲線；不同頻率下的逼近效果（1）頻率參數(shù)設(shè)為k=2，當(dāng)隱層神經(jīng)元數(shù)目分別取n=3、n=6時 當(dāng)n=3時訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 當(dāng)n=6時訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果（2）頻率參數(shù)設(shè)為k=4，當(dāng)隱層神經(jīng)元數(shù)目分別取n=6、n=8時 當(dāng)n=6時訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果 當(dāng)n=8時訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果結(jié)論 通過上述仿真結(jié)果可知，當(dāng) k=1，n=3時；k=2，n=6時； k=4，n=8時，BP神經(jīng)網(wǎng)絡(luò)分別對函數(shù)取得了較好的逼近效果。由此可見，n取不同的值對函數(shù)逼近

15、的效果有很大的影響。改變BP網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目，可以改變BP神經(jīng)網(wǎng)絡(luò)對于函數(shù)的逼近效果。隱層神經(jīng)元數(shù)目越多，則BP網(wǎng)絡(luò)逼近非線性函數(shù)的能力越強。RBF神經(jīng)網(wǎng)絡(luò) 徑向基函數(shù)(Radial Basis Function，RBF)網(wǎng)絡(luò)是由Moody J和Darken C于20世紀(jì)80年代末提出的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是一種有監(jiān)督的神經(jīng)網(wǎng)絡(luò)。它是借鑒生物機制中的局部凋節(jié)及交叉接受區(qū)域知識的基礎(chǔ)上提出的一種采用局部接受域來執(zhí)行函數(shù)映射的人工神經(jīng)網(wǎng)絡(luò)。 RBF網(wǎng)絡(luò)最基本的構(gòu)成包括3層，其中每一層都有著完全不同的作用。1. RBF 神經(jīng)網(wǎng)絡(luò)概念1.1 RBF 神經(jīng)網(wǎng)絡(luò)概況：Neuron：神經(jīng)元輸入輸出X1x1

16、1x12x13x14y1X2x21x22x23x24y2X3x31x32x33x34y3X4x41x42x43x44y4.Xnxn1xn2xn3xn4yn 1.1.1神經(jīng)網(wǎng)絡(luò)基礎(chǔ)：1.1.1 RBF 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)：Neuron：神經(jīng)元分類回歸1.1.1 RBF 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)： RBF 神經(jīng)網(wǎng)絡(luò)的本質(zhì)：把輸入數(shù)據(jù)從一個空間轉(zhuǎn)換到另一個空間。1.1.2 RBF 神經(jīng)網(wǎng)絡(luò)的例子 徑向基函數(shù)有多種形式，如：二次型、逆二次型或Gauss型等。若采用高斯函數(shù)作為徑向基函數(shù)，則神經(jīng)元的輸出為：1.2 RBF 神經(jīng)網(wǎng)絡(luò)的正式定義Gaussian RBF(GRBF)1.2.1 RBF 神經(jīng)網(wǎng)絡(luò)的分類： 一、 E

17、eact 有幾組數(shù)據(jù)，就有幾個 ，適合數(shù)據(jù)比較少的網(wǎng)絡(luò) 二、Approximate 如果數(shù)據(jù)多，需要先對數(shù)據(jù)進行歸類 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 （1）自動控制領(lǐng)域。神經(jīng)網(wǎng)絡(luò)方法已經(jīng)覆蓋了控制理論中的絕大多數(shù)問題，主要有系統(tǒng)建模與辨識、PID 參數(shù)整定、極點配置、內(nèi)?？刂?、優(yōu)化設(shè)計、預(yù)測控制、最優(yōu)控制、自適應(yīng)控制、濾波與預(yù)測容錯控制、模糊控制和學(xué)習(xí)控制等。 （2）處理組合優(yōu)化問題。最典型的例子是成功地解決了TSP問題，即旅行推銷員問題。另外還有最大匹配問題、裝箱問題和作業(yè)調(diào)度等。2.神經(jīng)網(wǎng)絡(luò)的應(yīng)用神經(jīng)網(wǎng)絡(luò)PID控制(neural network PID control) 經(jīng)典增量式數(shù)字PID 的控制算法為

18、： NN 是一個三層BP 網(wǎng)絡(luò), 有M個輸入節(jié)點、N 個隱含節(jié)點、3個輸出節(jié)點。輸入節(jié)點對應(yīng)所選的系統(tǒng)運行狀態(tài)量, 輸出節(jié)點分別對應(yīng)PID 控制器的3個可調(diào)參數(shù)kp , ki , kd 。 （3）模式識別。已成功應(yīng)用于手寫字符、汽車牌照、指紋和聲音識別，還可用于目標(biāo)的自動識別和定位、機器人傳感器的圖像識別以及地震信號的鑒別等。 （4）機器人控制。對機器人眼手系統(tǒng)位置進行協(xié)調(diào)控制，用于機械手的故障診斷、智能自適應(yīng)移動機器人的導(dǎo)航。 （5）信號處理。能分別對通訊、語音、心電和腦電信號進行處理分類；可用于海底聲納信號的檢測與分類，在反潛、掃雷等方面得到應(yīng)用。 （6）衛(wèi)生保健、醫(yī)療。比如通過訓(xùn)練自主組合的多層感知器可以區(qū)分正常心跳和非正常心跳。 （7）經(jīng)濟。能對商品價格、股票價格和企業(yè)的可信度等進行短期預(yù)測。 （8）化工領(lǐng)域。能對制藥、生物化學(xué)和化學(xué)工程等進行分析。如：進行蛋白質(zhì)結(jié)構(gòu)分析、譜分析和化學(xué)反應(yīng)分析等。 （9）圖像處理。對圖像進行邊緣監(jiān)測、圖像分割、圖像壓縮和圖像恢復(fù)。 （10）傳感器信號