神經(jīng)網(wǎng)絡(luò)模型及算法簡介課件

神經(jīng)網(wǎng)絡(luò)算法

簡介智能算法之一（1）具有高速信息處理的能力（2）知識存儲容量大（3）具有一定的不確定性信息處理能力（4）具有健壯性（5）善于處理非線性的系統(tǒng)的能力神經(jīng)網(wǎng)絡(luò)算法的特點（1）模式識別圖像識別、語音識別、手寫體識別等。（2）信號處理特征提取、燥聲抑制、統(tǒng)計預(yù)測、數(shù)據(jù)壓縮、機器人視覺等。（3）判釋決策模糊評判、市場分析、系統(tǒng)辯識、系統(tǒng)診斷、預(yù)測估值等。（4）組合優(yōu)化旅行商問題、任務(wù)分配、排序問題、路由選擇等。（5）知識工程知識表示、專家系統(tǒng)、自然語言處理、實時翻譯系統(tǒng)等。神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域神經(jīng)網(wǎng)絡(luò)的基本思想對于第i個神經(jīng)元的輸入：與第i個神經(jīng)元連接的相應(yīng)權(quán)值為：神經(jīng)元本身的閥值為則輸出Y可表示為：即輸出與輸入有興奮與抑制兩種狀態(tài)，興奮時取值1，抑制時為0。神經(jīng)網(wǎng)絡(luò)的分類主要從網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)方式兩方面分類。1.按網(wǎng)絡(luò)結(jié)構(gòu)分為：前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。前饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的分類2.學(xué)習(xí)方式：有導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則

關(guān)鍵在于如何決定每一神經(jīng)元的權(quán)值。

常用的學(xué)習(xí)規(guī)則有以下幾種：Hebb規(guī)則Delta規(guī)則(最小均方差規(guī)則

)反向傳播學(xué)習(xí)方法Kohonen學(xué)習(xí)規(guī)則(用于無指導(dǎo)訓(xùn)練網(wǎng)絡(luò))Grosberg學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)常用模型共70多種，具有代表性的有：（1）感知器（Perceptron）（2）多層前饋（BP）網(wǎng)絡(luò)

（3）Hopfield網(wǎng)絡(luò)(優(yōu)化)（4）Boltzmann機（在BP中加入噪聲）（5）雙向聯(lián)想記憶網(wǎng)絡(luò)（快速存儲）（6）盒腦態(tài)（單層自聯(lián)想，可用于數(shù)據(jù)庫提取知識）（7）自適應(yīng)共振網(wǎng)絡(luò)（可選參數(shù)，實現(xiàn)粗分類）（8）對傳網(wǎng)絡(luò)（組合式，可用于圖像處理）……BP神經(jīng)網(wǎng)絡(luò)模型

BP(BackPropagation)網(wǎng)絡(luò)是一種按誤差反向傳播的多層前饋網(wǎng)絡(luò)。輸入層隱層輸出層基本思想:

學(xué)習(xí)過程分為兩個階段：第一階段(正向傳播過程)；給出輸入信息通過輸入層經(jīng)各隱層逐層處理并計算每個單元的實際輸出值；第二階段(反向過程)：若在輸出層未能得到期望的輸出值，則逐層遞歸地計算實際輸出與期望輸出之間的差值(即誤差)，通過梯度下降法來修改權(quán)值，使得總誤差函數(shù)達到最小。BP神經(jīng)網(wǎng)絡(luò)模型

BP網(wǎng)絡(luò)算法思想

以三層BP網(wǎng)絡(luò)為例。假設(shè)網(wǎng)絡(luò)的輸入、隱層、輸出節(jié)點數(shù)分別為n,q,m個，P個樣本點。隱層第k個節(jié)點的輸出為：

輸出層第j個節(jié)點的輸出為：

其中函數(shù)f(.)為傳遞函數(shù)。又假設(shè)理想(目標)輸出為tpj。則定義全局誤差函數(shù)為BP網(wǎng)絡(luò)算法思想

一般的傳遞函數(shù)：1.極限函數(shù)(hardlim)2.對稱函數(shù)(hardlims)3.對稱飽和線性函數(shù)(satlins)6.競爭函數(shù)(compet)4.S形函數(shù)(logsig)5.雙曲正切S形函數(shù)(tansig)BP網(wǎng)絡(luò)算法思想

權(quán)值調(diào)整公式(梯度下降法)：（1）輸出層權(quán)值的調(diào)整稱為學(xué)習(xí)率，一般取值范圍為0.1~0.3。定義誤差信號（2）隱層權(quán)值的調(diào)整BP網(wǎng)絡(luò)算法思想

BP網(wǎng)絡(luò)的性能分析BP網(wǎng)絡(luò)的缺陷：收斂速度慢易陷入局部極小網(wǎng)絡(luò)結(jié)構(gòu)難以確定泛化能力差……BP算法的改進主要分為六個方面：（1）學(xué)習(xí)率的改進若學(xué)習(xí)率過大，可以提高收斂速度，但可能導(dǎo)致振蕩現(xiàn)象甚至發(fā)散；相反地，若學(xué)習(xí)率過小，可以保證訓(xùn)練能穩(wěn)定的收斂，但學(xué)習(xí)速度慢。退火算法：開始時設(shè)置學(xué)習(xí)率高(0.7-0.9),隨學(xué)習(xí)次數(shù)增加而減少?；駼P算法的改進（2）誤差函數(shù)的改進一般情形隨著學(xué)習(xí)次數(shù)的增加，越來越小，會導(dǎo)致函數(shù)逼近速度減慢。BP算法的改進（3）激勵函數(shù)的改進導(dǎo)致誤差曲面出現(xiàn)“平臺”現(xiàn)象。或提出一些新型的激勵函數(shù)：1.高斯函數(shù)2.三角函數(shù)3.雙極性壓縮函數(shù)4.分段函數(shù)（4）網(wǎng)絡(luò)初始權(quán)值的選取BP算法的改進初始權(quán)值對于權(quán)值學(xué)習(xí)是否達到最優(yōu)解和算法收斂快慢關(guān)系很大。一般是隨機產(chǎn)生。（1）使用Cauchy不等式和線性代數(shù)方法得到最優(yōu)初始權(quán)值；（2）利用獨立元分析（ICA）方法；（3）采用遺傳算法來初始化權(quán)值?！?）優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)BP算法的改進關(guān)鍵是隱層的層數(shù)與隱節(jié)點的數(shù)目。隱節(jié)點過少，學(xué)習(xí)過程不可能收斂到全局最小點；隱節(jié)點過多，網(wǎng)絡(luò)性能下降，節(jié)點冗余。（6）改進優(yōu)化算法主要有共軛梯度法、Newton法、Gauss－Newton法、Levenberg-Marquard法等2004級胡上蔚同學(xué)的工作：BP算法的改進1.基于三項BP算法的最優(yōu)學(xué)習(xí)參數(shù)估計

分別為學(xué)習(xí)因子、動量因子和比例因子。2.修改誤差函數(shù)新的BP學(xué)習(xí)算法

為標準誤差函數(shù)，為隱層飽和度，2004級胡上蔚同學(xué)的工作：BP算法的改進3.放大誤差信號

在[0，0.5)上，理論上證明：算例效果圖：BP算法的改進2006級孫娓娓的工作：BP算法的改進1.放大誤差信號

2006級孫娓娓的工作：BP算法的改進1.放大誤差信號

算例：函數(shù)逼近問題標準BP算法改進BP算法2006級孫娓娓的工作：BP算法的改進2.BP網(wǎng)絡(luò)的聯(lián)合優(yōu)化

(1)自適應(yīng)調(diào)節(jié)學(xué)習(xí)率(2)動態(tài)調(diào)整激勵函數(shù)的參數(shù)算

法迭代步數(shù)訓(xùn)練10000次的誤差測試樣本識別率標準BP算法20000次內(nèi)無法實現(xiàn)0.005256.67%加動量項法78390.001389.7%自適應(yīng)學(xué)習(xí)率法3044.5951e-01193.33%改進算法262.3271e-029100%乳腺癌數(shù)據(jù)分類問題的實驗結(jié)果對照表2006級孫娓娓的工作：BP算法的改進3.遺傳算法與BP網(wǎng)絡(luò)結(jié)合的模型

先用改進的遺傳算法在整個權(quán)值空間和結(jié)構(gòu)空間中進行粗略搜索，來代替一般初始權(quán)值的隨機選取和網(wǎng)絡(luò)結(jié)構(gòu)的經(jīng)驗設(shè)定，然后采用BP算法進行尋優(yōu)，最終得到問題的精確或近似全局最優(yōu)解。實際應(yīng)用問題1、蠓蟲的分類問題2、DNA序列分類問題3、癌癥診斷問題……P=[1.24 1.361.381.381.381.41.481.541.561.141.181.21.261.281.3;1.721.741.641.821.91.71.821.822.081.781.961.862.02.01.96];%目標向量T=[111111111000000];%建立一個感知器net=newp([03;03],1);%網(wǎng)絡(luò)訓(xùn)練次數(shù)net.adaptParam.passes=100net=adapt(net,P,T);%輸出仿真結(jié)果Y=sim(net,P)%利用訓(xùn)練好的感知器進行分類p=[1.24,1.28,1.4;1.8,1.84,2.04];a=sim(net,p)a=111準確率達到100%。ApfAfDNA序列模式分類問題一、問題

已知序列標號1—10為A類，序列標號11-20為B類。待判斷的序列標號21—40。例如A、B類的片段：a1='aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg';b1='gttagatttaacgttttttatggaatttatggaattataaatttaaaaatttatattttttaggtaagtaatccaacgtttttattactttttaaaattaaatatttatt';……二、特征提取序列特征主要有兩個：1、堿基的含量，反映了該序列的內(nèi)容；統(tǒng)計a、g、t、c序列中分別出現(xiàn)的頻率；2、堿基的排列情況，反映了該序列的形式；①從字符出現(xiàn)的周期性來反映。②統(tǒng)計三個字符出現(xiàn)的頻率；在遺傳學(xué)中每三個堿基的組合被稱為一個密碼子，如agg，att，ggc,cgg等，共有43=64個，還可以由密碼子組成20個氨基酸。三、神經(jīng)網(wǎng)絡(luò)對DNA序列分類問題的應(yīng)用a1='aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg';編程統(tǒng)計出該片段的字符串（ttt,tta,ggc,cgg,gga）的頻數(shù)分別為：（0，1，5，7，10）經(jīng)過統(tǒng)計計算，得到已知類別的輸入向量：p=[01051322211918231743122171923;12041114011315131199214127;5580109571190010003100;71016211965860001003200;10111521112129562111011011];待判類別的輸入向量：P=[9231331531032659222216218;744859612331247324410210;00415021702204213121;02801150701303311102;23912181502115413112];由前20個已知類別的DNA序列片段可以構(gòu)造出目標向量：t=[11111111110000000000];1、應(yīng)用感知器對DNA序列進行分類：（DNAper1.m）net=newp([01;01;01;01;01],1);net.adaptParam.passes=110net=adapt(net,p,t);Y=sim(net,p)%回代檢驗a=sim(net,P)%對待判類別的序列進行分類A類B類a=01100010100001101000回代檢驗結(jié)果是100%的準確。待判序列的分類結(jié)果：A類：22，23，27，29，34，35，37；B類：21，24，25，26，28，30，31，32，

33，36，38，39，40；輸出結(jié)果：誤差曲線圖2、應(yīng)用BP網(wǎng)絡(luò)對DNA序列進行分類：（DNAbp.m）net=newff([020;016;012;012;013],[51],{'logsig''purelin'},'traingdx');net.trainparam.show=100;net.trainparam.lr=0.5;net.trainparam.mc=0.8;n