第4章(人工神經(jīng)網(wǎng)絡(luò)1-基礎(chǔ)知識)ppt課件

.,第4章人工神經(jīng)網(wǎng)絡(luò),內(nèi)容：教材109-119、191-200頁,4.1基礎(chǔ)知識（補(bǔ)充）4.2神經(jīng)元與神經(jīng)網(wǎng)絡(luò)4.3反向傳播神經(jīng)網(wǎng)絡(luò)4.4離散的Hopfield網(wǎng)絡(luò),.,4.1基礎(chǔ)知識1最速下降法（梯度法）2Matlab程序設(shè)計(jì)語言與神經(jīng)網(wǎng)絡(luò)工具箱,.,1最速下降法,最速下降法（又稱梯度法）是1847年Cauchy提出來的最優(yōu)化算法，用于求解非線性函數(shù)的局部最小值（最小點(diǎn)）,.,回顧高等數(shù)學(xué)中一元函數(shù)的求極值問題：,極小點(diǎn)的條件是：,.,n元函數(shù)極小點(diǎn)的條件：,矩陣是半正定的,Hesse矩陣,梯度,.,自然而然想到的求極小值的方法令梯度為零，通過解非線性方程組，求出一組極值點(diǎn)根據(jù)每一個(gè)極值點(diǎn)處的矩陣是否為半正定，來判斷極小值點(diǎn),.,在實(shí)際中，這一方法是不可行的：變量的個(gè)數(shù)多不易求解非線性方程組不易判斷矩陣是否半正定,.,在最優(yōu)化技術(shù)中，采用迭代的方法求出其中的一個(gè)解,不同的初始值可能對應(yīng)于不同的解，并求出局部極值,.,在最速下降法中，以負(fù)梯度方向作為極小化算法的下降方向迭代格式為,梯度,.,是迭代步長，可以用一維搜索來確定,終止準(zhǔn)則：,向量的2范數(shù)：,.,最速下降法的計(jì)算步驟：1：給定初始點(diǎn)x1，允許誤差，置k=12：計(jì)算搜索方向g(xk)=f(xk),.,3：如果|g(x)|2，則終止計(jì)算，算法找到解。否則，從xk出發(fā)，沿-g(xk)進(jìn)行一維搜索，求出k，使得f(xk-kg(xk)=minf(xk-g(xk)4：置xk+1=xk-kg(xk)，k=k+1，轉(zhuǎn)到步2,.,.,說明：在編程時(shí)，還需要設(shè)置最大允許迭代次數(shù)，以提前終止迭代過程在人工神經(jīng)網(wǎng)絡(luò)的算法中經(jīng)常人為地設(shè)定迭代步長（學(xué)習(xí)率）（常量或者單調(diào)減小）,.,梯度法的特點(diǎn)：一般來說，只能找到一個(gè)局部最小點(diǎn)（多解）收斂速度較慢算法結(jié)構(gòu)簡單，易于用各種編程語言來實(shí)現(xiàn),.,2Matlab程序設(shè)計(jì)語言與神經(jīng)網(wǎng)絡(luò)工具箱,(1)Matlab簡介,Matlab（MatrixLaboratory）是美國MathWorks公司的產(chǎn)品，是一種功能強(qiáng)大、效率高、便于進(jìn)行科學(xué)和工程計(jì)算的交互式軟件包。當(dāng)前使用的版本：Matlab6.1、Matlab6.5和Matlab7.0,.,Matlab的特點(diǎn)：高效方便的矩陣和數(shù)組運(yùn)算例如：求Ax=b，語句是x=Ab求特征值，語句是e=eig(A)編程效率高M(jìn)atlab語言簡潔緊湊，使用靈活方便，程序書寫形式自由。庫函數(shù)豐富,.,結(jié)構(gòu)化/面向?qū)ο螽?dāng)前Matlab版本采用C+編寫的，既有結(jié)構(gòu)化的控制語句（for,while,break,continue,if），又有面向?qū)ο缶幊痰奶匦苑奖愕睦L圖功能能夠繪制各種二維、三維圖件,.,用戶使用方便使用方式有命令行和.m文件（腳本M文件、函數(shù)M文件）。后者作為編譯型語言使用：編輯-編譯-連接-執(zhí)行與調(diào)試功能強(qiáng)大的工具箱近三十個(gè)工具箱,.,擴(kuò)充能力強(qiáng)用戶可以自己編寫函數(shù)，建立新的庫函數(shù)和擴(kuò)充庫函數(shù)。核心文件和工具箱文件都是可讀可寫的源文件，用戶可以修改?？梢耘cC，C+語言混合編程計(jì)算速度比C語言慢，易學(xué)會難精通,.,(2)Matlab語言的要點(diǎn),注釋行注釋行的開頭是“”,.,變量變量命名規(guī)則是：區(qū)分大小寫長度最多不能超過19個(gè)字符變量名必須以字母開頭，由字母、數(shù)字和下劃線組成,.,數(shù)組數(shù)組是一系列數(shù)的有序排列，用方括號“”表示數(shù)組的下標(biāo)從1開始元素之間用“空格”或“逗號”分開,.,例：x=0,1,2,3,4,5,6;（行向量）x(1)：第一個(gè)元素x(1:5)：第一到第五個(gè)元素x(3:-1:1)：第三到第一個(gè)元素,.,注意：如果語句最后沒有“；”，則顯示x的所有值有分號則不顯示,.,矩陣矩陣用“方括號”來表示同一行的數(shù)據(jù)用“空格”或“逗號”隔開不同行的數(shù)據(jù)用“分號”隔開,.,例：A=1,0,0;0,1,0;0,0,1;引用一個(gè)元素可以用兩個(gè)下標(biāo)來表示例A(i,j)引用多個(gè)元素可以用冒號來表示例A（：，j）：第j列的所有元素,.,4.1.2.3神經(jīng)網(wǎng)絡(luò)工具箱,神經(jīng)網(wǎng)絡(luò)工具箱包含了人工神經(jīng)網(wǎng)絡(luò)中的主要模型與算法，具體有：感知器神經(jīng)網(wǎng)絡(luò)（Perceptron，Rosenblatt，1957）線性神經(jīng)網(wǎng)路（Adaline,Widrow和Hoff，1960）BP神經(jīng)網(wǎng)絡(luò)（BP，Rumelhart和McCelland，1986）,.,自組織網(wǎng)絡(luò)（SOM，Kohonen，1980）離散的Hopfield網(wǎng)絡(luò)（Hopfield，1986）,.,第4章人工神經(jīng)網(wǎng)絡(luò),4.1基礎(chǔ)知識（補(bǔ)充）4.2神經(jīng)元與神經(jīng)網(wǎng)絡(luò)4.3反向傳播神經(jīng)網(wǎng)絡(luò)4.4離散的Hopfield網(wǎng)絡(luò),.,4.2.1生理神經(jīng)元4.2.2人工神經(jīng)元4.2.3神經(jīng)網(wǎng)絡(luò),.,4.2.1生理神經(jīng)元1生理神經(jīng)元的結(jié)構(gòu)2生理神經(jīng)元的工作原理,.,典型的神經(jīng)元分成：細(xì)胞體(cellbody)突(process),1生理神經(jīng)元的結(jié)構(gòu),軸突(axon)樹突(dendrite),生理神經(jīng)元的組成,.,軸突是個(gè)突出部分，長度可達(dá)lm，把本神經(jīng)元的輸出發(fā)送到與其相連接的其它神經(jīng)元,生理神經(jīng)元的組成,輸出端,.,樹突是突出部分，但一般較短，且分枝很多，與其它神經(jīng)元的軸突相連，以接收來自其它神經(jīng)元的生物信號,生理神經(jīng)元的組成,輸入端,輸出端,.,突觸是軸突的末端與樹突進(jìn)行信號傳遞的界面,生理神經(jīng)元的組成,接口,輸出端,輸入端,輸入端,.,2神經(jīng)元的工作原理,只有神經(jīng)元所有輸入的總效應(yīng)達(dá)到閾值電平后，神經(jīng)元才會產(chǎn)生一個(gè)全強(qiáng)度的輸出窄脈沖，從細(xì)胞體經(jīng)軸突進(jìn)入軸突分枝。此時(shí)，稱為神經(jīng)元的觸發(fā)（抑制轉(zhuǎn)化為興奮）,.,神經(jīng)元通過突觸形成的網(wǎng)絡(luò)，傳遞神經(jīng)元間的興奮與抑制；大腦的全部神經(jīng)元構(gòu)成極其復(fù)雜的拓?fù)渚W(wǎng)絡(luò)群體，用于實(shí)現(xiàn)記憶與思維,.,4.2.2人工神經(jīng)元,人工神經(jīng)元是生理神經(jīng)元的數(shù)學(xué)模型，由McCulloch與Pitts在1943年首先建立的，現(xiàn)在的模型經(jīng)過后人適當(dāng)?shù)母倪M(jìn)與完善,.,在人工神經(jīng)元模型中：用權(quán)值和乘法器模擬突觸特性用加法器模擬樹突的互聯(lián)作用用與閾值比較來模擬細(xì)胞體內(nèi)電化學(xué)作用產(chǎn)生的開關(guān)特性,.,n個(gè)輸入xiR(i=1,n)，相當(dāng)于其它神經(jīng)元的輸出值，其中n是輸入（信號）的數(shù)目（即，與其相連的其他神經(jīng)元的個(gè)數(shù)）,人工神經(jīng)元模型,.,n個(gè)連接權(quán)系數(shù)（權(quán)值）wjiR(i=1,n)，相當(dāng)于突觸的連接強(qiáng)度（對于激發(fā)狀態(tài)取正值，對于抑制狀態(tài)取負(fù)值）,.,j：神經(jīng)元的閾值，相當(dāng)于動(dòng)作電平的閾值,.,總輸入：輸入信號的加權(quán)和，即,單輸出y為：,.,f稱為激發(fā)函數(shù)、作用函數(shù)、激勵(lì)函數(shù)、變換函數(shù)、轉(zhuǎn)換函數(shù)、傳遞函數(shù),.,激發(fā)函數(shù)f的常用形式,閾值函數(shù)或者階躍函數(shù)（非線性函數(shù)，不可微）,.,符號函數(shù)（非線性函數(shù)，不可微）,.,線性函數(shù)（線性函數(shù)、1階可微）,.,Sigmoid函數(shù)（非線性函數(shù)，任意階可微）,.,.,Sigmoid函數(shù)的特點(diǎn)：第一、非線性、單調(diào)性（單調(diào)增）第二、無限次可微第三、當(dāng)值很大時(shí)，可以近似閾值函數(shù)或符號函數(shù)第四、當(dāng)值很小時(shí)，可以近似線性函數(shù),.,神經(jīng)元的動(dòng)作：求加權(quán)和與閾值比較用激發(fā)函數(shù)得到輸出,.,公式表示上的簡化令wj0=-j，并記wj=(wj0,wj1,wjn)Tx=(1,x1,xn)T則有yj=f(wjTx),注意：有些神經(jīng)元可能不包含閾值,.,圖形表示上的簡化將神經(jīng)元簡化為圓圈或者實(shí)心元,閾值,.,4.2.3神經(jīng)網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元（人工神經(jīng)元）相互連結(jié)組成的非線性、大規(guī)模、自適應(yīng)的動(dòng)力系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式，設(shè)計(jì)出一種新的機(jī)器使之具有像人腦那樣的信息處理能力,.,人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)并行分布處理神經(jīng)網(wǎng)絡(luò)具有高度的并行結(jié)構(gòu)和并行實(shí)現(xiàn)能力，因而具有較好的容錯(cuò)能力和較快的總體處理能力，所以特別適于實(shí)時(shí)和動(dòng)態(tài)處理,.,非線性映射神經(jīng)網(wǎng)絡(luò)具有高度非線性映射（變換）能力，是處理非線性問題的一種有效手段,.,學(xué)習(xí)能力神經(jīng)網(wǎng)絡(luò)通過樣本數(shù)據(jù)完成學(xué)習(xí)或訓(xùn)練。訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)具有推廣或者泛化能力（對未來數(shù)據(jù)的預(yù)測能力）。因此，神經(jīng)網(wǎng)絡(luò)能夠解決數(shù)學(xué)模型或規(guī)則難以處理的問題（類似于黑盒子）,.,適應(yīng)性與集成性神經(jīng)網(wǎng)絡(luò)可以用于在線處理，并能同時(shí)進(jìn)行定量和定性操作。神經(jīng)網(wǎng)絡(luò)的強(qiáng)適應(yīng)和信息融合能力使得它可以同時(shí)輸入大量不