電氣設(shè)備故障診斷概論課件：第9課 人工神經(jīng)網(wǎng)絡(luò)補(bǔ)

1、人工神經(jīng)網(wǎng)絡(luò)從簡(jiǎn)單感知器 到反向傳播網(wǎng)絡(luò)介紹模仿人類的思維？是科學(xué)幻想，還是14/06/20012Artificial Neural Network背景故障征兆故障類型 征兆空間（x1, x2,） 類型空間（ y1, y2,) f (x)經(jīng)驗(yàn)14/06/20013Artificial Neural Network歷史1943 McCullo 和 Pitts 建立了神經(jīng)元基礎(chǔ)模型。1949 Hebb 提出了神經(jīng)元學(xué)習(xí)規(guī)律。1961 Rosenblatt 建立了第一臺(tái)神經(jīng)計(jì)算機(jī)。1969 Minsky與Papert 提出了“異或” 和線性不可分問(wèn)題。1984 Hopfield 提出了神經(jīng)網(wǎng)絡(luò)穩(wěn)定性

2、分析方法1986 Rumelhart 提出了多層前饋網(wǎng)絡(luò)的反向傳播算法。1990 已廣泛應(yīng)用于研究和工程領(lǐng)域14/06/20014Artificial Neural Network從人類大腦到人工神經(jīng)網(wǎng)絡(luò)100億個(gè)神經(jīng)單元1個(gè)神經(jīng)單元與其他神經(jīng)元存在上千條連接人類大腦14/06/20015Artificial Neural Network穩(wěn)定性和容錯(cuò)性從人類大腦到人工神經(jīng)網(wǎng)絡(luò)人類大腦自適應(yīng)性對(duì)環(huán)境的改變能夠靈活調(diào)整。主要特征不會(huì)因局部損壞，而導(dǎo)致信息丟失。14/06/20016Artificial Neural Network 人工神經(jīng)網(wǎng)絡(luò)是一個(gè)分布式和并行的非線性信息處理系統(tǒng)，反映了人腦功能

3、的若干特性，具有自適應(yīng)的學(xué)習(xí)能力。 人工神經(jīng)網(wǎng)絡(luò)從人類大腦到人工神經(jīng)網(wǎng)絡(luò)14/06/20017Artificial Neural Network學(xué)習(xí)材料知識(shí)空間知識(shí)知識(shí)軌跡從人類大腦到人工神經(jīng)網(wǎng)絡(luò)14/06/20018Artificial Neural Network對(duì)類邊界的描述描述的變異學(xué)習(xí)材料應(yīng)用者的興趣從人類大腦到人工神經(jīng)網(wǎng)絡(luò)14/06/20019Artificial Neural Network感知器神經(jīng)末梢細(xì)胞體軸突突觸激勵(lì)信號(hào)化學(xué)信號(hào)軸突小丘機(jī)理信號(hào)14/06/200110Artificial Neural NetworkMcCullogh-Pitts 模型InputsOutpu

4、tw2w1w3wnwn-1.x1x2x3xn-1xny感知器14/06/200111Artificial Neural Networkmk-f連接和輸入向量 x輸出 y閾值函數(shù)權(quán)值向量 ww0w1wnx0 x1xn感知器14/06/200112Artificial Neural Network激勵(lì)函數(shù)典型的非線性激勵(lì)函數(shù)+1應(yīng)限制函數(shù)極限邏輯函數(shù)Sigmoid 函數(shù)+1a+1-10aa00fh (a)ft (a)fs (a)14/06/200113Artificial Neural Network感知器 要求需分類的對(duì)象是線性可分的。 對(duì)于線性不可分問(wèn)題，簡(jiǎn)單閾值感知器無(wú)能為力線性可分非線性可

5、分的x1x212x1x21214/06/200114Artificial Neural Network例 異或問(wèn)題x1x2y00-101+110+111-1XOR函數(shù)邏輯表w1w2x1x2y w1+w2 0 -w1-w2 0-w1+w2 0這一方程是無(wú)解的，所以此時(shí)簡(jiǎn)單感知器失效。線性分類器所能解決的問(wèn)題非常有限。14/06/200115Artificial Neural Network輸入黑箱輸出分類結(jié)果輸入連接 神經(jīng)響應(yīng)人工神經(jīng)網(wǎng)絡(luò)14/06/200116Artificial Neural Network非線性分類器S=w0+w1x1+ w11x12+ w12x1 x 2+ w22x22

6、+w2x214/06/200117Artificial Neural Network人工網(wǎng)絡(luò)基本結(jié)構(gòu)簡(jiǎn)單感知器x1x2x3y2y1wijh2h1 輸出層神經(jīng)元函數(shù)輸入單元輸出單元14/06/200118Artificial Neural Network多層感知器x1x2x3y2y1h1h2h3h4wikwkj神經(jīng)元 hkh2h1神經(jīng)元 hj人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)14/06/200119Artificial Neural NetworkhkHkwikxi人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)x1x2x3y2y1h1h2h3h4wikwkj輸入層隱層輸出層h2h114/06/200120Artificial Neural N

7、etworkhjyjwkjHk人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)x1x2x3y2y1h1h2h3h4wikwkj輸入層隱層輸出層h2h114/06/200121Artificial Neural NetworkhjyjwkjHk人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)x1x2x3y2y1h1h2h3h4wikwkj輸入層隱層輸出層h2h114/06/200122Artificial Neural Networkf(x)Af(x)Af(x)Af(x)Bf(x)Bf(x)Bf(x)Cx2x1x0yS1S2人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)14/06/200123Artificial Neural Network 基本特點(diǎn)穩(wěn)定性容錯(cuò)性自適應(yīng)并行處理非線性人工

8、神經(jīng)網(wǎng)絡(luò)14/06/200124Artificial Neural Network學(xué)習(xí)與應(yīng)用建立神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定網(wǎng)絡(luò)參數(shù) 建立訓(xùn)練樣本集 對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)后的神經(jīng)網(wǎng)絡(luò)可直接用于識(shí)別學(xué)習(xí)階段使用階段14/06/200125Artificial Neural Network學(xué)習(xí)階段輸出輸入神經(jīng)元函數(shù)權(quán)值修正標(biāo)準(zhǔn)有監(jiān)督學(xué)習(xí)14/06/200126Artificial Neural Network學(xué)習(xí)階段輸出輸入神經(jīng)元函數(shù)權(quán)值修正無(wú)監(jiān)督學(xué)習(xí)自組織建立輸出結(jié)果14/06/200127Artificial Neural Networkw1w2E(W)規(guī)則基本思想是尋找能量函數(shù)最小的位置。14/06/20

9、0128Artificial Neural Network規(guī)則的來(lái)歷能量函數(shù)E的變化 取決于權(quán)值向量 W,可表示為 E(W) : E(W) = E/wo, E/w1, , E/wn E(W) 是受每個(gè)局部變量wi的影響的。. 重要概念:梯度向量是沿著能量函數(shù)E下降最快的方向 .14/06/200129Artificial Neural Networkx1x2x3y2y1h1h2h3h4wikwkj輸入層隱層輸出層h2h1反向傳播算法 yjxi神經(jīng)元權(quán)值修改ui14/06/200130Artificial Neural Networkx1x2x3y2y1h1h2h3h4wikwkj輸入層隱層輸出

10、層h2h1 yjxi神經(jīng)元權(quán)值修改ui反向傳播算法14/06/200131Artificial Neural Network反向傳播算法 yjxi神經(jīng)元權(quán)值修改uix1x2x3y2y1h1h2h3h4wikwkj輸入層隱層輸出層h2h114/06/200132Artificial Neural Network反向傳播14/06/200133Artificial Neural Network反向傳播x1x2x3y2y1h1h2h3h4wikwkj輸入層引層輸出層h2h114/06/200134Artificial Neural Network學(xué)習(xí)算法的基本過(guò)程隨即分配權(quán)值向量；直到遇到停止條件初

11、始化 wi為0對(duì)每一個(gè)訓(xùn)練樣本:修正 wi: wi = wi + n (t o) xi修正 wi:wi = wi + wi直到誤差足夠小14/06/200135Artificial Neural Network人工神經(jīng)網(wǎng)絡(luò)應(yīng)用模式識(shí)別圖形識(shí)別故障診斷聲納定位控制系統(tǒng)行銷預(yù)測(cè) 金融預(yù)測(cè)14/06/200136Artificial Neural Network人工神經(jīng)網(wǎng)絡(luò)應(yīng)用中的注意事項(xiàng)1. 系統(tǒng)需遵循的一個(gè)基本原則是，必須存在一個(gè)樣本集=F(x1),F(xp),F(xn) 可供使用，以收集問(wèn)題域的信息。重要的是，樣本集必須具有代表性，因?yàn)槿藗儚闹谐槿〗Y(jié)論，應(yīng)保證這一結(jié)論不僅對(duì)所有F(xp)成立，

12、而且還要對(duì)所有（或至少盡可能多的）模式F(x) 成立。如果典型樣本缺乏，就難以期望網(wǎng)絡(luò)能夠識(shí)別它所完全未曾學(xué)過(guò)的東西，這必然導(dǎo)致網(wǎng)絡(luò)知識(shí)的局限性，而在實(shí)際應(yīng)用中造成識(shí)別錯(cuò)誤。 14/06/200137Artificial Neural Network人工神經(jīng)網(wǎng)絡(luò)應(yīng)用中的注意事項(xiàng)2. 可以嚴(yán)格證明神經(jīng)網(wǎng)絡(luò)只需兩個(gè)隱層就可以逼近任意連續(xù)函數(shù)。 通常神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)應(yīng)大于輸入節(jié)點(diǎn)數(shù)的兩倍，但隱層節(jié)點(diǎn)數(shù)應(yīng)小于訓(xùn)練樣本數(shù)，否則網(wǎng)絡(luò)的推廣能力將下降。3. 為充分檢驗(yàn)訓(xùn)練后網(wǎng)絡(luò)的有效性，僅通過(guò)一兩個(gè)實(shí)例進(jìn)行驗(yàn)證是遠(yuǎn)遠(yuǎn)不夠的，也需要一個(gè)較大容量的檢驗(yàn)樣本集。 14/06/200138Artificial Neural Network人工神經(jīng)網(wǎng)絡(luò)應(yīng)用中的注意事項(xiàng)4. 在網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中，由于問(wèn)題域的復(fù)雜性。常常存在局部最優(yōu)解的情況。處理不當(dāng)將導(dǎo)致學(xué)習(xí)過(guò)程，不正常中止。此時(shí)單純?cè)黾訉W(xué)習(xí)次數(shù)，并不能提高收斂精度。w1 EEminEmin14/06/200139Artificial Neural Network局部放電的人工神經(jīng)網(wǎng)絡(luò)識(shí)別14/06/200140Artific