人工神經(jīng)網(wǎng)絡(luò)課件

制造系統(tǒng)監(jiān)控中的人工智能技術(shù)

----人工神經(jīng)網(wǎng)絡(luò)2012.03制造系統(tǒng)監(jiān)控中的人工智能技術(shù)

----人工神經(jīng)網(wǎng)絡(luò)2012制造系統(tǒng)監(jiān)控中的人工智能概述WhatisAI?人工智能（ArtificialIntelligence,AI）是當(dāng)前科學(xué)技發(fā)展的一門(mén)前沿學(xué)科，同時(shí)也是一門(mén)新思想，新觀念，新理論，新技術(shù)不斷出現(xiàn)的新興學(xué)科以及正在發(fā)展的學(xué)科。

它是在計(jì)算機(jī)科學(xué)，控制論，信息論，神經(jīng)心理學(xué)，哲學(xué)，語(yǔ)言學(xué)等多種學(xué)科研究的基礎(chǔ)發(fā)展起來(lái)的，因此又可把它看作是一門(mén)綜合性的邊緣學(xué)科。

它的出現(xiàn)及所取得的成就引起了人們的高度重視,并取得了很高的評(píng)價(jià)。有的人把它與空間技術(shù)，原子能技術(shù)一起并譽(yù)為20世紀(jì)的三大科學(xué)技術(shù)成就。制造系統(tǒng)監(jiān)控中的人工智能概述WhatisAI?它是在計(jì)制造系統(tǒng)監(jiān)控中的人工智能概述ArtificialIntelligenceAI--計(jì)算機(jī)科學(xué)的一個(gè)分支，是智能計(jì)算機(jī)系統(tǒng)，即人類(lèi)智慧在機(jī)器上的模擬，或者說(shuō)是人們使機(jī)器具有類(lèi)似于人的智慧（對(duì)語(yǔ)言能理解、能學(xué)習(xí)、能推理）。

人工智能的非正式定義--研究如何用計(jì)算機(jī)來(lái)表示和執(zhí)行人類(lèi)的智能活動(dòng)，以模擬人腦所從事的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動(dòng)，并解決需要人類(lèi)的智力才能處理的復(fù)雜問(wèn)題，如醫(yī)療診斷、管理決策、下棋、自然語(yǔ)言理解等。制造系統(tǒng)監(jiān)控中的人工智能概述ArtificialIntel制造系統(tǒng)監(jiān)控中的人工智能概述研究人工智能的目的

基本目標(biāo)：Makemachinessmarter；崇高目標(biāo)：Understandwhatintelligenceis；

商業(yè)目標(biāo)：Makemachinesuseful。

制造系統(tǒng)監(jiān)控中的人工智能概述研究人工智能的目的崇高目標(biāo)：U制造系統(tǒng)監(jiān)控中的人工智能概述人工智能研究歷史

Aristotle，Bacon，Leibnitz，Boole，Godel，Turing，VonNeumann，McCulloch，Shannon

，McCarthy，制造系統(tǒng)監(jiān)控中的人工智能概述人工智能研究歷史Turing，制造系統(tǒng)監(jiān)控中的人工智能概述人工智能發(fā)展歷程

形成期（1956-1961）；成長(zhǎng)期（1961-1979）；

快速發(fā)展期（20世紀(jì)80年代初）（agoldrush）穩(wěn)步增長(zhǎng)期（20世紀(jì)80年代后期以來(lái)）制造系統(tǒng)監(jiān)控中的人工智能概述人工智能發(fā)展歷程成長(zhǎng)期（196制造系統(tǒng)監(jiān)控中的人工智能概述智能監(jiān)控檢測(cè)診斷技術(shù)

專(zhuān)家系統(tǒng)模糊理論人工神經(jīng)網(wǎng)絡(luò)支持向量機(jī)實(shí)例推理、數(shù)據(jù)挖掘制造系統(tǒng)監(jiān)控中的人工智能概述智能監(jiān)控檢測(cè)診斷技術(shù)人工智能的廣泛應(yīng)用1難題求解2自動(dòng)規(guī)劃、調(diào)度與配置3機(jī)器定理證明4自動(dòng)程序設(shè)計(jì)5機(jī)器翻譯6智能控制7智能管理8智能決策9智能通信10智能仿真人工智能的廣泛應(yīng)用11智能CAD12智能制造13智能CAI14智能人機(jī)接口15模式識(shí)別16數(shù)據(jù)挖掘與數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)17計(jì)算機(jī)輔助創(chuàng)新18計(jì)算機(jī)文藝創(chuàng)作19機(jī)器博弈20智能機(jī)器人11智能CAD制造系統(tǒng)監(jiān)控中的人工智能概述智能監(jiān)控檢測(cè)診斷應(yīng)用實(shí)例

基于專(zhuān)家系統(tǒng)的故障診斷基于神經(jīng)網(wǎng)絡(luò)的刀具狀態(tài)識(shí)別基于模糊理論等的智能控制人工智能在計(jì)算機(jī)輔助設(shè)計(jì)等領(lǐng)域的應(yīng)用利用人工智能進(jìn)行數(shù)據(jù)挖掘制造系統(tǒng)監(jiān)控中的人工智能概述智能監(jiān)控檢測(cè)診斷應(yīng)用實(shí)例人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1生物神經(jīng)網(wǎng)2人工神經(jīng)元3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦?存儲(chǔ)與映射5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1生物神經(jīng)網(wǎng)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)網(wǎng)1、構(gòu)成胞體(Soma)樹(shù)突（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）2、工作過(guò)程生物神經(jīng)網(wǎng)1、構(gòu)成胞體(Soma)樹(shù)突（Dendrite）胞生物神經(jīng)網(wǎng)3、六個(gè)基本特征：1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；4）信號(hào)可以是起刺激作用的，也可以是起抑制作用的；5）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的狀態(tài)；6)每個(gè)神經(jīng)元可以有一個(gè)“閾值”。生物神經(jīng)網(wǎng)3、六個(gè)基本特征：人工神經(jīng)元神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個(gè)基本特性。

人工神經(jīng)元神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元的基本構(gòu)成

單輸入神經(jīng)元權(quán)值，偏置（偏移量），凈輸入，傳輸函數(shù)（激活函數(shù)）思考：該神經(jīng)元模型與生物神經(jīng)元有何對(duì)應(yīng)關(guān)系人工神經(jīng)元的基本構(gòu)成單輸入神經(jīng)元思考：該神經(jīng)元模型與生物神傳輸函數(shù)硬極限傳輸函數(shù)傳輸函數(shù)硬極限傳輸函數(shù)傳輸函數(shù)線性傳輸函數(shù)傳輸函數(shù)線性傳輸函數(shù)傳輸函數(shù)對(duì)數(shù)-S形傳輸函數(shù)傳輸函數(shù)對(duì)數(shù)-S形傳輸函數(shù)傳輸函數(shù)傳輸函數(shù)傳輸函數(shù)傳輸函數(shù)多輸入神經(jīng)元多輸入神經(jīng)元權(quán)值矩陣，偏置（偏移量），凈輸入，傳輸函數(shù)（激活函數(shù)）多輸入神經(jīng)元多輸入神經(jīng)元單層神經(jīng)元單層神經(jīng)元多層神經(jīng)元多層神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是對(duì)它的訓(xùn)練過(guò)程人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)無(wú)導(dǎo)師學(xué)習(xí)

無(wú)導(dǎo)師學(xué)習(xí)(UnsupervisedLearning)與無(wú)導(dǎo)師訓(xùn)練(UnsupervisedTraining)相對(duì)應(yīng)

抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。無(wú)導(dǎo)師學(xué)習(xí)無(wú)導(dǎo)師學(xué)習(xí)(UnsupervisedLearn有導(dǎo)師學(xué)習(xí)

有導(dǎo)師學(xué)習(xí)(SupervisedLearning)與有導(dǎo)師訓(xùn)練(SupervisedTraining)相對(duì)應(yīng)。輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一個(gè)“訓(xùn)練對(duì)”。有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：

1）

從樣本集合中取一個(gè)樣本（Ai，Bi）；

2）

計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O；

3）

求D=Bi-O；

4）

根據(jù)D調(diào)整權(quán)矩陣W；

5）對(duì)每個(gè)樣本重復(fù)上述過(guò)程，直到對(duì)整個(gè)樣本集來(lái)說(shuō)，誤差不超過(guò)規(guī)定范圍。

有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)(SupervisedLearnin感知器（Perceptrons）感知器（Perceptrons）感知器（Perceptrons）20世紀(jì)50年代末，感知器神經(jīng)網(wǎng)絡(luò)提出。與神經(jīng)元模型十分相似，主要貢獻(xiàn)在于引入了用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)解決模式識(shí)別問(wèn)題的學(xué)習(xí)規(guī)則。感知器網(wǎng)絡(luò)本身具有其內(nèi)在的局限性，直接導(dǎo)致了神經(jīng)網(wǎng)絡(luò)研究的低潮。感知器（Perceptrons）20世紀(jì)50年代末，感知器感知器的結(jié)構(gòu)感知器的結(jié)構(gòu)感知器1962年，Rosenblatt宣布：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它能表示的任何東西

o1多輸出感知器x1x2o2omxn…

………輸入層輸出層感知器1962年，Rosenblatt宣布：人工神經(jīng)網(wǎng)絡(luò)可以感知器的學(xué)習(xí)算法

感知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí)感知器的訓(xùn)練算法的基本原理來(lái)源于著名的Hebb學(xué)習(xí)律基本思想：逐步地將樣本集中的樣本輸入到網(wǎng)絡(luò)中,根據(jù)輸出結(jié)果和理想輸出之間的差別來(lái)調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣

感知器的學(xué)習(xí)算法感知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí)離散單輸出感知器訓(xùn)練算法

二值網(wǎng)絡(luò)：自變量及其函數(shù)的值、向量分量的值只取0和1函數(shù)、向量。權(quán)向量：W=(w1，w2，…，wn)輸入向量：X=(x1，x2，…，xn)訓(xùn)練樣本集：{(X，Y)|Y為輸入向量X對(duì)應(yīng)的輸出}離散單輸出感知器訓(xùn)練算法二值網(wǎng)絡(luò)：自變量及其函數(shù)的值、向量離散單輸出感知器訓(xùn)練算法1.初始化權(quán)向量W；2.重復(fù)下列過(guò)程，直到訓(xùn)練完成：

2.1對(duì)每個(gè)樣本（X，Y），重復(fù)如下過(guò)程：

2.1.1輸入X；

2.1.2計(jì)算o=F（XW）；

2.1.3如果輸出不正確，則 當(dāng)o=0時(shí)，取W=W+X， 當(dāng)o=1時(shí)，取W=W-X離散單輸出感知器訓(xùn)練算法1.初始化權(quán)向量W；離散多輸出感知器訓(xùn)練算法樣本集：{(X,Y)|Y為輸入向量X對(duì)應(yīng)的輸出}輸入向量：X=(x1,x2,…,xn)理想輸出向量：Y=(y1,y2,…,ym)激活函數(shù)：F

權(quán)矩陣W=(wij)實(shí)際輸出向量：O=(o1,o2,…,om)o1多輸出感知器x1x2o2omxn…

………輸入層輸出層離散多輸出感知器訓(xùn)練算法樣本集：{(X,Y)|Y為輸入向量X離散多輸出感知器訓(xùn)練算法1.初始化權(quán)矩陣W；2.重復(fù)下列過(guò)程，直到訓(xùn)練完成：

2.1對(duì)每個(gè)樣本（X，Y），重復(fù)如下過(guò)程：

2.1.1輸入X；

2.1.2計(jì)算O=F（XW）；

2.1.3forj=1tomdo執(zhí)行如下操作：

ifoj≠yjthen ifoi=0thenfori=1ton wij=wij+xi elsefori=1tondo wij=wij-xi離散多輸出感知器訓(xùn)練算法1.初始化權(quán)矩陣W；離散多輸出感知器訓(xùn)練算法算法思想：將單輸出感知器的處理逐個(gè)地用于多輸出感知器輸出層的每一個(gè)神經(jīng)元的處理。第1步，權(quán)矩陣的初始化：一系列小偽隨機(jī)數(shù)。

離散多輸出感知器訓(xùn)練算法算法思想：將單輸出感知器的處理逐個(gè)地離散多輸出感知器訓(xùn)練算法第2步，循環(huán)控制。方法1：循環(huán)次數(shù)控制法：對(duì)樣本集執(zhí)行規(guī)定次數(shù)的迭代改進(jìn)——分階段迭代控制：設(shè)定一個(gè)基本的迭代次數(shù)N，每當(dāng)訓(xùn)練完成N次迭代后，就給出一個(gè)中間結(jié)果離散多輸出感知器訓(xùn)練算法第2步，循環(huán)控制。離散多輸出感知器訓(xùn)練算法方法2：精度控制法：給定一個(gè)精度控制參數(shù)精度度量：實(shí)際輸出向量與理想輸出向量的對(duì)應(yīng)分量的差的絕對(duì)值之和；實(shí)際輸出向量與理想輸出向量的歐氏距離的和“死循環(huán)”：網(wǎng)絡(luò)無(wú)法表示樣本所代表的問(wèn)題離散多輸出感知器訓(xùn)練算法方法2：精度控制法：給定一個(gè)精度控制離散多輸出感知器訓(xùn)練算法方法3：綜合控制法：將這兩種方法結(jié)合起來(lái)使用

注意：精度參數(shù)的設(shè)置。根據(jù)實(shí)際問(wèn)題選定；初始測(cè)試階段，精度要求低，測(cè)試完成后，再給出實(shí)際的精度要求。離散多輸出感知器訓(xùn)練算法方法3：綜合控制法：將這兩種方法結(jié)合連續(xù)多輸出感知器訓(xùn)練算法用公式wij=wij+α（yj-oj）xi取代了算法3-2第2.1.3步中的多個(gè)判斷yj與oj之間的差別對(duì)wij的影響由α（yj-oj）xi表現(xiàn)出來(lái)好處：不僅使得算法的控制在結(jié)構(gòu)上更容易理解，而且還使得它的適應(yīng)面更寬

連續(xù)多輸出感知器訓(xùn)練算法用公式wij=wij+α（yj-oj連續(xù)多輸出感知器訓(xùn)練算法1．用適當(dāng)?shù)男坞S機(jī)數(shù)初始化權(quán)矩陣W；2.初置精度控制參數(shù)ε，學(xué)習(xí)率α，精度控制變量d=ε+1；3．Whiled≥εdo3.1d=0；

3.2for每個(gè)樣本（X，Y）do 3.2.1輸入X（=(x1，x2，…，xn)）；

3.2.2求O=F（XW）；

3.2.3修改權(quán)矩陣W：

fori=1ton，j=1tomdo wij=wij+α(yj-oj)xi；

3.2.4累積誤差

forj=1tomdo d=d+(yj-oj)2連續(xù)多輸出感知器訓(xùn)練算法1．用適當(dāng)?shù)男坞S機(jī)數(shù)初始化權(quán)矩陣W連續(xù)多輸出感知器訓(xùn)練算法1、程序?qū)崿F(xiàn):ε、α、d、i、j、n、m為簡(jiǎn)單變量來(lái)表示，W為n行m列的二維數(shù)組。樣本集二維數(shù)組2、系統(tǒng)的調(diào)試3、Minsky在1969年證明，有許多基本問(wèn)題是感知器無(wú)法解決4、問(wèn)題線性可分性可能與時(shí)間有關(guān)5、很難從樣本數(shù)據(jù)集直接看出問(wèn)題是否線性可分6、未能證明，一個(gè)感知器究竟需要經(jīng)過(guò)多少步才能完成訓(xùn)練。連續(xù)多輸出感知器訓(xùn)練算法1、程序?qū)崿F(xiàn):ε、α、d、i、j、n線性不可分問(wèn)題

異或(Exclusive–OR)問(wèn)題

g（x，y）y01x001110線性不可分問(wèn)題異或(Exclusive–OR)問(wèn)題g（線性不可分問(wèn)題的克服

用多個(gè)單級(jí)網(wǎng)組合在一起，并用其中的一個(gè)去綜合其它單級(jí)網(wǎng)的結(jié)果，我們就可以構(gòu)成一個(gè)兩級(jí)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以被用來(lái)在平面上劃分出一個(gè)封閉或者開(kāi)放的凸域來(lái)一個(gè)非凸域可以拆分成多個(gè)凸域。按照這一思路，三級(jí)網(wǎng)將會(huì)更一般一些，我們可以用它去識(shí)別出一些非凸域來(lái)。解決好隱藏層的聯(lián)接權(quán)的調(diào)整問(wèn)題是非常關(guān)鍵的

線性不可分問(wèn)題的克服用多個(gè)單級(jí)網(wǎng)組合在一起，并用其中的一個(gè)兩級(jí)單輸出網(wǎng)在n維空間中劃分出m邊凸域

…x1ANmAN1ANoxn…o兩級(jí)單輸出網(wǎng)在n維空間中劃分出m邊凸域…x1ANmAN1ABP網(wǎng)絡(luò)4.1概述

4.2基本BP算法

4.3算法的改進(jìn)

4.4算法的實(shí)現(xiàn)

4.5算法的理論基礎(chǔ)

4.6幾個(gè)問(wèn)題的討論

BP網(wǎng)絡(luò)4.1概述BP網(wǎng)絡(luò)概述

1、BP算法的出現(xiàn)非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨(dú)立地給出了BP算法清楚而簡(jiǎn)單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點(diǎn)：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問(wèn)題、算法不一定收斂。3、優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性。BP網(wǎng)絡(luò)概述1、BP算法的出現(xiàn)基本BP算法

網(wǎng)絡(luò)的構(gòu)成

神經(jīng)元的網(wǎng)絡(luò)輸入：

neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：基本BP算法網(wǎng)絡(luò)的構(gòu)成輸出函數(shù)分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的輸出函數(shù)分析

0.5f′(net)0.25o01

（0網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn……網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

BP網(wǎng)的結(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。BP網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)（三層BP網(wǎng)絡(luò)）。網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)BP網(wǎng)的結(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………WV網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn……訓(xùn)練過(guò)程概述

樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機(jī)數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡(luò)可以學(xué)。1、向前傳播階段：（1）從樣本集中取一個(gè)樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；（2）計(jì)算相應(yīng)的實(shí)際輸出Op：

Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))訓(xùn)練過(guò)程概述樣本：(輸入向量，理想輸出向量)訓(xùn)練過(guò)程概述

2、向后傳播階段——誤差傳播階段：（1）計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡(luò)關(guān)于第p個(gè)樣本的誤差測(cè)度：（4）網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度：訓(xùn)練過(guò)程概述2、向后傳播階段——誤差傳播階段：（4）網(wǎng)絡(luò)誤差傳播分析

1、輸出層權(quán)的調(diào)整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq誤差傳播分析1、輸出層權(quán)的調(diào)整wpq=wpq+?wpqw隱藏層權(quán)的調(diào)整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……隱藏層權(quán)的調(diào)整

ANpANqANhvhp δpk-1δ1k隱藏層權(quán)的調(diào)整δpk-1的值和δ1k，δ2k，…，δmk

有關(guān)不妨認(rèn)為δpk-1通過(guò)權(quán)wp1對(duì)δ1k做出貢獻(xiàn)，通過(guò)權(quán)wp2對(duì)δ2k做出貢獻(xiàn)，……通過(guò)權(quán)wpm對(duì)δmk做出貢獻(xiàn)。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)隱藏層權(quán)的調(diào)整δpk-1的值和δ1k，δ2k，…，δmk有隱藏層權(quán)的調(diào)整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……隱藏層權(quán)的調(diào)整vhp=vhp+?vhpANpANqANhv基本的BP算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地根據(jù)樣本集中的樣本(Xk,Yk)計(jì)算出實(shí)際輸出Ok和誤差測(cè)度E1，對(duì)W(1)

，W(2)

，…，W(L)各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到∑Ep<ε。用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計(jì)輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差。如此獲得所有其它各層的誤差估計(jì)，并用這些估計(jì)實(shí)現(xiàn)對(duì)權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過(guò)程

基本的BP算法樣本集：S={(X1,Y1),(X2,Y2)基本BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo

4.1E=0;

基本BP算法1fork=1toLdo基本BP算法4.2對(duì)S中的每一個(gè)樣本（Xp,Yp）：

4.2.1計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出Op；

4.2.2計(jì)算出Ep；

4.2.3E=E+Ep；

4.2.4根據(jù)相應(yīng)式子調(diào)整W(L)；

4.2.5k=L-1；

4.2.6whilek≠0do 4.2.6.1根據(jù)相應(yīng)式子調(diào)整W(k)；

4.2.6.2k=k-1

4.3E=E/2.0

基本BP算法4.2對(duì)S中的每一個(gè)樣本（Xp,Yp）算法的改進(jìn)

1、BP網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大影響。它更“偏愛(ài)”較后出現(xiàn)的樣本2、給集中的樣本安排一個(gè)適當(dāng)?shù)捻樞?，是非常困難的。3、樣本順序影響結(jié)果的原因：“分別”、“依次”

4、用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“總效果”修改W(1)

，W(2)

，…，W(L)。 ?w(k)ij=∑?pw(k)ij

算法的改進(jìn)1、BP網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大影響。消除樣本順序影響的BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對(duì)所有的i，j，k：?w(k)ij=0；

消除樣本順序影響的BP算法1fork=1toL4.3對(duì)S中的每一個(gè)樣本（Xp,Yp）：

4.3.1計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出Op；

4.3.2計(jì)算出Ep；

4.3.3E=E+Ep；

4.3.4對(duì)所有i，j根據(jù)相應(yīng)式子計(jì)算?pw(L)ij；

4.3.5對(duì)所有i，j：?w(L)ij=?w(L)ij+?pw(L)ij；

4.3.6k=L-1；

4.3.7whilek≠0do 4.3.7.1對(duì)所有i,j根據(jù)相應(yīng)式子計(jì)算?pw(k)ij；

4.3.7.2對(duì)所有i,j：?w(k)ij=?w(k)ij+?pw(k)ij；

4.3.7.3k=k-1

4.4對(duì)所有i，j，k：w(k)ij=w(k)ij+?w(k)ij;4.5E=E/2.0

4.3對(duì)S中的每一個(gè)樣本（Xp,Yp）：算法4-2分析

較好地解決了因樣本的順序引起的精度問(wèn)題和訓(xùn)練的抖動(dòng)問(wèn)題

收斂速度：比較慢偏移量：給每一個(gè)神經(jīng)元增加一個(gè)偏移量來(lái)加快收斂速度沖量：聯(lián)接權(quán)的本次修改要考慮上次修改的影響，以減少抖動(dòng)問(wèn)題

算法4-2分析較好地解決了因樣本的順序引起的精度問(wèn)題和訓(xùn)算法4-2分析——沖量設(shè)置Rumelhart等人1986年?wij=αδjoi+β?wij′?wij′為上一次的修改量，β為沖量系數(shù)，一般可取到0.9

Sejnowski與Rosenberg，1987年?wij=α((1-β)δjoi+β?wij′)

?wij′也是上一次的修改量，β在0和1之間取值

算法4-2分析——沖量設(shè)置Rumelhart等人1986年算法的實(shí)現(xiàn)

主要數(shù)據(jù)結(jié)構(gòu)W[H，m]——輸出層的權(quán)矩陣；V[n，H]——輸入（隱藏）層的權(quán)矩陣；?o[m]——輸出層各聯(lián)接權(quán)的修改量組成的向量；?h[H]——隱藏層各聯(lián)接權(quán)的修改量組成的向量；O1——隱藏層的輸出向量；O2——輸出層的輸出向量；(X，Y)——一個(gè)樣本。

算法的實(shí)現(xiàn)主要數(shù)據(jù)結(jié)構(gòu)算法的主要實(shí)現(xiàn)步驟

用不同的小偽隨機(jī)數(shù)初始化W，V；初始化精度控制參數(shù)ε；學(xué)習(xí)率α；

循環(huán)控制參數(shù)E=ε+1；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控制參數(shù)N=0；

whileE>ε&N<Mdo

4.1N=N+1；E=0；

4.2對(duì)每一個(gè)樣本(X,Y)，執(zhí)行如下操作

算法的主要實(shí)現(xiàn)步驟用不同的小偽隨機(jī)數(shù)初始化W，V；對(duì)每一個(gè)樣本(X,Y)，執(zhí)行的操作

4.2.1計(jì)算：O1=F1(XV)；O2=F2(O1W)；4.2.2計(jì)算輸出層的權(quán)修改量

fori=1tom 4.2.2.1?o[i]=O2[i]*(1-O2[i])*(Y[i]-O2[i])；4.2.3計(jì)算輸出誤差：fori=1tom4.2.3.1E=E+(Y[i]-O2[i])2；對(duì)每一個(gè)樣本(X,Y)，執(zhí)行的操作4.2.1計(jì)算：O1對(duì)每一個(gè)樣本(X，Y)，執(zhí)行的操作4.2.4計(jì)算隱藏層的權(quán)修改量：fori=1toH 4.2.4.1Z=0；

4.2.4.2forj=1tomdoZ=Z+W[i,j]*?o[j]；

4.2.4.3Δh[i]=Z*O1[i](1-O1[i])

；4.2.5修改輸出層權(quán)矩陣：fork=1toH&i=1tom 4.2.5.1W[k,i]=W[k,i]+α*O1[k]*?o[i]；4.2.5修改隱藏層權(quán)矩陣：fork=1ton&i=1toH 4.2.5.1V[k,i]=V[k,i]+α*X[k]*?h[i]；對(duì)每一個(gè)樣本(X，Y)，執(zhí)行的操作4.2.4計(jì)算隱藏層的建議

隱藏層的神經(jīng)元的個(gè)數(shù)H作為一個(gè)輸入?yún)?shù)同時(shí)將ε、循環(huán)最大次數(shù)M等，作為算法的輸入?yún)?shù)在調(diào)試階段，最外層循環(huán)內(nèi)，加一層控制，以探測(cè)網(wǎng)絡(luò)是否陷入了局部極小點(diǎn)

建議隱藏層的神經(jīng)元的個(gè)數(shù)H作為一個(gè)輸入?yún)?shù)算法的理論基礎(chǔ)基本假設(shè)網(wǎng)絡(luò)含有L層聯(lián)接矩陣：W(1)

，W(2)

，…，W(L)第k層的神經(jīng)元：Hk個(gè)自變量數(shù)：n*H1+H1*H2+H2*H3+…+HL*m樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

誤差測(cè)度: 算法的理論基礎(chǔ)基本假設(shè)用E代表EP，用（X，Y）代表（XP，YP）

X=(x1，x2，…，xn) Y=(y1，y2，…，ym)該樣本對(duì)應(yīng)的實(shí)際輸出為

O=（o1，o2，…，om）誤差測(cè)度用E代表EP，用（X，Y）代表（XP，YP）誤差測(cè)度誤差測(cè)度用理想輸出與實(shí)際輸出的方差作為相應(yīng)的誤差測(cè)度誤差測(cè)度用理想輸出與實(shí)際輸出的方差作為相應(yīng)的誤差測(cè)度最速下降法，要求E的極小點(diǎn)

wijE>0，此時(shí)Δwij<0取E<0,此時(shí)Δwij>0wij最速下降法，要求E的極小點(diǎn)wijE>0，此時(shí)Δwij<0取而其中的

所以，