神經(jīng)網(wǎng)絡(luò)控制專家講座

第6章神經(jīng)網(wǎng)絡(luò)控制1神經(jīng)網(wǎng)絡(luò)控制專家講座第1頁6.1概述6.1.1生物神經(jīng)元模型

6.1.2人工神經(jīng)元模型6.1.3人工神經(jīng)網(wǎng)絡(luò)模型6.1.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法2神經(jīng)網(wǎng)絡(luò)控制專家講座第2頁6.1.1生物神經(jīng)元模型人腦大約包含1012個神經(jīng)元，分成約1000種類型，每個神經(jīng)元大約與102～104個其它神經(jīng)元相連接，形成極為錯綜復(fù)雜而又靈活多變神經(jīng)網(wǎng)絡(luò)。每個神經(jīng)元即使都十分簡單，不過如此大量神經(jīng)元之間、如此復(fù)雜連接卻能夠演化出豐富多彩行為方式。同時，如此大量神經(jīng)元與外部感受器之間各種多樣連接方式也蘊(yùn)含了改變莫測反應(yīng)方式。3神經(jīng)網(wǎng)絡(luò)控制專家講座第3頁4神經(jīng)網(wǎng)絡(luò)控制專家講座第4頁

從生物控制論觀點(diǎn)來看，神經(jīng)元作為控制和信息處理基本單元，含有以下一些主要功效與特征：時空整合功效興奮與抑制狀態(tài)脈沖與電位轉(zhuǎn)換神經(jīng)纖維傳導(dǎo)速度突觸延時和不應(yīng)期學(xué)習(xí)、遺忘和疲勞5神經(jīng)網(wǎng)絡(luò)控制專家講座第5頁6.1.2人工神經(jīng)元模型人工神經(jīng)元是對生物神經(jīng)元一個模擬與簡化。它是神經(jīng)網(wǎng)絡(luò)基本處理單元。如圖所表示為一個簡化人工神經(jīng)元結(jié)構(gòu)。它是一個多輸入、單輸出非線性元件。6神經(jīng)網(wǎng)絡(luò)控制專家講座第6頁7神經(jīng)網(wǎng)絡(luò)控制專家講座第7頁其輸入、輸出關(guān)系可描述為其中，是從其它神經(jīng)元傳來輸入信號；表示從神經(jīng)元j到神經(jīng)元i連接權(quán)值；為閾值；稱為激發(fā)函數(shù)或作用函數(shù)。8神經(jīng)網(wǎng)絡(luò)控制專家講座第8頁輸出激發(fā)函數(shù)又稱為變換函數(shù)，它決定神經(jīng)元（節(jié)點(diǎn)）輸出。該輸出為1或0，取決于其輸入之和大于或小于內(nèi)部閾值。函數(shù)普通含有非線性特征。下列圖表示了幾個常見激發(fā)函數(shù)。1.閾值型函數(shù)（見圖（a），（b））2.飽和型函數(shù)（見圖（c））3.雙曲函數(shù)（見圖（d））4.S型函數(shù)（見（e））5.高斯函數(shù)（見圖（f））9神經(jīng)網(wǎng)絡(luò)控制專家講座第9頁10神經(jīng)網(wǎng)絡(luò)控制專家講座第10頁6.1.3人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)伎倆來模擬人腦神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)與特征系統(tǒng)。利用人工神經(jīng)元能夠組成各種不一樣拓?fù)浣Y(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)一個模擬和近似。就神經(jīng)網(wǎng)絡(luò)主要連接型式而言，當(dāng)前已經(jīng)有數(shù)十種不一樣神經(jīng)網(wǎng)絡(luò)模型，其中前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)是兩種經(jīng)典結(jié)構(gòu)模型。11神經(jīng)網(wǎng)絡(luò)控制專家講座第11頁1.前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)（FeedforwardNN）。如圖所表示，神經(jīng)元分層排列，有輸入層、隱層（亦稱中間層，可有若干層）和輸出層，每一層神經(jīng)元只接收前一層神經(jīng)元輸入。從學(xué)習(xí)觀點(diǎn)來看，前饋網(wǎng)絡(luò)是一個強(qiáng)有力學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡單而易于編程；從系統(tǒng)觀點(diǎn)看，前饋網(wǎng)絡(luò)是一靜態(tài)非線性映射，經(jīng)過簡單非線性處理單元復(fù)合映射，可取得復(fù)雜非線性處理能力。但從計(jì)算觀點(diǎn)看，缺乏豐富動力學(xué)行為。大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們分類能力和模式識別能力普通都強(qiáng)于反饋網(wǎng)絡(luò)，經(jīng)典前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP網(wǎng)絡(luò)等。12神經(jīng)網(wǎng)絡(luò)控制專家講座第12頁13神經(jīng)網(wǎng)絡(luò)控制專家講座第13頁2.反饋型神經(jīng)網(wǎng)絡(luò)

反饋型神經(jīng)網(wǎng)絡(luò)（FeedbackNN）結(jié)構(gòu)如圖所表示。假如總節(jié)點(diǎn)（神經(jīng)元）數(shù)為N，那么每個節(jié)點(diǎn)有N個輸入和一個輸出，也就是說，全部節(jié)點(diǎn)都是一樣，它們之間都可相互連接。反饋神經(jīng)網(wǎng)絡(luò)是一個反饋動力學(xué)系統(tǒng)，它需要工作一段時間才能到達(dá)穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用廣泛模型，它含有聯(lián)想記憶（Content一AddressibleMemory，CAM）功效，假如將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfie1d神經(jīng)網(wǎng)絡(luò)還能夠用來處理快速尋優(yōu)問題。14神經(jīng)網(wǎng)絡(luò)控制專家講座第14頁15神經(jīng)網(wǎng)絡(luò)控制專家講座第15頁6.1.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法學(xué)習(xí)方法是表達(dá)人工神經(jīng)網(wǎng)絡(luò)智能特征主要標(biāo)志，離開了學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)就失去了自適應(yīng)、自組織和自學(xué)習(xí)能力。當(dāng)前神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法有各種，按有沒有導(dǎo)師來分類，可分為有教師學(xué)習(xí)（SupervisedLearning）、無教師學(xué)習(xí)（UnsupervisedLearning）和再勵學(xué)習(xí)（ReinforcementLearning）等幾大類。在有教師學(xué)習(xí)方式中，網(wǎng)絡(luò)輸出和期望輸出（即教師信號）進(jìn)行比較，然后依據(jù)二者之間差異調(diào)整網(wǎng)絡(luò)權(quán)值，最終使差異變小。在無教師學(xué)習(xí)方式中，輸入模式進(jìn)人網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定規(guī)則（如競爭規(guī)則）自動調(diào)整權(quán)值，使網(wǎng)絡(luò)最終含有模式分類等功效。再勵學(xué)習(xí)是介于上述二者之間一個學(xué)習(xí)方式。16神經(jīng)網(wǎng)絡(luò)控制專家講座第16頁神經(jīng)網(wǎng)絡(luò)中慣用幾個最基本學(xué)習(xí)方法

1.Hebb學(xué)習(xí)規(guī)則兩個神經(jīng)元同時處于激發(fā)狀態(tài)時，它們之間連接強(qiáng)度將得到加強(qiáng)，這一敘述數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是一個無教師學(xué)習(xí)方法，它只依據(jù)神經(jīng)元連接間激活水平改變權(quán)值，所以這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。17神經(jīng)網(wǎng)絡(luò)控制專家講座第17頁2．Delta（δ）學(xué)習(xí)規(guī)則δ規(guī)則實(shí)現(xiàn)了E中梯度下降，所以使誤差函數(shù)到達(dá)最小值。但δ學(xué)習(xí)規(guī)則只適合用于線性可分函數(shù)，無法用于多層網(wǎng)絡(luò)。BP網(wǎng)絡(luò)學(xué)習(xí)算法稱為BP算法，是在δ規(guī)則基礎(chǔ)上發(fā)展起來，可在多網(wǎng)絡(luò)上有效地學(xué)習(xí)。18神經(jīng)網(wǎng)絡(luò)控制專家講座第18頁3．概率式學(xué)習(xí)從統(tǒng)計(jì)力學(xué)、分子熱力學(xué)和概率論中關(guān)于系統(tǒng)穩(wěn)態(tài)能量標(biāo)準(zhǔn)出發(fā)，進(jìn)行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式稱概率式學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)處于某一狀態(tài)概率主要取決于在此狀態(tài)下能量，能量越低，概率越大。同時，此概率還取決于溫度參數(shù)T。T越大，不一樣狀態(tài)出現(xiàn)概率差異便越小，較輕易跳出能量局部極小點(diǎn)而到全局極小點(diǎn)；T越小時，情形正相反。概率式學(xué)習(xí)經(jīng)典代表是Boltzmann機(jī)學(xué)習(xí)規(guī)則。它是基于模擬退火統(tǒng)計(jì)優(yōu)化方法，所以又稱模擬退火算法。19神經(jīng)網(wǎng)絡(luò)控制專家講座第19頁4．競爭式學(xué)習(xí)競爭式學(xué)習(xí)屬于無教師學(xué)習(xí)方式。此種學(xué)習(xí)方式利用不一樣層間神經(jīng)元發(fā)生興奮性聯(lián)接，以及同一層內(nèi)距離很近神經(jīng)元間發(fā)生一樣興奮性聯(lián)接，而距離較遠(yuǎn)神經(jīng)元產(chǎn)生抑制性聯(lián)接。在這種聯(lián)接機(jī)制中引人竟?fàn)帣C(jī)制學(xué)習(xí)方式稱為竟?fàn)幨綄W(xué)習(xí)。它本質(zhì)在于神經(jīng)網(wǎng)絡(luò)中高層次神經(jīng)元對低層次神經(jīng)元輸入模式進(jìn)行競爭識別。20神經(jīng)網(wǎng)絡(luò)控制專家講座第20頁6.2前向神經(jīng)網(wǎng)絡(luò)6.2.1感知器網(wǎng)絡(luò)感知器（perceptrvon）是一個含有單層神經(jīng)元神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成，是最簡單前向網(wǎng)絡(luò)。它主要用于模式分類，單層感知器網(wǎng)絡(luò)結(jié)構(gòu)以下列圖所表示。21神經(jīng)網(wǎng)絡(luò)控制專家講座第21頁22神經(jīng)網(wǎng)絡(luò)控制專家講座第22頁感知器一個學(xué)習(xí)算法：

隨機(jī)地給定一組連接權(quán)輸入一組樣本和期望輸出（亦稱之為教師信號）計(jì)算感知器實(shí)際輸出修正權(quán)值選取另外一組樣本，重復(fù)上述2）～4）過程，直到權(quán)值對一切樣本均穩(wěn)定不變?yōu)橹?，學(xué)習(xí)過程結(jié)束。23神經(jīng)網(wǎng)絡(luò)控制專家講座第23頁6.2.2BP網(wǎng)絡(luò)誤差反向傳輸神經(jīng)網(wǎng)絡(luò)，簡稱BP網(wǎng)絡(luò)（BackPropagation），是一個單向傳輸多層前向網(wǎng)絡(luò)。在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛應(yīng)用。如圖是BP網(wǎng)絡(luò)示意圖。24神經(jīng)網(wǎng)絡(luò)控制專家講座第24頁25神經(jīng)網(wǎng)絡(luò)控制專家講座第25頁誤差反向傳輸BP算法簡稱BP算法，其基本思想是最小二乘算法。它采取梯度搜索技術(shù)，以期使網(wǎng)絡(luò)實(shí)際輸出值與期望輸出值誤差均方值為最小。BP算法學(xué)習(xí)過程由正向傳輸和反向傳輸組成。在正向傳輸過程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點(diǎn)）狀態(tài)只影響下一層神經(jīng)元狀態(tài)。假如在輸出層不能得到期望輸出，則轉(zhuǎn)人反向傳輸，將誤差信號沿原來連接通路返回，經(jīng)過修改各層神經(jīng)元權(quán)值，使誤差信號最小。26神經(jīng)網(wǎng)絡(luò)控制專家講座第26頁1．BP網(wǎng)絡(luò)前饋計(jì)算2．BP網(wǎng)絡(luò)權(quán)值調(diào)整規(guī)則1).輸出層權(quán)系數(shù)調(diào)整2).隱含層節(jié)點(diǎn)權(quán)系數(shù)調(diào)整3．BP學(xué)習(xí)算法計(jì)算步驟

27神經(jīng)網(wǎng)絡(luò)控制專家講座第27頁3．BP學(xué)習(xí)算法計(jì)算步驟1).初始化置全部權(quán)值為較小隨機(jī)數(shù)2).提供訓(xùn)練集3).計(jì)算實(shí)際輸出，計(jì)算隱含層、輸出層各神經(jīng)元輸出4).計(jì)算目標(biāo)值與實(shí)際輸出偏差E5).計(jì)算6).計(jì)算7).返回“2）”重復(fù)計(jì)算，直到誤差滿足要求為止28神經(jīng)網(wǎng)絡(luò)控制專家講座第28頁29神經(jīng)網(wǎng)絡(luò)控制專家講座第29頁在使用BP算法時，應(yīng)注意幾個問題是：1).學(xué)習(xí)開始時，各隱含層連接權(quán)系數(shù)初值應(yīng)以設(shè)置較小隨機(jī)數(shù)較為適宜。2).采取S型激發(fā)函數(shù)時，因?yàn)檩敵鰧痈魃窠?jīng)元輸出只能趨于1或0，不能到達(dá)1或0。在設(shè)置各訓(xùn)練樣本時，期望輸出分量dpk不能設(shè)置為1或0，以設(shè)置為或0，1較為適宜。3).學(xué)習(xí)速率η選擇，在學(xué)習(xí)開始階段，η選較大值能夠加緊學(xué)習(xí)速度。學(xué)習(xí)靠近優(yōu)化區(qū)時，η值必須相當(dāng)小，不然權(quán)系數(shù)將產(chǎn)生振蕩而不收斂。平滑因子α選值在左右。30神經(jīng)網(wǎng)絡(luò)控制專家講座第30頁6.2.3BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)1．多層前向BP網(wǎng)絡(luò)優(yōu)點(diǎn)：1).網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個從輸入到輸出映射功效，而數(shù)學(xué)理論已證實(shí)它含有實(shí)現(xiàn)任何復(fù)雜非線性映射功效。這使得它尤其適合于求解內(nèi)部機(jī)制復(fù)雜問題；2).網(wǎng)絡(luò)能經(jīng)過學(xué)習(xí)帶正確答案實(shí)例集自動提取“合理”求解規(guī)則，即含有自學(xué)習(xí)能力；31神經(jīng)網(wǎng)絡(luò)控制專家講座第31頁2．多層前向BP網(wǎng)絡(luò)問題：1).BP算法學(xué)習(xí)速度很慢2).網(wǎng)絡(luò)訓(xùn)練失敗可能性較大3).難以處理應(yīng)用問題實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模間矛盾4).網(wǎng)絡(luò)結(jié)構(gòu)選擇尚無一個統(tǒng)一而完整理論指導(dǎo)，普通只能由經(jīng)驗(yàn)選定5).新加入樣本要影響已學(xué)習(xí)成功網(wǎng)絡(luò)，而且刻畫每個輸入樣本特征數(shù)目也必須相同6).網(wǎng)絡(luò)預(yù)測能力（也稱泛化能力、推廣能力）與訓(xùn)練能力（也稱迫近能力、學(xué)習(xí)能力）矛盾32神經(jīng)網(wǎng)絡(luò)控制專家講座第32頁3．BP網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)

1).增加“慣性項(xiàng)2).采取動態(tài)步長3).與其它全局搜索算法相結(jié)合4).模擬退火算法當(dāng)前在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中，基于梯度算法都不能從理論上確保收斂結(jié)果是全局最優(yōu)。33神經(jīng)網(wǎng)絡(luò)控制專家講座第33頁6.2.4神經(jīng)網(wǎng)絡(luò)訓(xùn)練能夠任意迫近一個緊集上任意函數(shù)這一特點(diǎn)是神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用理論基礎(chǔ)。不過，在實(shí)際應(yīng)用中，當(dāng)前還未找到很好網(wǎng)絡(luò)結(jié)構(gòu)方法，確定網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)值參數(shù)，來描述給定映射或迫近一個未知映射，只能經(jīng)過學(xué)習(xí)來得到滿足要求網(wǎng)絡(luò)模型。34神經(jīng)網(wǎng)絡(luò)控制專家講座第34頁神經(jīng)網(wǎng)絡(luò)訓(xùn)練詳細(xì)步驟以下1．獲取訓(xùn)練樣本集

獲取訓(xùn)練樣本集合是訓(xùn)練神經(jīng)網(wǎng)絡(luò)第一步，也是十分主要和關(guān)鍵一步。它包含訓(xùn)練數(shù)據(jù)搜集、分析、選擇和預(yù)處理等2．選擇網(wǎng)絡(luò)類型與結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)類型很多，需要依據(jù)任務(wù)性質(zhì)和要求來選擇適當(dāng)網(wǎng)絡(luò)類型。

3．訓(xùn)練與測試

最終一步是利用獲取訓(xùn)練樣本對網(wǎng)絡(luò)進(jìn)行重復(fù)訓(xùn)練，直至得到適當(dāng)映射結(jié)果。35神經(jīng)網(wǎng)絡(luò)控制專家講座第35頁6.3反饋神經(jīng)網(wǎng)絡(luò)反饋網(wǎng)絡(luò)(RecurrentNetwork)，又稱自聯(lián)想記憶網(wǎng)絡(luò)，其目標(biāo)是為了設(shè)計(jì)一個網(wǎng)絡(luò)，儲存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)經(jīng)過自行運(yùn)行而最終收斂到這個設(shè)計(jì)平衡點(diǎn)上。反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動力學(xué)系統(tǒng)動態(tài)特征。它所含有主要特征為以下兩點(diǎn)：第一、網(wǎng)絡(luò)系統(tǒng)含有若干個穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動，網(wǎng)絡(luò)系統(tǒng)總能夠收斂到某一個穩(wěn)定平衡狀態(tài)；第二，系統(tǒng)穩(wěn)定平衡狀態(tài)能夠經(jīng)過設(shè)計(jì)網(wǎng)絡(luò)權(quán)值而被存放到網(wǎng)絡(luò)中。36神經(jīng)網(wǎng)絡(luò)控制專家講座第36頁6.3.1離散Hopfield網(wǎng)絡(luò)1.網(wǎng)絡(luò)結(jié)構(gòu)和工作方式離散Hopfield網(wǎng)絡(luò)是一個單層網(wǎng)絡(luò)，有個神經(jīng)元節(jié)點(diǎn)，每個神經(jīng)元輸出均接到其它神經(jīng)元輸入。各節(jié)點(diǎn)沒有自反饋，每個節(jié)點(diǎn)都附有一個閥值。每個節(jié)點(diǎn)都可處于一個可能狀態(tài)（1或－1），即當(dāng)該神經(jīng)元所受刺激超出其閥值時，神經(jīng)元就處于一個狀態(tài)（比如1），不然神經(jīng)元就一直處于另一狀態(tài)（比如－1）。37神經(jīng)網(wǎng)絡(luò)控制專家講座第37頁38神經(jīng)網(wǎng)絡(luò)控制專家講座第38頁整個網(wǎng)絡(luò)有兩種工作方式：即異步方式和同時方式。1).異步方式2).同時方式2.穩(wěn)定性和吸引子3.連接權(quán)設(shè)計(jì)4.聯(lián)想記憶39神經(jīng)網(wǎng)絡(luò)控制專家講座第39頁6.3.2連續(xù)Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)也是單層反饋網(wǎng)絡(luò)。其實(shí)質(zhì)上是一個連續(xù)非線性動力學(xué)系統(tǒng)，它能夠用一組非線性微分方程來描述。當(dāng)給定初始狀態(tài)，經(jīng)過求解非線性微分方程組即可求得網(wǎng)絡(luò)狀態(tài)運(yùn)行軌跡。若系統(tǒng)是穩(wěn)定，則它最終可收斂到一個穩(wěn)定狀態(tài)。40神經(jīng)網(wǎng)絡(luò)控制專家講座第40頁6.3.3Boltzmann機(jī)Boltzmann機(jī)網(wǎng)絡(luò)結(jié)構(gòu)和工作方式Boltzmann機(jī)網(wǎng)絡(luò)是一個相互連接神經(jīng)網(wǎng)絡(luò)模型，含有對稱連接權(quán)系數(shù)，及wij＝wji且wii=0。網(wǎng)絡(luò)由可見單元（VisibleUnit）和隱單元（HiddenUnit）組成。可見單元由輸入、輸出部分組成。每個單元節(jié)點(diǎn)只取1或0兩種狀態(tài)。1代表接通或接收，0表示斷開或拒絕。當(dāng)神經(jīng)元輸入加權(quán)和發(fā)生改變時，神經(jīng)元狀態(tài)隨之更新。各單元之間狀態(tài)更新是異步。41神經(jīng)網(wǎng)絡(luò)控制專家講座第41頁與Hopfield網(wǎng)絡(luò)相同，Boltzmann機(jī)實(shí)際運(yùn)行也分為兩個階段：第一階段是學(xué)習(xí)和訓(xùn)練階段，即依據(jù)學(xué)習(xí)樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將知識分布地存放于網(wǎng)絡(luò)連接權(quán)中；第二階段是工作階段，即依據(jù)輸入運(yùn)行網(wǎng)絡(luò)得到適當(dāng)輸出，這一步實(shí)質(zhì)上是按照某種機(jī)制將知識提取出來。42神經(jīng)網(wǎng)絡(luò)控制專家講座第42頁2.網(wǎng)絡(luò)學(xué)習(xí)和訓(xùn)練

網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)是經(jīng)過給出一組學(xué)習(xí)樣本，經(jīng)學(xué)習(xí)后得到Boltzmann機(jī)各種神經(jīng)元之間連接權(quán)wij.Boltzmann機(jī)網(wǎng)絡(luò)學(xué)習(xí)步驟可歸納以下：1).隨機(jī)設(shè)定網(wǎng)絡(luò)連接權(quán)wij(0)及初始高溫。2).按照已知概率p(xα)，依次給定學(xué)習(xí)樣本。在樣本約束下，按照模擬退火程度運(yùn)行網(wǎng)絡(luò)，直至到達(dá)平衡狀態(tài)，統(tǒng)計(jì)出各pij。在無約束條件下，按一樣步驟并一樣次數(shù)運(yùn)行網(wǎng)絡(luò)，統(tǒng)計(jì)出各p’ij。3).按下述公式修改權(quán)值wij(k+1)=wij(k)+η(pij-p’ij),η>04).重復(fù)上述步驟，直到pij-p’ij小于一定容限。43神經(jīng)網(wǎng)絡(luò)控制專家講座第43頁6.4神經(jīng)網(wǎng)絡(luò)PID控制盡管神經(jīng)網(wǎng)絡(luò)控制技術(shù)有許多潛在優(yōu)勢，但單純使用神經(jīng)網(wǎng)絡(luò)控制方法研究仍有待深入發(fā)展。通常將人工神經(jīng)網(wǎng)絡(luò)技術(shù)與傳統(tǒng)控制理論或智能技術(shù)綜合使用。神經(jīng)網(wǎng)絡(luò)在控制中作用有以下幾個：1．在傳統(tǒng)控制系統(tǒng)中用以動態(tài)系統(tǒng)建模，充當(dāng)對象模型；2．在反饋控制系統(tǒng)中直接充當(dāng)控制器作用；3．在傳統(tǒng)控制系統(tǒng)中起優(yōu)化計(jì)算作用；4．與其它智能控制方法如含糊邏輯、遺傳算法、教授控制等相融合。44神經(jīng)網(wǎng)絡(luò)控制專家講座第44頁6.4.1基于BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制BP神經(jīng)網(wǎng)絡(luò)含有迫近任意非線性函數(shù)能力，而且結(jié)構(gòu)和學(xué)習(xí)算法簡單明確。經(jīng)過神經(jīng)網(wǎng)絡(luò)本身學(xué)習(xí)，能夠找到某一最優(yōu)控制律下P，I，D參數(shù)?；贐P神經(jīng)網(wǎng)絡(luò)PD控制系統(tǒng)結(jié)構(gòu)如圖所表示，控制器由兩個部分組成：①經(jīng)典PID控制器：直接對被控對象進(jìn)行閉環(huán)控制，而且KP,KI,KD三個參數(shù)為在線整定；②神經(jīng)網(wǎng)絡(luò)NN：依據(jù)系統(tǒng)運(yùn)行狀態(tài)，調(diào)整PID控制器參數(shù)，以期到達(dá)某種性能指標(biāo)最優(yōu)化。即使輸出層神經(jīng)元輸出狀態(tài)對應(yīng)于PID控制器三個可調(diào)參數(shù)KP,KI,KD，經(jīng)過神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)、調(diào)整權(quán)系數(shù)，從而使其穩(wěn)定狀態(tài)對應(yīng)于某種最優(yōu)控制律下PID控制器參數(shù)。45神經(jīng)網(wǎng)絡(luò)控制專家講座第45頁46神經(jīng)網(wǎng)絡(luò)控制專家講座第46頁

基于BP神經(jīng)網(wǎng)絡(luò)PID控制算法可歸納以下：

1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；2).采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)；3).對r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN輸入；4).前向計(jì)算NN各層神經(jīng)元輸入和輸出，NN輸出層輸出即為PID控制器三個可調(diào)參數(shù)KP(k),KI(k),KD(k)；5).計(jì)算PID控制器控制輸出u(k)，參加控制和計(jì)算；6).計(jì)算修正輸出層權(quán)系數(shù)w(3)li(k)；7).計(jì)算修正隱含層權(quán)系數(shù)w(2)ij(k)；8).置k=k+1，返回到“2）”。47神經(jīng)網(wǎng)絡(luò)控制專家講座第47頁6.4.2改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制將神經(jīng)網(wǎng)絡(luò)用于控制器設(shè)計(jì)或直接學(xué)習(xí)計(jì)算控制器輸出（控制量），普通都要用到系統(tǒng)預(yù)測輸出值或其改變量來計(jì)算權(quán)系數(shù)修正量。但實(shí)際上，系統(tǒng)預(yù)測輸出值是不易直接測得，通常做法是建立被控對象預(yù)測數(shù)學(xué)模型，用該模型所計(jì)算預(yù)測輸出來取代預(yù)測處實(shí)測值，以提升控制效果。48神經(jīng)網(wǎng)絡(luò)控制專家講座第48頁1．采取線性預(yù)測模型BP神經(jīng)網(wǎng)絡(luò)PID控制器

49神經(jīng)網(wǎng)絡(luò)控制專家講座第49頁采取線性預(yù)測模型BP神經(jīng)網(wǎng)絡(luò)PID控制系統(tǒng)算法歸納以下：

1).事先選定BP神經(jīng)網(wǎng)絡(luò)NN結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)初值w(2)ij(0),w(3)li(0)，選定學(xué)習(xí)速率η和平滑因子α，k=1；2).用線性系統(tǒng)辨識法預(yù)計(jì)出參數(shù)矢量θ(k)，從而形成一步預(yù)報(bào)模型式；3).采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)；4).對r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN輸入；5