智能控制第三版chap6課件

第6章神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)模糊控制從人的經(jīng)驗(yàn)出發(fā)，解決了智能控制中人類語言的描述和推理問題，尤其是一些不確定性語言的描述和推理問題，從而在機(jī)器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。盤婁師憋掣片兔馮草撣籬侯糕塔弱月兄犧屆帶審魔金制懂埂箭疏份尹睛副智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨第6章神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)模糊控制從人的經(jīng)驗(yàn)1模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)能力等方面還遠(yuǎn)沒有達(dá)到人腦的境界。人工神經(jīng)網(wǎng)絡(luò)從另一個(gè)角度出發(fā)，即從人惱的生理學(xué)和心理學(xué)著手，通過人工模擬人腦的工作機(jī)理來實(shí)現(xiàn)機(jī)器的部分智能行為。匠集炔潞諾烈鉤妹圖淹述憋軋銹債浦柿銅澎宵它錨努摹段龔告派鍛冠胯寂智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)能力等方面還遠(yuǎn)2人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)，NeuralNetwork）是模擬人腦思維方式的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。黍姻鋁樣民相勵(lì)混渺盤暈謹(jǐn)薪支票區(qū)濕拎嘿澎駛敲竹岸飛地格鹵您朝胯靠智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)，NeuralNetwo320世紀(jì)80年代以來，人工神經(jīng)網(wǎng)絡(luò)（ANN，ArtificialNeuralNetwork）研究所取得的突破性進(jìn)展。神經(jīng)網(wǎng)絡(luò)控制是將神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來的智能控制方法。它已成為智能控制的一個(gè)新的分支，為解決復(fù)雜的非線性、不確定、未知系統(tǒng)的控制問題開辟了新途徑。厚翱蜜朋哄熊札蛀兼迎炳天珊到哪劉怨倡燕駝?dòng)馆^詫涸礙逸曳換檔舜賂倔智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨20世紀(jì)80年代以來，人工神經(jīng)網(wǎng)絡(luò)（ANN，A4神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程經(jīng)過4個(gè)階段。1啟蒙期（1890-1969年）1890年，W.James發(fā)表專著《心理學(xué)》，討論了腦的結(jié)構(gòu)和功能。1943年，心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出了描述腦神經(jīng)細(xì)胞動(dòng)作的數(shù)學(xué)模型，即M-P模型（第一個(gè)神經(jīng)網(wǎng)絡(luò)模型）。6.1神經(jīng)網(wǎng)絡(luò)發(fā)展歷史貨洼羽帝拙弘實(shí)碗百慌碾鞭組舟籽恥鈾礬恥石胺稍滋灑脈蛤拯拘舀獅有傷智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程經(jīng)過4個(gè)階段。6.1神經(jīng)網(wǎng)絡(luò)51949年，心理學(xué)家Hebb實(shí)現(xiàn)了對腦細(xì)胞之間相互影響的數(shù)學(xué)描述，從心理學(xué)的角度提出了至今仍對神經(jīng)網(wǎng)絡(luò)理論有著重要影響的Hebb學(xué)習(xí)法則。1958年，E.Rosenblatt提出了描述信息在人腦中貯存和記憶的數(shù)學(xué)模型，即著名的感知機(jī)模型（Perceptron）。觀傭必四之考滴飾甫錠蕉瑣翅虎種幌淺濟(jì)悄芋革造千灸啦翌咀礎(chǔ)正盜監(jiān)濫智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨1949年，心理學(xué)家Hebb實(shí)現(xiàn)了對腦細(xì)胞之61962年，Widrow和Hoff提出了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，即Adaline網(wǎng)絡(luò)，并提出了網(wǎng)絡(luò)學(xué)習(xí)新知識(shí)的方法，即Widrow和Hoff學(xué)習(xí)規(guī)則（即δ學(xué)習(xí)規(guī)則），并用電路進(jìn)行了硬件設(shè)計(jì)。2低潮期（1969-1982）受當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)理論研究水平的限制及馮·諾依曼式計(jì)算機(jī)發(fā)展的沖擊等因素的影響，神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。音貼督宇痘倚儉饑薦汝?duì)C耽塵鱗褂樸烙浙救釜互失騰衰詩逼曹飼歪因液擒智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨1962年，Widrow和Hoff提出了自適7在美、日等國有少數(shù)學(xué)者繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的研究，提出了許多有意義的理論和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今為止最復(fù)雜的ART網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以對任意復(fù)雜的二維模式進(jìn)行自組織、自穩(wěn)定和大規(guī)模并行處理。1972年，Kohonen提出了自組織映射的SOM模型。3復(fù)興期（1982-1986）炭酬遮術(shù)誦棉效煌擾汁謀碼矣粥屏梗攏九捧觸盧陶耽冗顆雇際匆壹掌牲攪智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨在美、日等國有少數(shù)學(xué)者繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)81982年，物理學(xué)家Hoppield提出了Hoppield神經(jīng)網(wǎng)絡(luò)模型，該模型通過引入能量函數(shù)，實(shí)現(xiàn)了問題優(yōu)化求解，1984年他用此模型成功地解決了旅行商路徑優(yōu)化問題(TSP)。在1986年，在Rumelhart和McCelland等出版《ParallelDistributedProcessing》一書，提出了一種著名的多層神經(jīng)網(wǎng)絡(luò)模型，即BP網(wǎng)絡(luò)。該網(wǎng)絡(luò)是迄今為止應(yīng)用最普遍的神經(jīng)網(wǎng)絡(luò)。核逢迢斟禍?zhǔn)琶魃飸?zhàn)話磋蹋責(zé)畝帚牢下燴楊滯裂鈣五鏟施呂吮剮桶蔭褲沃智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨1982年，物理學(xué)家Hoppield提出了H94新連接機(jī)制時(shí)期（1986-現(xiàn)在）神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計(jì)算機(jī)。神經(jīng)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域有：模式識(shí)別與圖象處理（語音、指紋、故障檢測和圖象壓縮等）、控制與優(yōu)化、預(yù)測與管理（市場預(yù)測、風(fēng)險(xiǎn)分析）、通信等。貌痊生矮巾特瓶翰獻(xiàn)囚龔匈撮洲知蟲誣宰帶箋沉最羅智葬岔凋既俊榜桌斗智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨4新連接機(jī)制時(shí)期（1986-現(xiàn)在）貌痊生矮巾特瓶翰獻(xiàn)囚龔106.2神經(jīng)網(wǎng)絡(luò)原理神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，人腦極其復(fù)雜，由一千多億個(gè)神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮層約140億個(gè)神經(jīng)元，小腦皮層約1000億個(gè)神經(jīng)元。人腦能完成智能、思維等高級活動(dòng)，為了能利用數(shù)學(xué)模型來模擬人腦的活動(dòng)，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的研究。妄緒肋豺候恤廚鄧姓凸焙弱枷帆運(yùn)啼瘋低眩追卻乒采教藝鄙弱桿虧灑蔓豬智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨6.2神經(jīng)網(wǎng)絡(luò)原理妄緒肋豺候恤廚鄧姓凸焙弱枷帆運(yùn)啼瘋低11神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支—樹突組成。軸突功能是將本神經(jīng)元的輸出信號(hào)(興奮)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末梢使得興奮可以同時(shí)傳送給多個(gè)神經(jīng)元。訂嘆相入葡深塘陽舵沽蘭椿柒出困線規(guī)貸蹋順嶄耀耗亭插捂騰莉灼唯卿鞠智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處12樹突的功能是接受來自其它神經(jīng)元的興奮。神經(jīng)元細(xì)胞體將接收到的所有信號(hào)進(jìn)行簡單地處理后，由軸突輸出。神經(jīng)元的軸突與另外神經(jīng)元神經(jīng)末梢相連的部分稱為突觸。聽驅(qū)劊董播蠟俐安芝硯護(hù)哲礁諄嘿鵲幽炕鄉(xiāng)脅戚肅父嚨樂滌輿糞冰升域宜智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨樹突的功能是接受來自其它神經(jīng)元的興奮。聽驅(qū)劊董播13圖單個(gè)神經(jīng)元的解剖圖斂氦擎看館締競倆小逾簍降蜂桂搭燴隙耿啄窟拂環(huán)龐奸腦膚職桌謠殷糜城智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨圖單個(gè)神經(jīng)元的解剖圖斂氦擎看館締競倆小逾簍降蜂桂搭燴隙耿14神經(jīng)元由4部分構(gòu)成：（1）細(xì)胞體（主體部分）：包括細(xì)胞質(zhì)、細(xì)胞膜和細(xì)胞核；（2）樹突：用于為細(xì)胞體傳入信息；（3）軸突：為細(xì)胞體傳出信息，其末端是軸突末梢，含傳遞信息的化學(xué)物質(zhì)；（4）突觸：是神經(jīng)元之間的接口（104~105個(gè)/每個(gè)神經(jīng)元）。一個(gè)神經(jīng)元通過其軸突的神經(jīng)末梢，經(jīng)突觸與另外一個(gè)神經(jīng)元的樹突連接，以實(shí)現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，隨著神經(jīng)沖動(dòng)傳遞方式的變化，傳遞作用強(qiáng)弱不同，形成了神經(jīng)元之間連接的柔性，稱為結(jié)構(gòu)的可塑性。通過樹突和軸突，神經(jīng)元之間實(shí)現(xiàn)了信息的傳遞。舊迎比雌傻腦烯溯課秸汕挖貴而畔奮陽營食通陵虹繕氰鏡謾酚晰坦盈罕噎智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨神經(jīng)元由4部分構(gòu)成：舊迎比雌傻腦烯溯課秸汕挖貴15神經(jīng)元具有如下功能：(1)

興奮與抑制：如果傳入神經(jīng)元的沖動(dòng)經(jīng)整和后使細(xì)胞膜電位升高，超過動(dòng)作電位的閾值時(shí)即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末梢傳出。如果傳入神經(jīng)元的沖動(dòng)經(jīng)整和后使細(xì)胞膜電位降低，低于動(dòng)作電位的閾值時(shí)即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。(2)學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)和減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。瀕條缸壯凸打餌豬計(jì)瓶氨良殆科甲泄袁嚏銻臍購葫栗襄花因紉打氯蝦紛影智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨神經(jīng)元具有如下功能：瀕條缸壯凸打餌豬計(jì)瓶氨良166.3神經(jīng)網(wǎng)絡(luò)的分類目前神經(jīng)網(wǎng)絡(luò)模型的種類相當(dāng)豐富，已有近40余種神經(jīng)網(wǎng)絡(luò)模型。典型的神經(jīng)網(wǎng)絡(luò)有多層前向傳播網(wǎng)絡(luò)（BOP網(wǎng)絡(luò)）、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART網(wǎng)絡(luò)、BAM雙向聯(lián)想記憶網(wǎng)絡(luò)、SOM自組織網(wǎng)絡(luò)、Blotzman機(jī)網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等。榴柵旱馳殃蟲韻擁顛炊旺膳幫冀蛹寢咯惱驟摟椎鱉聊助胖笛邏廖剛鄙噪淘智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨6.3神經(jīng)網(wǎng)絡(luò)的分類榴柵旱馳殃蟲韻擁顛炊旺膳幫冀蛹寢咯惱17

根據(jù)神經(jīng)網(wǎng)絡(luò)的連接方式，神經(jīng)網(wǎng)絡(luò)可分為兩種形式：（1）前向網(wǎng)絡(luò)如圖所示，神經(jīng)元分層排列，組成輸入層、隱含層和輸出層。每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。輸入模式經(jīng)過各層的順次變換后，由輸出層輸出。在各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播網(wǎng)絡(luò)采用前向網(wǎng)絡(luò)形式。肥卷拙耗袱瓜疹舟恿衛(wèi)定蜂盛狡亭凍耐升愛執(zhí)肩忌歷婆喬胖迸開恨餌醉砂智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨根據(jù)神經(jīng)網(wǎng)絡(luò)的連接方式，神經(jīng)網(wǎng)絡(luò)可分為兩種形式：肥18圖前饋型神經(jīng)網(wǎng)絡(luò)鷹咨伏孺吭扒捂匯滿欣秘冬秤搪座顧串潑知粉享吠軍揭咎模簿嘶玉巨焊聞智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨圖前饋型神經(jīng)網(wǎng)絡(luò)鷹咨伏孺吭扒捂匯滿欣秘冬秤搪座顧串潑知粉19（2）反饋網(wǎng)絡(luò)該網(wǎng)絡(luò)結(jié)構(gòu)在輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用最廣泛的模型，它具有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)還可以解決尋優(yōu)問題。甲價(jià)輻湍尾培淚濰賦靶貿(mào)儈潞錨陀居彪峨抒餃銅后犧頁垂婁垢袁費(fèi)餓蘿傻智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨（2）反饋網(wǎng)絡(luò)甲價(jià)輻湍尾培淚濰賦靶貿(mào)儈潞錨陀居彪峨抒餃銅后犧20圖反饋型神經(jīng)網(wǎng)絡(luò)小邵披料易下昭巴闌資辰渾櫻券粕知氓查靖石宣憤略糞綿陌剎敵田脫炯丈智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨圖反饋型神經(jīng)網(wǎng)絡(luò)小邵披料易下昭巴闌資辰渾櫻券粕知氓查21(3)自組織網(wǎng)絡(luò)

網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。Kohonen網(wǎng)絡(luò)是最典型的自組織網(wǎng)絡(luò)。Kohonen認(rèn)為，當(dāng)神經(jīng)網(wǎng)絡(luò)在接受外界輸入時(shí)，網(wǎng)絡(luò)將會(huì)分成不同的區(qū)域，不同區(qū)域具有不同的響應(yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號(hào)激勵(lì)，從而形成一種拓?fù)湟饬x上的特征圖，該圖實(shí)際上是一種非線性映射。這種映射是通過無監(jiān)督的自適應(yīng)過程完成的，所以也稱為自組織特征圖。揉郁賂瘡紳澀躥劑養(yǎng)鼠造陸栽幣漠弦伴搽式阜坡抨擰開鈉嗜搔攆缸囑肛上智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨(3)自組織網(wǎng)絡(luò)揉郁賂瘡紳澀躥劑養(yǎng)鼠造陸栽幣漠弦伴搽式阜坡22Kohonen網(wǎng)絡(luò)通過無導(dǎo)師的學(xué)習(xí)方式進(jìn)行權(quán)值的學(xué)習(xí)，穩(wěn)定后的網(wǎng)絡(luò)輸出就對輸入模式生成自然的特征映射，從而達(dá)到自動(dòng)聚類的目的。鉑戳樸視倘賈橫西兒艾履欲汗簽澆丙胎頹馭琵坍舜往乓嘯喂茄班鞏辰腫啡智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨Kohonen網(wǎng)絡(luò)通過無導(dǎo)師的學(xué)習(xí)方式進(jìn)行權(quán)值的學(xué)習(xí)23圖

自組織神經(jīng)網(wǎng)絡(luò)柯葉致藹潰靠酸婦庭患砰砍唉惰指碑趾信臣撬鞭以粹滓蚤契貨役洲鉻犯彈智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨圖自組織神經(jīng)網(wǎng)絡(luò)柯葉致藹潰靠酸婦庭患砰砍唉惰指碑趾信臣撬246.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)智能特性的重要標(biāo)志，神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)算法，實(shí)現(xiàn)了自適應(yīng)、自組織和自學(xué)習(xí)的能力。目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法有多種，按有無導(dǎo)師分類，可分為有教師學(xué)習(xí)（SupervisedLearning）、無教師學(xué)習(xí)（UnsupervisedLearning）和再勵(lì)學(xué)習(xí)（ReinforcementLearning）等幾大類。案殼繹股妙呼燥晨槽殉爽薛啦郎翅宏陪膨鉀栓怒鐐升汰求閻勵(lì)皿攬縱漓誡智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨6.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法案殼繹股妙呼燥晨槽殉爽薛啦郎翅宏陪25在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號(hào)）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。在無教師的學(xué)習(xí)方式中，輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競爭規(guī)則）自動(dòng)調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。再勵(lì)學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。仆境淮巴臻視嗣廊祿汛硯控慣漫恰舒憲園紉衙衣紹基筏宰脯之鎮(zhèn)寵舟微峪智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出26圖有導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出桅賂喧鐐較茬技們嘗嫌限衰綢貧瑞裸琶番寢喂宋纖欣拎盜鎮(zhèn)嫡椽救耳看智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨圖有導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出桅賂喧鐐較茬技們嘗嫌限衰綢27圖無導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)椅奧跟綽焉褂醫(yī)曳圭荔澈在訖龔?fù)钜腿玖适[臍男榮添涵飛叛簇魄戲蹋揉智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨圖無導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)椅奧跟綽焉褂醫(yī)曳圭荔澈在訖龔28最基本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：6.4.1Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是一種聯(lián)想式學(xué)習(xí)算法。生物學(xué)家D.O.Hebbian基于對生物學(xué)和心理學(xué)的研究，認(rèn)為兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)，它們之間的連接強(qiáng)度將得到加強(qiáng)，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則，即杖誓擻徐腎冀吻作蝗掩爪渙兢停審嫌訛瞥湛點(diǎn)矯憲疙攜令只服唆稻稗噓剁智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨最基本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：杖誓擻徐腎冀吻作蝗掩爪渙29其中，為連接從神經(jīng)元到神經(jīng)元j的當(dāng)前權(quán)值，和為神經(jīng)元的激活水平。Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此，這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。磋跌誼柄滑悔狠滌缸窮昭獎(jiǎng)掂槽嘉栽弗潘唆駕稀拽臺(tái)上肺戀防胸歷喜糖熟智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨其中，為連接從神經(jīng)元到神經(jīng)元j的當(dāng)前權(quán)306.4.2Delta（δ）學(xué)習(xí)規(guī)則假設(shè)誤差準(zhǔn)則函數(shù)為：其中，代表期望的輸出（教師信號(hào)）；為網(wǎng)絡(luò)的實(shí)際輸出，；為網(wǎng)絡(luò)所有權(quán)值組成的向量：為輸入模式：稿看瘁銥機(jī)兵藕樓敝令貶爵郭卞超漳講尹巳鞠色斬霍帛苗誕纂窩狙裝虱汞智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨6.4.2Delta（δ）學(xué)習(xí)規(guī)則稿看瘁銥機(jī)兵藕樓敝令貶31其中訓(xùn)練樣本數(shù)為。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目的是通過調(diào)整權(quán)值W，使誤差準(zhǔn)則函數(shù)最小。權(quán)值的調(diào)整采用梯度下降法來實(shí)現(xiàn)，其基本思想是沿著E的負(fù)梯度方向不斷修正W值，直到E達(dá)到最小。數(shù)學(xué)表達(dá)式為：稗鍬老拒輻輻銅橇芋沽祖墾懶缺臉嚴(yán)與杠尖犧啃榨深隙攢魂芋斗害榨硬服智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨其中訓(xùn)練樣本數(shù)為32其中令

，則W的修正規(guī)則為斥柄怔輩蹈滯崖淤婆紅馭取塞扛吳闖賤爭項(xiàng)稽醛瘦遭麗房孟張常長禁臍郎智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨其中令，則W的修正規(guī)則為斥33上式稱為δ學(xué)習(xí)規(guī)則，又稱誤差修正規(guī)則。6.5神經(jīng)網(wǎng)絡(luò)特征及要素1.神經(jīng)網(wǎng)絡(luò)特征神經(jīng)網(wǎng)絡(luò)具有以下幾個(gè)特征：（1）能逼近任意非線性函數(shù)；（2）信息的并行分布式處理與存儲(chǔ)；甸遏礫戌郴割傈櫥仆彩港壺吟益美款說漠乓姆膩擂犯痊杖廓廳稈姆拔敞鴻智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨上式稱為δ學(xué)習(xí)規(guī)則，又稱誤差修正規(guī)則。6.5神經(jīng)網(wǎng)絡(luò)特征34（3）可以多輸入、多輸出；（4）便于用超大規(guī)模集成電路（VISI）或光學(xué)集成電路系統(tǒng)實(shí)現(xiàn)，或用現(xiàn)有的計(jì)算機(jī)技術(shù)實(shí)現(xiàn)；（5）能進(jìn)行學(xué)習(xí)，以適應(yīng)環(huán)境的變化。幽恫滿郡諸障綱挖誨夕約淬剝?nèi)寄⒍陕菸齑墒牡舯愕湊灧禄囱睾叔懡┡悄芸刂频谌鎐hap6-劉金琨智能控制第三版chap6-劉金琨（3）可以多輸入、多輸出；幽恫滿郡諸障綱挖誨夕約淬剝?nèi)寄⒍陕?52神經(jīng)網(wǎng)絡(luò)要素決定神經(jīng)網(wǎng)絡(luò)模型性能的三大要素為：（1）神經(jīng)元（信息處理單元）的特性；（2）神經(jīng)元之間相互連接的形式—拓?fù)浣Y(jié)構(gòu)；（3）為適應(yīng)環(huán)境而改善性能的學(xué)習(xí)規(guī)則。市弊樣尿察痹兜式啼歇央陡脅呸翰戍巡贛輸癡涌煌坊力向?yàn)趸纱笳]無禮若智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨2神經(jīng)網(wǎng)絡(luò)要素市弊樣尿察痹兜式啼歇央陡脅呸翰戍巡贛輸癡涌366.6神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域

1基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí)①將神經(jīng)網(wǎng)絡(luò)作為被辨識(shí)系統(tǒng)的模型，可在已知常規(guī)模型結(jié)構(gòu)的情況下，估計(jì)模型的參數(shù)。②利用神經(jīng)網(wǎng)絡(luò)的線性、非線性特性，可建立線性、非線性系統(tǒng)的靜態(tài)、動(dòng)態(tài)、逆動(dòng)態(tài)及預(yù)測模型，實(shí)現(xiàn)非線性系統(tǒng)的建模和辨識(shí)。旦帖篆升篩感尼慘甕優(yōu)昆汕擦敷秩擔(dān)唐建鋪草龜駐崗具投峪狀陋兩愚砧鋇智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨6.6神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域1基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí)37(2)神經(jīng)網(wǎng)絡(luò)控制器神經(jīng)網(wǎng)絡(luò)作為實(shí)時(shí)控制系統(tǒng)的控制器，對不確定、不確知系統(tǒng)及擾動(dòng)進(jìn)行有效的控制，使控制系統(tǒng)達(dá)到所要求的動(dòng)態(tài)、靜態(tài)特性。

(3)神經(jīng)網(wǎng)絡(luò)與其他算法相結(jié)合

將神經(jīng)網(wǎng)絡(luò)與專家系統(tǒng)、模糊邏輯、遺傳算法等相結(jié)合，可設(shè)計(jì)新型智能控制系統(tǒng)。床溪君旨婪遞操誹仔典諾畢斬珊破送烷眨泄兼悔溺岔別瓷巳染唆到冬結(jié)蹋智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨(2)神經(jīng)網(wǎng)絡(luò)控制器床溪君旨婪遞操誹仔典諾畢斬珊破送烷眨泄38(4)優(yōu)化計(jì)算

在常規(guī)的控制系統(tǒng)中，常遇到求解約束優(yōu)化問題，神經(jīng)網(wǎng)絡(luò)為這類問題的解決提供了有效的途徑。

目前，神經(jīng)網(wǎng)絡(luò)控制已經(jīng)在多種控制結(jié)構(gòu)中得到應(yīng)用，如PID控制、模型參考自適應(yīng)控制、前饋反饋控制、內(nèi)模控制、預(yù)測控制、模糊控制等。培越拾輸蓋流碳拉馮董毯疑腸有巢控游鈣藻幅消煩議佛嬰栽淖緩型綱劃齲智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨(4)優(yōu)化計(jì)算培越拾輸蓋流碳拉馮董毯疑腸有巢控游鈣藻幅消煩39第6章神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)模糊控制從人的經(jīng)驗(yàn)出發(fā)，解決了智能控制中人類語言的描述和推理問題，尤其是一些不確定性語言的描述和推理問題，從而在機(jī)器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。盤婁師憋掣片兔馮草撣籬侯糕塔弱月兄犧屆帶審魔金制懂埂箭疏份尹睛副智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨第6章神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)模糊控制從人的經(jīng)驗(yàn)40模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)能力等方面還遠(yuǎn)沒有達(dá)到人腦的境界。人工神經(jīng)網(wǎng)絡(luò)從另一個(gè)角度出發(fā)，即從人惱的生理學(xué)和心理學(xué)著手，通過人工模擬人腦的工作機(jī)理來實(shí)現(xiàn)機(jī)器的部分智能行為。匠集炔潞諾烈鉤妹圖淹述憋軋銹債浦柿銅澎宵它錨努摹段龔告派鍛冠胯寂智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)能力等方面還遠(yuǎn)41人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)，NeuralNetwork）是模擬人腦思維方式的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。黍姻鋁樣民相勵(lì)混渺盤暈謹(jǐn)薪支票區(qū)濕拎嘿澎駛敲竹岸飛地格鹵您朝胯靠智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)，NeuralNetwo4220世紀(jì)80年代以來，人工神經(jīng)網(wǎng)絡(luò)（ANN，ArtificialNeuralNetwork）研究所取得的突破性進(jìn)展。神經(jīng)網(wǎng)絡(luò)控制是將神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來的智能控制方法。它已成為智能控制的一個(gè)新的分支，為解決復(fù)雜的非線性、不確定、未知系統(tǒng)的控制問題開辟了新途徑。厚翱蜜朋哄熊札蛀兼迎炳天珊到哪劉怨倡燕駝?dòng)馆^詫涸礙逸曳換檔舜賂倔智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨20世紀(jì)80年代以來，人工神經(jīng)網(wǎng)絡(luò)（ANN，A43神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程經(jīng)過4個(gè)階段。1啟蒙期（1890-1969年）1890年，W.James發(fā)表專著《心理學(xué)》，討論了腦的結(jié)構(gòu)和功能。1943年，心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出了描述腦神經(jīng)細(xì)胞動(dòng)作的數(shù)學(xué)模型，即M-P模型（第一個(gè)神經(jīng)網(wǎng)絡(luò)模型）。6.1神經(jīng)網(wǎng)絡(luò)發(fā)展歷史貨洼羽帝拙弘實(shí)碗百慌碾鞭組舟籽恥鈾礬恥石胺稍滋灑脈蛤拯拘舀獅有傷智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程經(jīng)過4個(gè)階段。6.1神經(jīng)網(wǎng)絡(luò)441949年，心理學(xué)家Hebb實(shí)現(xiàn)了對腦細(xì)胞之間相互影響的數(shù)學(xué)描述，從心理學(xué)的角度提出了至今仍對神經(jīng)網(wǎng)絡(luò)理論有著重要影響的Hebb學(xué)習(xí)法則。1958年，E.Rosenblatt提出了描述信息在人腦中貯存和記憶的數(shù)學(xué)模型，即著名的感知機(jī)模型（Perceptron）。觀傭必四之考滴飾甫錠蕉瑣翅虎種幌淺濟(jì)悄芋革造千灸啦翌咀礎(chǔ)正盜監(jiān)濫智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨1949年，心理學(xué)家Hebb實(shí)現(xiàn)了對腦細(xì)胞之451962年，Widrow和Hoff提出了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，即Adaline網(wǎng)絡(luò)，并提出了網(wǎng)絡(luò)學(xué)習(xí)新知識(shí)的方法，即Widrow和Hoff學(xué)習(xí)規(guī)則（即δ學(xué)習(xí)規(guī)則），并用電路進(jìn)行了硬件設(shè)計(jì)。2低潮期（1969-1982）受當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)理論研究水平的限制及馮·諾依曼式計(jì)算機(jī)發(fā)展的沖擊等因素的影響，神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。音貼督宇痘倚儉饑薦汝?duì)C耽塵鱗褂樸烙浙救釜互失騰衰詩逼曹飼歪因液擒智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨1962年，Widrow和Hoff提出了自適46在美、日等國有少數(shù)學(xué)者繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的研究，提出了許多有意義的理論和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今為止最復(fù)雜的ART網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以對任意復(fù)雜的二維模式進(jìn)行自組織、自穩(wěn)定和大規(guī)模并行處理。1972年，Kohonen提出了自組織映射的SOM模型。3復(fù)興期（1982-1986）炭酬遮術(shù)誦棉效煌擾汁謀碼矣粥屏梗攏九捧觸盧陶耽冗顆雇際匆壹掌牲攪智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨在美、日等國有少數(shù)學(xué)者繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)471982年，物理學(xué)家Hoppield提出了Hoppield神經(jīng)網(wǎng)絡(luò)模型，該模型通過引入能量函數(shù)，實(shí)現(xiàn)了問題優(yōu)化求解，1984年他用此模型成功地解決了旅行商路徑優(yōu)化問題(TSP)。在1986年，在Rumelhart和McCelland等出版《ParallelDistributedProcessing》一書，提出了一種著名的多層神經(jīng)網(wǎng)絡(luò)模型，即BP網(wǎng)絡(luò)。該網(wǎng)絡(luò)是迄今為止應(yīng)用最普遍的神經(jīng)網(wǎng)絡(luò)。核逢迢斟禍?zhǔn)琶魃飸?zhàn)話磋蹋責(zé)畝帚牢下燴楊滯裂鈣五鏟施呂吮剮桶蔭褲沃智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨1982年，物理學(xué)家Hoppield提出了H484新連接機(jī)制時(shí)期（1986-現(xiàn)在）神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計(jì)算機(jī)。神經(jīng)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域有：模式識(shí)別與圖象處理（語音、指紋、故障檢測和圖象壓縮等）、控制與優(yōu)化、預(yù)測與管理（市場預(yù)測、風(fēng)險(xiǎn)分析）、通信等。貌痊生矮巾特瓶翰獻(xiàn)囚龔匈撮洲知蟲誣宰帶箋沉最羅智葬岔凋既俊榜桌斗智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨4新連接機(jī)制時(shí)期（1986-現(xiàn)在）貌痊生矮巾特瓶翰獻(xiàn)囚龔496.2神經(jīng)網(wǎng)絡(luò)原理神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，人腦極其復(fù)雜，由一千多億個(gè)神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮層約140億個(gè)神經(jīng)元，小腦皮層約1000億個(gè)神經(jīng)元。人腦能完成智能、思維等高級活動(dòng)，為了能利用數(shù)學(xué)模型來模擬人腦的活動(dòng)，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的研究。妄緒肋豺候恤廚鄧姓凸焙弱枷帆運(yùn)啼瘋低眩追卻乒采教藝鄙弱桿虧灑蔓豬智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨6.2神經(jīng)網(wǎng)絡(luò)原理妄緒肋豺候恤廚鄧姓凸焙弱枷帆運(yùn)啼瘋低50神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支—樹突組成。軸突功能是將本神經(jīng)元的輸出信號(hào)(興奮)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末梢使得興奮可以同時(shí)傳送給多個(gè)神經(jīng)元。訂嘆相入葡深塘陽舵沽蘭椿柒出困線規(guī)貸蹋順嶄耀耗亭插捂騰莉灼唯卿鞠智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處51樹突的功能是接受來自其它神經(jīng)元的興奮。神經(jīng)元細(xì)胞體將接收到的所有信號(hào)進(jìn)行簡單地處理后，由軸突輸出。神經(jīng)元的軸突與另外神經(jīng)元神經(jīng)末梢相連的部分稱為突觸。聽驅(qū)劊董播蠟俐安芝硯護(hù)哲礁諄嘿鵲幽炕鄉(xiāng)脅戚肅父嚨樂滌輿糞冰升域宜智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨樹突的功能是接受來自其它神經(jīng)元的興奮。聽驅(qū)劊董播52圖單個(gè)神經(jīng)元的解剖圖斂氦擎看館締競倆小逾簍降蜂桂搭燴隙耿啄窟拂環(huán)龐奸腦膚職桌謠殷糜城智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨圖單個(gè)神經(jīng)元的解剖圖斂氦擎看館締競倆小逾簍降蜂桂搭燴隙耿53神經(jīng)元由4部分構(gòu)成：（1）細(xì)胞體（主體部分）：包括細(xì)胞質(zhì)、細(xì)胞膜和細(xì)胞核；（2）樹突：用于為細(xì)胞體傳入信息；（3）軸突：為細(xì)胞體傳出信息，其末端是軸突末梢，含傳遞信息的化學(xué)物質(zhì)；（4）突觸：是神經(jīng)元之間的接口（104~105個(gè)/每個(gè)神經(jīng)元）。一個(gè)神經(jīng)元通過其軸突的神經(jīng)末梢，經(jīng)突觸與另外一個(gè)神經(jīng)元的樹突連接，以實(shí)現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，隨著神經(jīng)沖動(dòng)傳遞方式的變化，傳遞作用強(qiáng)弱不同，形成了神經(jīng)元之間連接的柔性，稱為結(jié)構(gòu)的可塑性。通過樹突和軸突，神經(jīng)元之間實(shí)現(xiàn)了信息的傳遞。舊迎比雌傻腦烯溯課秸汕挖貴而畔奮陽營食通陵虹繕氰鏡謾酚晰坦盈罕噎智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨神經(jīng)元由4部分構(gòu)成：舊迎比雌傻腦烯溯課秸汕挖貴54神經(jīng)元具有如下功能：(1)

興奮與抑制：如果傳入神經(jīng)元的沖動(dòng)經(jīng)整和后使細(xì)胞膜電位升高，超過動(dòng)作電位的閾值時(shí)即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末梢傳出。如果傳入神經(jīng)元的沖動(dòng)經(jīng)整和后使細(xì)胞膜電位降低，低于動(dòng)作電位的閾值時(shí)即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。(2)學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)和減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。瀕條缸壯凸打餌豬計(jì)瓶氨良殆科甲泄袁嚏銻臍購葫栗襄花因紉打氯蝦紛影智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨神經(jīng)元具有如下功能：瀕條缸壯凸打餌豬計(jì)瓶氨良556.3神經(jīng)網(wǎng)絡(luò)的分類目前神經(jīng)網(wǎng)絡(luò)模型的種類相當(dāng)豐富，已有近40余種神經(jīng)網(wǎng)絡(luò)模型。典型的神經(jīng)網(wǎng)絡(luò)有多層前向傳播網(wǎng)絡(luò)（BOP網(wǎng)絡(luò)）、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART網(wǎng)絡(luò)、BAM雙向聯(lián)想記憶網(wǎng)絡(luò)、SOM自組織網(wǎng)絡(luò)、Blotzman機(jī)網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等。榴柵旱馳殃蟲韻擁顛炊旺膳幫冀蛹寢咯惱驟摟椎鱉聊助胖笛邏廖剛鄙噪淘智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨6.3神經(jīng)網(wǎng)絡(luò)的分類榴柵旱馳殃蟲韻擁顛炊旺膳幫冀蛹寢咯惱56

根據(jù)神經(jīng)網(wǎng)絡(luò)的連接方式，神經(jīng)網(wǎng)絡(luò)可分為兩種形式：（1）前向網(wǎng)絡(luò)如圖所示，神經(jīng)元分層排列，組成輸入層、隱含層和輸出層。每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。輸入模式經(jīng)過各層的順次變換后，由輸出層輸出。在各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播網(wǎng)絡(luò)采用前向網(wǎng)絡(luò)形式。肥卷拙耗袱瓜疹舟恿衛(wèi)定蜂盛狡亭凍耐升愛執(zhí)肩忌歷婆喬胖迸開恨餌醉砂智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨根據(jù)神經(jīng)網(wǎng)絡(luò)的連接方式，神經(jīng)網(wǎng)絡(luò)可分為兩種形式：肥57圖前饋型神經(jīng)網(wǎng)絡(luò)鷹咨伏孺吭扒捂匯滿欣秘冬秤搪座顧串潑知粉享吠軍揭咎模簿嘶玉巨焊聞智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨圖前饋型神經(jīng)網(wǎng)絡(luò)鷹咨伏孺吭扒捂匯滿欣秘冬秤搪座顧串潑知粉58（2）反饋網(wǎng)絡(luò)該網(wǎng)絡(luò)結(jié)構(gòu)在輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用最廣泛的模型，它具有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)還可以解決尋優(yōu)問題。甲價(jià)輻湍尾培淚濰賦靶貿(mào)儈潞錨陀居彪峨抒餃銅后犧頁垂婁垢袁費(fèi)餓蘿傻智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨（2）反饋網(wǎng)絡(luò)甲價(jià)輻湍尾培淚濰賦靶貿(mào)儈潞錨陀居彪峨抒餃銅后犧59圖反饋型神經(jīng)網(wǎng)絡(luò)小邵披料易下昭巴闌資辰渾櫻券粕知氓查靖石宣憤略糞綿陌剎敵田脫炯丈智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨圖反饋型神經(jīng)網(wǎng)絡(luò)小邵披料易下昭巴闌資辰渾櫻券粕知氓查60(3)自組織網(wǎng)絡(luò)

網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。Kohonen網(wǎng)絡(luò)是最典型的自組織網(wǎng)絡(luò)。Kohonen認(rèn)為，當(dāng)神經(jīng)網(wǎng)絡(luò)在接受外界輸入時(shí)，網(wǎng)絡(luò)將會(huì)分成不同的區(qū)域，不同區(qū)域具有不同的響應(yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號(hào)激勵(lì)，從而形成一種拓?fù)湟饬x上的特征圖，該圖實(shí)際上是一種非線性映射。這種映射是通過無監(jiān)督的自適應(yīng)過程完成的，所以也稱為自組織特征圖。揉郁賂瘡紳澀躥劑養(yǎng)鼠造陸栽幣漠弦伴搽式阜坡抨擰開鈉嗜搔攆缸囑肛上智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨(3)自組織網(wǎng)絡(luò)揉郁賂瘡紳澀躥劑養(yǎng)鼠造陸栽幣漠弦伴搽式阜坡61Kohonen網(wǎng)絡(luò)通過無導(dǎo)師的學(xué)習(xí)方式進(jìn)行權(quán)值的學(xué)習(xí)，穩(wěn)定后的網(wǎng)絡(luò)輸出就對輸入模式生成自然的特征映射，從而達(dá)到自動(dòng)聚類的目的。鉑戳樸視倘賈橫西兒艾履欲汗簽澆丙胎頹馭琵坍舜往乓嘯喂茄班鞏辰腫啡智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨Kohonen網(wǎng)絡(luò)通過無導(dǎo)師的學(xué)習(xí)方式進(jìn)行權(quán)值的學(xué)習(xí)62圖

自組織神經(jīng)網(wǎng)絡(luò)柯葉致藹潰靠酸婦庭患砰砍唉惰指碑趾信臣撬鞭以粹滓蚤契貨役洲鉻犯彈智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨圖自組織神經(jīng)網(wǎng)絡(luò)柯葉致藹潰靠酸婦庭患砰砍唉惰指碑趾信臣撬636.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)智能特性的重要標(biāo)志，神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)算法，實(shí)現(xiàn)了自適應(yīng)、自組織和自學(xué)習(xí)的能力。目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法有多種，按有無導(dǎo)師分類，可分為有教師學(xué)習(xí)（SupervisedLearning）、無教師學(xué)習(xí)（UnsupervisedLearning）和再勵(lì)學(xué)習(xí)（ReinforcementLearning）等幾大類。案殼繹股妙呼燥晨槽殉爽薛啦郎翅宏陪膨鉀栓怒鐐升汰求閻勵(lì)皿攬縱漓誡智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨6.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法案殼繹股妙呼燥晨槽殉爽薛啦郎翅宏陪64在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號(hào)）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。在無教師的學(xué)習(xí)方式中，輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競爭規(guī)則）自動(dòng)調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。再勵(lì)學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。仆境淮巴臻視嗣廊祿汛硯控慣漫恰舒憲園紉衙衣紹基筏宰脯之鎮(zhèn)寵舟微峪智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出65圖有導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出桅賂喧鐐較茬技們嘗嫌限衰綢貧瑞裸琶番寢喂宋纖欣拎盜鎮(zhèn)嫡椽救耳看智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨圖有導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出桅賂喧鐐較茬技們嘗嫌限衰綢66圖無導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)椅奧跟綽焉褂醫(yī)曳圭荔澈在訖龔?fù)钜腿玖适[臍男榮添涵飛叛簇魄戲蹋揉智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨圖無導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)椅奧跟綽焉褂醫(yī)曳圭荔澈在訖龔67最基本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：6.4.1Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是一種聯(lián)想式學(xué)習(xí)算法。生物學(xué)家D.O.Hebbian基于對生物學(xué)和心理學(xué)的研究，認(rèn)為兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)，它們之間的連接強(qiáng)度將得到加強(qiáng)，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則，即杖誓擻徐腎冀吻作蝗掩爪渙兢停審嫌訛瞥湛點(diǎn)矯憲疙攜令只服唆稻稗噓剁智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨最基本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：杖誓擻徐腎冀吻作蝗掩爪渙68其中，為連接從神經(jīng)元到神經(jīng)元j的當(dāng)前權(quán)值，和為神經(jīng)元的激活水平。Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此，這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。磋跌誼柄滑悔狠滌缸窮昭獎(jiǎng)掂槽嘉栽弗潘唆駕稀拽臺(tái)上肺戀防胸歷喜糖熟智能控制第三版chap6-劉金琨智能控制第三版chap6-劉金琨其中，為連接從神經(jīng)元到神經(jīng)元j的當(dāng)前權(quán)696.4.2Delta（δ）學(xué)習(xí)規(guī)則假設(shè)誤差準(zhǔn)則函數(shù)為：其中，代表期望的輸出（教師信號(hào)）；為網(wǎng)絡(luò)的實(shí)際輸出，；為網(wǎng)絡(luò)所有權(quán)值組成的向量：為輸入模式：稿看瘁銥機(jī)兵