清華人工神經(jīng)網(wǎng)絡(luò)電子講稿

人工神經(jīng)網(wǎng)絡(luò)2021/6/231Artificial

Neural

Networks蔣宗禮軟件學(xué)科部聯(lián)系電話：67392508Email：辦公地點：信息北樓2142021/6/232教材2021/6/233書名：《人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論》出版社：高等教育出版社出版日期：2001年8月定價：12.4元作者：蔣宗禮主要參考書目2021/6/2341

、Philip

D.

Wasserman

，Neural

Computing:Theory

and

Practice，Van

Nostrand

Reinhold，19892、胡守仁、余少波、戴葵，神經(jīng)網(wǎng)絡(luò)導(dǎo)論，國防科技大學(xué)出版社，1993年10月3、楊行峻、鄭君里，人工神經(jīng)網(wǎng)絡(luò)，高等教育出版社，1992年9月4、聞新、周露、王丹力、熊曉英，MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計，科學(xué)出版社，2001.5.課程目的和基本要求2021/6/235作為人工神經(jīng)網(wǎng)絡(luò)的入門課程，用于將學(xué)

生引入人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用的研究領(lǐng)域。介紹人工神經(jīng)網(wǎng)絡(luò)及其基本網(wǎng)絡(luò)模型，使學(xué)生–了解智能系統(tǒng)描述的基本模型–掌握人工神經(jīng)網(wǎng)絡(luò)的基本概念、單層網(wǎng)、多層網(wǎng)、循環(huán)網(wǎng)等各種基本網(wǎng)絡(luò)模型的結(jié)構(gòu)、特點、典型訓(xùn)練算法、運行方式、典型問題–掌握軟件實現(xiàn)方法。課程目的和基本要求2021/6/236了解人工神經(jīng)網(wǎng)絡(luò)的有關(guān)研究思想，從中學(xué)習(xí)開拓者們的部分問題求解方法。通過實驗進一步體會有關(guān)模型的用法和性能，獲取一些初步的經(jīng)驗。查閱適當?shù)膮⒖嘉墨I，將所學(xué)的知識與自己未來研究課題（包括研究生論文階段的研究課題）相結(jié)合起來，達到既豐富學(xué)習(xí)內(nèi)容，又有一定的研究和應(yīng)用的目的。主要內(nèi)容2021/6/237智能及其實現(xiàn)ANN基礎(chǔ)PerceptronBPCPN統(tǒng)計方法Hopfield網(wǎng)與BAMART主要內(nèi)容2021/6/238第一章：引論智能的概念、智能系統(tǒng)的特點及其描述基本模型，物理符號系統(tǒng)與連接主義的觀點及

其比較；人工神經(jīng)網(wǎng)絡(luò)的特點、發(fā)展歷史。主要內(nèi)容2021/6/239第二章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)本章在介紹了基本神經(jīng)元后，將概要介紹人工神經(jīng)網(wǎng)絡(luò)的一般特性。主要包括，生物神經(jīng)網(wǎng)絡(luò)模型，人工神經(jīng)元模型與典型的激勵函數(shù)；人工神經(jīng)網(wǎng)絡(luò)的基本拓撲特性，存儲類型（

CAM──LTM

，AM──STM）及映象，Supervised訓(xùn)練與

Unsupervised訓(xùn)練。主要內(nèi)容2021/6/2310第三章感知器感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展；單層網(wǎng)能解決線性可分問題，而無法解決線形不可分問題，要想解決這一問題，必須引入多層網(wǎng)；Hebb學(xué)習(xí)律，Delta規(guī)則，感知器的訓(xùn)練算法。實驗：實現(xiàn)一個感知器。主要內(nèi)容2021/6/2311第四章向后傳播BP（Backpropagation）網(wǎng)絡(luò)的構(gòu)成及其訓(xùn)練過程；隱藏層權(quán)調(diào)整方法的直觀分析，BP訓(xùn)練算法中使用的Delta規(guī)則（最速下降法）的理論推導(dǎo)；算法的收斂速度及其改進討論；BP網(wǎng)絡(luò)中的幾個重要問題。實驗：實現(xiàn)BP算法。主要內(nèi)容2021/6/2312第五章對傳網(wǎng)生物神經(jīng)系統(tǒng)與異構(gòu)網(wǎng)的引入；對傳網(wǎng)的

網(wǎng)絡(luò)結(jié)構(gòu)，Kohonen層與Grossberg層的正

常運行，對傳網(wǎng)的輸入向量的預(yù)處理，

Kohonen層的訓(xùn)練算法及其權(quán)矩陣的初始化方法；Grossberg層的訓(xùn)練；完整的對傳網(wǎng)。實驗：實現(xiàn)基本的對傳網(wǎng)。主要內(nèi)容2021/6/2313第六章統(tǒng)計方法統(tǒng)計方法是為了解決局部極小點問題而引入的，統(tǒng)計網(wǎng)絡(luò)的基本訓(xùn)練算法，模擬退火算法與收斂分析，Cauchy訓(xùn)練，人工熱處理與臨界溫度在訓(xùn)練中的使用，BP算法與Cauchy訓(xùn)練相結(jié)合。實驗：實現(xiàn)模擬退火算法。主要內(nèi)容2021/6/2314第七章循環(huán)網(wǎng)絡(luò)循環(huán)網(wǎng)絡(luò)的組織，穩(wěn)定性分析；相聯(lián)存儲；統(tǒng)計Hopfield網(wǎng)與Boltzmann機；Hopfield

網(wǎng)用于解決TSP問題。BAM(Bidirectional

Associative

Memory)用于實現(xiàn)雙聯(lián)存儲；基本雙聯(lián)存儲網(wǎng)絡(luò)的結(jié)構(gòu)及訓(xùn)練；其他的幾種相聯(lián)存儲網(wǎng)絡(luò)。實驗：實現(xiàn)一個Hopfield網(wǎng)。主要內(nèi)容2021/6/2315第八章自適應(yīng)共振理論人腦的穩(wěn)定性與可塑性問題；ART模型的總體結(jié)構(gòu)與分塊描述；比較層與識別層之間的兩個聯(lián)接矩陣的初始化，識別過程與比較過程，查找的實現(xiàn)；訓(xùn)練討論。第1章

引言2021/6/2316主要內(nèi)容：–智能與人工智能；ANN的特點；–歷史回顧與展望重點：–智能的本質(zhì)；ANN是一個非線性大規(guī)模并行處理系統(tǒng)難點：對智能的刻畫第1章

引言2021/6/2317人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)的特點歷史回顧第1章

引言2021/6/2318人類對人工智能的研究可以分成兩種方式對應(yīng)著兩種不同的技術(shù)：–傳統(tǒng)的人工智能技術(shù)——心理的角度模擬–基于人工神經(jīng)網(wǎng)絡(luò)的技術(shù)——生理的角度模擬1.1

人工神經(jīng)網(wǎng)絡(luò)的提出2021/6/2319人工神經(jīng)網(wǎng)絡(luò)（Artificial

Neural

Networks，簡記作ANN），是對人類大腦系統(tǒng)的一階

特性的一種描述。簡單地講，它是一個數(shù)

學(xué)模型，可以用電子線路來實現(xiàn)，也可以

用計算機程序來模擬，是人工智能研究的

一種方法。1.1

人工神經(jīng)網(wǎng)絡(luò)的提出2021/6/23201.1.1

智能與人工智能一、智能的含義智能是個體有目的的行為，合理的思維，以及有效的、適應(yīng)環(huán)境的綜合能力。智能是個體認識客觀事物和運用知識解決問題的能力。人類個體的智能是一種綜合能力。1.1

人工神經(jīng)網(wǎng)絡(luò)的提出2021/6/2321智能可以包含8個方面感知與認識客觀事物、客觀世界和自我的能力–感知是智能的基礎(chǔ)——最基本的能力通過學(xué)習(xí)取得經(jīng)驗與積累知識的能力–

這是人類在世界中能夠不斷發(fā)展的最基本能力。理解知識，運用知識和經(jīng)驗分析、解決問題的能力–

這一能力可以算作是智能的高級形式。是人類對世界進行適當?shù)母脑?，推動社會不斷發(fā)展的基本能力。1.1

人工神經(jīng)網(wǎng)絡(luò)的提出2021/6/2322聯(lián)想、推理、判斷、決策語言的能力這是智能的高級形式的又一方面。預(yù)測和認識“主動”和“被動”之分。聯(lián)想、推理、判斷、決策的能力是“主動”的基礎(chǔ)。運用進行抽象、概括的能力上述這5種能力，被認為是人類智能最為基本的能力1.1

人工神經(jīng)網(wǎng)絡(luò)的提出2021/6/2323作為5種能力綜合表現(xiàn)形式的3種能力–發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力–實時、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力–預(yù)測、洞察事物發(fā)展、變化的能力1.1

人工神經(jīng)網(wǎng)絡(luò)的提出2021/6/2324二、人工智能人工智能：研究如何使類似計算機這樣的設(shè)備去模擬人類的這些能力。研究人工智能的目的增加人類探索世界，推動社會前進的能力–進一步認識自己三大學(xué)術(shù)流派符號主義（或叫做符號/邏輯主義）學(xué)派聯(lián)接主義（或者叫做PDP）學(xué)派–進化主義（或者叫做行動/響應(yīng)）學(xué)派1.1

人工神經(jīng)網(wǎng)絡(luò)的提出1.1.2

物理符號系統(tǒng)?人腦的反映 形式化現(xiàn)實信息數(shù)據(jù)物理系統(tǒng)物理符號系統(tǒng)表現(xiàn)智能2021/6/23251.1

人工神經(jīng)網(wǎng)絡(luò)的提出2021/6/2326Newell和Simon假說：一個物理系統(tǒng)表現(xiàn)智能行為的充要條件是它有一個物理符號系統(tǒng)概念：物理符號系統(tǒng)需要有一組稱為符號的實體組成，它們都是物理模型，可以在另一類稱為符號結(jié)構(gòu)的實體中作為成分出現(xiàn)，以構(gòu)成更高級別的系統(tǒng)1.1

人工神經(jīng)網(wǎng)絡(luò)的提出2021/6/2327困難：抽象——舍棄一些特性，同時保留一些特性形式化處理——用物理符號及相應(yīng)規(guī)則表達物理系統(tǒng)的存在和運行。局限：–對全局性判斷、模糊信息處理、多粒度的視覺信息處理等是非常困難的。1.1

人工神經(jīng)網(wǎng)絡(luò)的提出2021/6/23281.1.3

聯(lián)接主義觀點核心：智能的本質(zhì)是聯(lián)接機制。神經(jīng)網(wǎng)絡(luò)是一個由大量簡單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)ANN力求從四個方面去模擬人腦的智能行為–物理結(jié)構(gòu)–計算模擬–存儲與操作–訓(xùn)練1.1

人工神經(jīng)網(wǎng)絡(luò)的提出低級形式（思維的根本）人工神經(jīng)網(wǎng)絡(luò)生理過程

形象思維仿生聯(lián)結(jié)主義觀點2021/6/23291.1.4

兩種模型的比較物理符號系統(tǒng)心理過程

邏輯思維

高級形式（思維的表象）1.1

人工神經(jīng)網(wǎng)絡(luò)的提出2021/6/2330物理符號系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差別項目物理符號系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)處理方式邏輯運算模擬運算執(zhí)行方式串行并行動作離散連續(xù)存儲局部集中全局分布1.1

人工神經(jīng)網(wǎng)絡(luò)的提出2021/6/2331兩種人工智能技術(shù)的比較項目傳統(tǒng)的AI技術(shù)ANN技術(shù)基本實現(xiàn)方式串行處理；由程序?qū)崿F(xiàn)控制并行處理；對樣本數(shù)據(jù)進行多目標學(xué)習(xí)；通過人工神經(jīng)元之間的相互作用實現(xiàn)控制基本開發(fā)設(shè)計規(guī)則、框架、程序；定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過樣本數(shù)據(jù)，依據(jù)基本的學(xué)習(xí)算法完成學(xué)習(xí)——自動從樣本數(shù)據(jù)中抽取內(nèi)涵（自動適應(yīng)應(yīng)用環(huán)境）方法用樣本數(shù)據(jù)進行調(diào)試（由人根據(jù)已知的環(huán)境去構(gòu)造一個模型）適應(yīng)領(lǐng)域精確計算：符號處理，數(shù)值計算非精確計算：模擬處理，感覺，大規(guī)模數(shù)據(jù)并行處理模擬對象左腦（邏輯思維）右腦（形象思維）1.2

人工神經(jīng)網(wǎng)絡(luò)的特點2021/6/2332信息的分布表示運算的全局并行和局部操作處理的非線性1.2.1

人工神經(jīng)網(wǎng)絡(luò)的概念2021/6/23331、定義1）Hecht—Nielsen（1988年）人工神經(jīng)網(wǎng)絡(luò)是一個并行、分布處理結(jié)構(gòu)，它由

處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元（PE—Processing

Element）具有

局部內(nèi)存，并可以完成局部操作。每個處理單元

有一個單一的輸出聯(lián)接，這個輸出可以根據(jù)需要

被分枝成希望個數(shù)的許多并行聯(lián)接，且這些并行

聯(lián)接都輸出相同的信號，即相應(yīng)處理單元的信號，信號的大小不因分支的多少而變化。1.2.1

人工神經(jīng)網(wǎng)絡(luò)的概念2021/6/2334（1）Hecht—Nielsen（1988年）（續(xù)）處理單元的輸出信號可以是任何需要的數(shù)學(xué)模型，每個處理單元中進行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達處理單元的所有輸入信號的當前值和存儲在處理單元局部內(nèi)存中的值。1.2.1

人工神經(jīng)網(wǎng)絡(luò)的概念2021/6/2335強調(diào)：–

①并行、分布處理結(jié)構(gòu)；–②一個處理單元的輸出可以被任意分枝，且大小不變；–③輸出信號可以是任意的數(shù)學(xué)模型；–④處理單元完全的局部操作1.2.1

人工神經(jīng)網(wǎng)絡(luò)的概念2021/6/2336（2）

Rumellhart，McClelland，Hinton的PDP1）

一組處理單元（PE或AN）；2）處理單元的激活狀態(tài)（ai）；3）每個處理單元的輸出函數(shù)（fi）；4）處理單元之間的聯(lián)接模式；5）

傳遞規(guī)則（∑wijoi）；6）

把處理單元的輸入及當前狀態(tài)結(jié)合起來產(chǎn)生激活值的激活規(guī)則（Fi）；7）通過經(jīng)驗修改聯(lián)接強度的學(xué)習(xí)規(guī)則；8）系統(tǒng)運行的環(huán)境（樣本集合）。1.2.1

人工神經(jīng)網(wǎng)絡(luò)的概念2021/6/2337（3）

Simpson（1987年）人工神經(jīng)網(wǎng)絡(luò)是一個非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。1.2.1

人工神經(jīng)網(wǎng)絡(luò)的概念2021/6/23382、關(guān)鍵點（1）（2）（3）信息的分布表示運算的全局并行與局部操作處理的非線性特征3、對大腦基本特征的模擬1）形式上：神經(jīng)元及其聯(lián)接；BN對AN2）表現(xiàn)特征：信息的存儲與處理1.2.1

人工神經(jīng)網(wǎng)絡(luò)的概念2021/6/23394、別名人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡(luò)（NN）自適應(yīng)系統(tǒng)（Adaptive Systems）、自適應(yīng)網(wǎng)（Adaptive

Networks）聯(lián)接模型（Connectionism）神經(jīng)計算機（

puter）1.2.2學(xué)習(xí)（Learning）能力2021/6/2340人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為自相聯(lián)的網(wǎng)絡(luò)異相聯(lián)的網(wǎng)絡(luò)：它在接受樣本集合A時，可以抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系。——“抽象”功能。不同的人工神經(jīng)網(wǎng)絡(luò)模型，有不同的學(xué)習(xí)/訓(xùn)練算法1.2.3

基本特征的自動提取2021/6/2341由于其運算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比

較自然地實現(xiàn)模式的自動分類。普化（Generalization）能力與抽象能力1.2.4

信息的分布存放2021/6/2342信息的分布存提供容錯功能–由于信息被分布存放在幾乎整個網(wǎng)絡(luò)中，所以，當其中的某一個點或者某幾個點被破壞時，信息仍然可以被存取。系統(tǒng)在受到局部損傷時還可以正常工作。并不是說可以任意地對完成學(xué)習(xí)的網(wǎng)絡(luò)進行修改。也正是由于信息的分布存放，對一類網(wǎng)來說，當

它完成學(xué)習(xí)后，如果再讓它學(xué)習(xí)新的東西，這時

就會破壞原來已學(xué)會的東西。1.2.5適應(yīng)性(Applicability)問題2021/6/2343擅長兩個方面：–對大量的數(shù)據(jù)進行分類，并且只有較少的幾種情況；–必須學(xué)習(xí)一個復(fù)雜的非線性映射。目前應(yīng)用：–人們主要將其用于語音、視覺、知識處理、輔助決策等方面。–在數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最佳解的近似解（不是最佳

近似解）等方面也有較好的應(yīng)用。1.3

歷史回顧2021/6/23441.3.1

萌芽期（20世紀40年代）人工神經(jīng)網(wǎng)絡(luò)的研究最早可以追溯到人類開始研究自己的智能的時期，到1949年止。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為

M-P

模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會刊《Bulletin

ofMethematical

Biophysics》1949年，心理學(xué)家D.O.Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說——Hebb學(xué)習(xí)律。1.3.2

第一高潮期（1950~1968）2021/6/2345以Marvin

Minsky

，F(xiàn)rank

Rosenblatt

，Bernard

Widrow等為代表人物，代表作是單級感知器（Perceptron）。可用電子線路模擬。人們樂觀地認為幾乎已經(jīng)找到了智能的關(guān)

鍵。許多部門都開始大批地投入此項研究，希望盡快占領(lǐng)制高點。1.3.3

反思期（1969~1982）2021/6/2346M.L.Minsky和S.Papert，《Perceptron》，

MIT

Press，1969年異或”運算不可表示二十世紀70年代和80年代早期的研究結(jié)果認識規(guī)律：認識——實踐——再認識1.3.4

第二高潮期（1983~1990）1982年，J.Hopfield提出循環(huán)網(wǎng)絡(luò)–用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)–闡明了ANN與動力學(xué)的關(guān)系–用非線性動力學(xué)的方法來研究ANN的特性–指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上2021/6/2347nijV

=i=1xi0n

ni=1

j=1w

s(xi

)s(xj

)

-12n

nsi￠(qi

)bi

(qi

)dqi

-wiji=1

j-11.3.4

第二高潮期（1983~1990）2021/6/23482）1984年，J.Hopfield設(shè)計研制了后來被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動。3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機機制，提出所謂的Boltzmann機。1.3.4

第二高潮期（1983~1990）2021/6/23494

）

1986

年，并行分布處理小組的

Rumelhart等研究者重新獨立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法——BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。（

Paker1982

和Werbos1974年）國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會是1990年12月在北京舉行的。1.3.5

再認識與應(yīng)用研究期（1991~）2021/6/2350問題：1）應(yīng)用面還不夠?qū)?）結(jié)果不夠精確3）存在可信度的問題1.3.5

再認識與應(yīng)用研究期（1991~）2021/6/2351研究：1）開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實際運行情況對模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運行的準確度。2）充分發(fā)揮兩種技術(shù)各自的優(yōu)勢是一個有效方法3）希望在理論上尋找新的突破，建立新的專用/通用模型和算法。4）進一步對生物神經(jīng)系統(tǒng)進行研究，不斷地豐富對人腦的認識。第2章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2021/6/2352主要內(nèi)容：–BN與AN；–拓撲結(jié)構(gòu)；–存儲；–訓(xùn)練重點：AN；拓撲結(jié)構(gòu)；訓(xùn)練難點：訓(xùn)練第2章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2021/6/2353生物神經(jīng)網(wǎng)人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)的拓撲特性存儲與映射人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練2.1生物神經(jīng)網(wǎng)1、構(gòu)成胞體(Soma)胞體(Soma)2021/6/2354枝蔓（Dendrite）軸突（Axon）突觸（Synapse）2、工作過程2.1生物神經(jīng)網(wǎng)2021/6/23553、六個基本特征：1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱；3）神經(jīng)元之間的聯(lián)接強度是可以隨訓(xùn)練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；6)

每個神經(jīng)元可以有一個“閾值”。2.2

人工神經(jīng)元2021/6/2356神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個基本特性。2.2.1

人工神經(jīng)元的基本構(gòu)成人工神經(jīng)元模擬生物神經(jīng)元的一階特性。–輸入：X=（x1，x2，…，xn）–聯(lián)接權(quán)：W=（w1，w2，…，wn）T–網(wǎng)絡(luò)輸入：net=∑xiwi–向量形式：net=XW∑net=XW2021/6/2357x1

w1x2

w2…xn

wn2.2.2

激活函數(shù)(Activation

Function)激活函數(shù)——執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)：o=f（net）1、線性函數(shù)（Liner

Function）f（net）=k*net+cnet2021/6/2358ooc2、非線性斜面函數(shù)(Ramp

Function)γf（net）=

k*net-γif

net≥θif

|net|<θif

net≤-θγ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。2021/6/23592、非線性斜面函數(shù)（RampFunction）-γ2021/6/2360θ-θnetoγ3、閾值函數(shù)（ThresholdFunction）階躍函數(shù)f（net）=β-γif

net>θif

net≤θif

net>θif

net≤θβ、γ、θ均為非負實數(shù)，θ為閾值二值形式：1f（net）=0雙極形式：1f（net）=-1if

net>θif

net≤θ2021/6/23613、閾值函數(shù)（ThresholdFunction）階躍函數(shù)-γ2021/6/2362θoβnet04、S形函數(shù)2021/6/2363壓縮函數(shù)（Squashing

Function）和邏輯斯特函數(shù)（Logistic

Function）。f（net）=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。最簡單形式為：f（net）=

1/(1+exp(-d*net))函數(shù)的飽和值為0和1。S形函數(shù)有較好的增益控制4、S形函數(shù)(0,c)2021/6/2364netaoa+bc=a+b/22.2.3

M-P模型∑fo=f（net）2021/6/2365xn

wnx2

w2…net=XWMcCulloch—Pitts（M—P）模型，也稱為處理單元（PE）x1

w1上次課內(nèi)容回顧2021/6/2366擅長兩個方面目前應(yīng)用–語音、視覺、知識處理數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最佳解的近似解（不是最佳近似解）–輔助決策——預(yù)報與智能管理通信——自適應(yīng)均衡、回波抵消、路由選擇、ATM中的呼叫接納、識別與控制空間科學(xué)——對接、導(dǎo)航、制導(dǎo)、飛行程序優(yōu)化上次課內(nèi)容回顧2021/6/2367發(fā)展過程–萌芽期（20世紀40年代）M-P模型Hebb學(xué)習(xí)律–第一高潮期（1950~1968）Perceptron的興衰–反思期（1969~1982）–第二高潮期（1983~1990）4個標志性成果–再認識與應(yīng)用研究期（1991~）上次課內(nèi)容回顧生物神經(jīng)網(wǎng)六個基本特征–神經(jīng)元及其聯(lián)接、信號傳遞、訓(xùn)練、刺激與抑制、累積效果、“閾值”。人工神經(jīng)元的基本構(gòu)成∑net=XW2021/6/2368x1

w1x2

w2…xn

wn2021/6/2369上次課內(nèi)容回顧∑fo=f（net）xn

wnx2

w2…net=XW激活函數(shù)與M-P模型線性函數(shù)、非線性斜面函數(shù)、閾值函數(shù)S形函數(shù)M-P模型x1

w12.3

人工神經(jīng)網(wǎng)絡(luò)的拓撲特性連接的拓撲表示ANi2021/6/2370wijANj2.3.1

聯(lián)接模式2021/6/2371用正號（“+”，可省略）表示傳送來的信號起刺激作用，它用于增加神經(jīng)元的活躍度；用負號（“-”）表示傳送來的信號起抑制作用，它用于降低神經(jīng)元的活躍度。層次（又稱為“級”）的劃分，導(dǎo)致了神經(jīng)元之間的三種不同的互連模式：2.3.1

聯(lián)接模式2021/6/23721、層（級）內(nèi)聯(lián)接–層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（Intra-field）聯(lián)接或側(cè)聯(lián)接（Lateral）。–用來加強和完成層內(nèi)神經(jīng)元之間的競爭2、循環(huán)聯(lián)接–反饋信號。2.3.1

聯(lián)接模式2021/6/23733、層（級）間聯(lián)接–層間（Inter-field）聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接。這種聯(lián)接用來實現(xiàn)層間的信號傳遞前饋信號反饋信號2.3.2

網(wǎng)絡(luò)的分層結(jié)構(gòu)2021/6/2374單級網(wǎng)–簡單單級網(wǎng)簡單單級網(wǎng)…2021/6/2375x1x2…xno1o2omw11w1mw2m…

wn1輸出層wnm輸入層簡單單級網(wǎng)2021/6/2376W=（wij）–輸出層的第j個神經(jīng)元的網(wǎng)絡(luò)輸入記為netj：netj=x1w1j+x2w2j+…+xnwnj–其中,1≤

j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）單級橫向反饋網(wǎng)輸出層x1o1w11w1mx2o2w2m……xnom…wn1輸入層V2021/6/2377單級橫向反饋網(wǎng)2021/6/2378V=（vij）NET=XW+OVO=F（NET）時間參數(shù)——神經(jīng)元的狀態(tài)在主時鐘的控制下同步變化考慮X總加在網(wǎng)上的情況NET（t+1）=X（t）W+O（t）VO(t+1)=F(NET(t+1))O（0）=0考慮僅在t=0時加X的情況。穩(wěn)定性判定多級網(wǎng)輸出層隱藏層輸入層o1o2om…x1x2xn……2021/6/2379…………輸出層隱藏層輸入層o2層次劃分–信號只被允許從較低層流向較高層。–層號確定層的高低：層號較小者，層次較低，層號較大者，層次較高。–輸入層：被記作第0層。該層負責接收來自網(wǎng)絡(luò)外部的信息x1

o1x2…xn…2021/6/2380………

…om…2021/6/2381–第j層：第j-1層的直接后繼層（j>0），它直接接受第j-1層的輸出。輸出層隱藏層輸入層o2輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號，負責輸出網(wǎng)絡(luò)的計算結(jié)果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號x1

o1x2…xn…………

…om…輸出層隱藏層輸入層o2x2…xn…2021/6/2382………

…om…約定:–輸出層的層號為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或n級網(wǎng)絡(luò)。–第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時候，一般我們用W（j）表示第j層矩陣。W(1)

W(2)

W(3)

W(h)x1

o1多級網(wǎng)——h層網(wǎng)絡(luò)輸出層隱藏層輸入層o1o2om…x1x2xn……2021/6/2383……W(1)W(2)W(3)…W(h)…多級網(wǎng)非線性激活函數(shù)–F(X)=kX+C–F3(F2(F1(XW(1))W(2))W(3))2021/6/2384循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn…………………2021/6/2385循環(huán)網(wǎng)2021/6/2386如果將輸出信號反饋到輸入端,就可構(gòu)成一個多層的循環(huán)網(wǎng)絡(luò)。輸入的原始信號被逐步地“加強”、被“修復(fù)”。大腦的短期記憶特征——看到的東西不是一下子就從腦海里消失的。穩(wěn)定：反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當變化最后消失時，網(wǎng)絡(luò)達到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。2.4

存儲與映射2021/6/2387空間模式（Spatial

Model）時空模式（Spatialtemporal

Model）空間模式三種存儲類型1、RAM方式（Random

Access

Memory）–隨機訪問方式是將地址映射到數(shù)據(jù)。2、CAM方式（Content

Addressable

Memory）–內(nèi)容尋址方式是將數(shù)據(jù)映射到地址。3、AM方式（Associative

Memory）–相聯(lián)存儲方式是將數(shù)據(jù)映射到數(shù)據(jù)。2.4

存儲與映射2021/6/2388后續(xù)的兩種方式是人工神經(jīng)網(wǎng)絡(luò)的工作方式。在學(xué)習(xí)/訓(xùn)練期間，人工神經(jīng)網(wǎng)絡(luò)以CAM方式工作；權(quán)矩陣又被稱為網(wǎng)絡(luò)的長期存儲（Long

Term

Memory，簡記為LTM）。網(wǎng)絡(luò)在正常工作階段是以AM方式工作的；神經(jīng)元的狀態(tài)表示的模式為短期存儲（ShortTerm

Memory，簡記為STM）。2.4

存儲與映射2021/6/2389自相聯(lián)（Auto-associative）映射：訓(xùn)練網(wǎng)絡(luò)的樣本集為向量集合為{A1，A2，…，An}在理想情況下，該網(wǎng)絡(luò)在完成訓(xùn)練后，其權(quán)矩陣存放的將是上面所給的向量集合。2.4

存儲與映射2021/6/2390異相聯(lián)（Hetero-associative）映射{（A1，B1），（A2，B2），…，（An，Bn）}該網(wǎng)絡(luò)在完成訓(xùn)練后，其權(quán)矩陣存放的將是上面所給的向量集合所蘊含的對應(yīng)關(guān)系。當輸入向量A不是樣本的第一的分量時，樣本中不存在這樣的元素（Ak，Bk），使得Ai≤Ak≤A或者A≤Ak≤Aj且此時有Ai≤A≤Aj則向量B是Bi與Bj的插值。2.5

人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練2021/6/2391人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它可以表達的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練過程2.5.1無導(dǎo)師學(xué)習(xí)2021/6/2392無導(dǎo)師學(xué)習(xí)(Unsupervised

Learning)與無導(dǎo)師訓(xùn)練(Unsupervised

Training)相對應(yīng)抽取樣本集合中蘊含的統(tǒng)計特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。2.5.1無導(dǎo)師學(xué)習(xí)2021/6/2393Hebb

學(xué)習(xí)律、競爭與協(xié)同（

Competitiveand

Cooperative

）

學(xué)習(xí)、隨機聯(lián)接系統(tǒng)（Randomly

Connected

Learning）等。Hebb算法[D.

O.Hebb在1961年]的核心：

–當兩個神經(jīng)元同時處于激發(fā)狀態(tài)時被加強，否則被減弱。–數(shù)學(xué)表達式表示：Wij（t+1）=Wij（t）+αoi（t）oj（t）2.5.2

有導(dǎo)師學(xué)習(xí)2021/6/2394有導(dǎo)師學(xué)習(xí)(Supervised Learning)與有導(dǎo)師訓(xùn)練(Supervised

Training)相對應(yīng)。輸入向量與其對應(yīng)的輸出向量構(gòu)成一個“訓(xùn)練對”。有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：從樣本集合中取一個樣本（Ai，Bi）；計算出網(wǎng)絡(luò)的實際輸出O；求D=Bi-O；根據(jù)D調(diào)整權(quán)矩陣W；對每個樣本重復(fù)上述過程，直到對整個樣本集來說，誤差不超過規(guī)定范圍。Delta規(guī)則2021/6/2395Widrow和Hoff的寫法：

Wij(t+1)=Wij(t)+α(yj-aj(t))oi(t)也可以寫成：

Wij(t+1)=Wij(t)+?Wij(t)?Wij(t)=αδjoi(t)δj=yj-aj(t)Grossberg的寫法為：?Wij(t)=αai(t)(oj(t)-Wij(t))更一般的Delta規(guī)則為：?

Wij(t)=g(ai(t)，yj，oj(t)，Wij(t))其它2021/6/2396再例學(xué)習(xí)外部環(huán)境對系統(tǒng)的輸出結(jié)果給出評價，學(xué)習(xí)系統(tǒng)通過強化受獎的動作來改善自身性能。學(xué)習(xí)規(guī)則誤差糾錯學(xué)習(xí)Hebb學(xué)習(xí)競爭學(xué)習(xí)練習(xí)題2021/6/2397P291、4、6、10、15上次課內(nèi)容回顧:網(wǎng)絡(luò)的分層結(jié)構(gòu)2021/6/2398聯(lián)接模式–刺激聯(lián)接與抑制聯(lián)接–前饋信號與反饋信號–層（級）內(nèi)聯(lián)接–循環(huán)聯(lián)接–層（級）間聯(lián)接簡單單級網(wǎng)：NET=XW；O=F(NET)單級橫向反饋網(wǎng):NET=XW+O(t)V;O

(t)

=F(NET)上次課內(nèi)容回顧:網(wǎng)絡(luò)的分層結(jié)構(gòu)2021/6/2399非循環(huán)多級網(wǎng)層次劃分非線性激活函數(shù)：F3(F2(F1(XW1)W2)W3)循環(huán)網(wǎng)短期記憶特征及其對輸入信號的修復(fù)作用時間參數(shù)與主時鐘穩(wěn)定性上次課內(nèi)容回顧：存儲與映射2021/6/23100模式空間模式時空模式模式三種存儲類型RAM

、CAM、AM模式的存儲與運行CAM——LTM——訓(xùn)練AM——STM——運行相聯(lián)：自相聯(lián)映射、異相聯(lián)映射上次課內(nèi)容回顧：訓(xùn)練2021/6/23101Rosenblatt的學(xué)習(xí)定理無導(dǎo)師學(xué)習(xí)抽取樣本集合中蘊含的統(tǒng)計特性樣本集：{A1，A2，…，An}Hebb算法：Wij(t+1)=Wij(t)+αoi(t)oj(t)有導(dǎo)師學(xué)習(xí)抽取樣本蘊含的映射關(guān)系–樣本集：{(A1,B1)，(A2,B2)，…，(An,Bn)}–訓(xùn)練算法Delta規(guī)則第3章感知器2021/6/23102主要內(nèi)容：–感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展；–線性可分問題與線性不可分問題；Hebb學(xué)習(xí)律；Delta規(guī)則;–感知器的訓(xùn)練算法。重點：感知器的結(jié)構(gòu)、表達能力、學(xué)習(xí)算法難點：感知器的表達能力第3章感知器感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展感知器的學(xué)習(xí)算法離散單輸出感知器訓(xùn)練算法離散多輸出感知器訓(xùn)練算法連續(xù)多輸出感知器訓(xùn)練算法線性不可分問題異或(Exclusive

–OR)問題線性不可分問題的克服實現(xiàn)！問題的發(fā)現(xiàn)與解決！2021/6/231033.1感知器與ANN的早期發(fā)展McCulloch

和Pitts 1943

年，發(fā)表第一個系統(tǒng)的ANN研究——閾值加權(quán)和(M-P)數(shù)學(xué)模型。

1947年，開發(fā)出感知器。1949年，提出Hebb學(xué)習(xí)律。單輸出的感知器(M-P模型)x12021/6/23104ox2…xn3.1感知器與ANN的早期發(fā)展1962年，Rosenblatt宣布：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它能表示的任何東西多輸出感知器2021/6/23105x1

o1x2

o2omxn……

……輸入層輸出層3.2

感知器的學(xué)習(xí)算法2021/6/23106感知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí)感知器的訓(xùn)練算法的基本原理來源于著名的Hebb學(xué)習(xí)律基本思想：逐步地將樣本集中的樣本輸入到網(wǎng)絡(luò)中,根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣3.2.1離散單輸出感知器訓(xùn)練算法2021/6/23107二值網(wǎng)絡(luò)：自變量及其函數(shù)的值、向量分量的值只取0和1函數(shù)、向量。權(quán)向量：W=(w1，w2，…，wn)輸入向量：X=(x1，x2，…，xn)訓(xùn)練樣本集：–{(X，Y)|Y為輸入向量X對應(yīng)的輸出}算法3-1離散單輸出感知器訓(xùn)練算法2021/6/23108初始化權(quán)向量W；重復(fù)下列過程，直到訓(xùn)練完成：對每個樣本（X，Y），重復(fù)如下過程：輸入X；計算o=F（XW）；如果輸出不正確，則當o=0時，取W=W+X，當o=1時，取W=W-X3.2.2離散多輸出感知器訓(xùn)練算法樣本集：{(X,Y)|Y為輸入向量X對應(yīng)的輸出}輸入向量：X=(x1,x2,…,xn)理想輸出向量：Y=(y1,y2,…,ym)激活函數(shù)：F權(quán)矩陣W=(wij)實際輸出向量：O=(o1,o2,…,om)x1x2…2021/6/23

xn……o1o2…om109輸入層輸出層算法3-2離散多輸出感知器訓(xùn)練算法2021/6/23110初始化權(quán)矩陣W；重復(fù)下列過程，直到訓(xùn)練完成：對每個樣本（X，Y），重復(fù)如下過程：輸入X；計算O=F（XW）；for

j=1

to

m

do

執(zhí)行如下操作：if oj

≠

yj

thenif

oi

=

0

then

for

i

=

1

to

nwij=wij+xielse

for

i=

1

to

n

dowij=wij-xi算法3-2離散多輸出感知器訓(xùn)練算法2021/6/23111算法思想：將單輸出感知器的處理逐個地用于多輸出感知器輸出層的每一個神經(jīng)元的處理。第1步，權(quán)矩陣的初始化：一系列小偽隨機數(shù)。算法3-2離散多輸出感知器訓(xùn)練算法2021/6/23112第2步，循環(huán)控制。方法1：循環(huán)次數(shù)控制法：對樣本集執(zhí)行規(guī)定次數(shù)的迭代改進——分階段迭代控制：設(shè)定一個基本的迭代次數(shù)N，每當訓(xùn)練完成N次迭代后，就給出一個中間結(jié)果算法3-2離散多輸出感知器訓(xùn)練算法2021/6/23113方法2：精度控制法：給定一個精度控制參數(shù)–精度度量：實際輸出向量與理想輸出向量的對應(yīng)分量的差的絕對值之和；–實際輸出向量與理想輸出向量的歐氏距離的和–

“死循環(huán)”：網(wǎng)絡(luò)無法表示樣本所代表的問題算法3-2離散多輸出感知器訓(xùn)練算法2021/6/23114方法3：綜合控制法：將這兩種方法結(jié)合起來使用注意：精度參數(shù)的設(shè)置。根據(jù)實際問題選定；初始測試階段，精度要求低，測試完成后，再給出實際的精度要求。3.2.3

連續(xù)多輸出感知器訓(xùn)練算法2021/6/23115用公式wij=wij+α（yj-oj）xi取代了算法3-2第2.1.3步中的多個判斷yj與oj之間的差別對wij的影響由α（yj-oj）xi表現(xiàn)出來好處：不僅使得算法的控制在結(jié)構(gòu)上更容易理解，而且還使得它的適應(yīng)面更寬算法3-3

連續(xù)多輸出感知器訓(xùn)練算法2021/6/23116用適當?shù)男坞S機數(shù)初始化權(quán)矩陣W；初置精度控制參數(shù)ε，學(xué)習(xí)率α，精度控制變量d=ε+1；While

d

≥

ε

dod=0；for

每個樣本（X，Y）do輸入X（=(x1，x2，…，xn)）；求O=F（XW）；修改權(quán)矩陣W：for

i=1

to

n，j=1

to

m

dowij=wij+α(yj-oj)xi；累積誤差for

j

=

1

to

mdod=d+(yj-oj)2算法3-3

連續(xù)多輸出感知器訓(xùn)練算法2021/6/231171、程序?qū)崿F(xiàn):ε、α、d、i、j、n、m為簡單變量來表示，

W為n行m列的二維數(shù)組。樣本集二維數(shù)組2、系統(tǒng)的調(diào)試3、Minsky在1969年證明，有許多基本問題是感知器無法解決4、問題線性可分性可能與時間有關(guān)5、很難從樣本數(shù)據(jù)集直接看出問題是否線性可分6、未能證明，一個感知器究竟需要經(jīng)過多少步才能完成訓(xùn)練。3.3

線性不可分問題2021/6/231183.3.1異或(Exclusive

–OR)問題g（x，y）y01x001110用于求解XOR的單神經(jīng)元感知器xo單神經(jīng)元感知器的圖像ax+by=θ1yyx12021/6/23119(0,0)(1,1)線性不可分函數(shù)2021/6/23120變量函數(shù)及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f16000000000011111111010000111100001111100011001100110011110101010101010101線性不可分函數(shù)2021/6/23121R.O.

Windner1960年自變量個數(shù)函數(shù)的個數(shù)線性可分函數(shù)的個數(shù)144216143256104465,536188254.3*10994,57261.8*10195,028,1343.3.2

線性不可分問題的克服2021/6/23122用多個單級網(wǎng)組合在一起，并用其中的一個去綜合其它單級網(wǎng)的結(jié)果，我們就可以構(gòu)成一個兩級網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以被用來在平面上劃分出一個封閉或者開放的凸域來一個非凸域可以拆分成多個凸域。按照這一思路，三級網(wǎng)將會更一般一些，我們可以用它去識別出一些非凸域來。解決好隱藏層的聯(lián)接權(quán)的調(diào)整問題是非常關(guān)鍵的兩級單輸出網(wǎng)在n維空間中劃分出m邊凸域…x12021/6/23123ANmAN1xn…ANoo第1次課堂測試（5分*4）2021/6/23124Newell和Simon的物理符號系統(tǒng)所基于的假說是什么？它在什么層面上如何實現(xiàn)對人類智能的模擬？聯(lián)接主義觀點所基于的假說是什么？它在什么層面上如何實現(xiàn)對人類智能的模擬？畫出有導(dǎo)師算法的流程圖。證明：一個激活函數(shù)為線性函數(shù)的3級非循環(huán)網(wǎng)等價于一個單級網(wǎng)。習(xí)題2021/6/23125P38

1、6第1次課堂測試解答要點2021/6/23126Newell和Simon的物理符號系統(tǒng)所基于的假說是什么？它在什么層面上如何實現(xiàn)對人類智能的模擬？要點：物理符號系統(tǒng)；心理；符號對事務(wù)及變換的描述聯(lián)接主義觀點所基于的假說是什么？它在什么層面上如何實現(xiàn)對人類智能的模擬？要點：聯(lián)接機制；生理；模式、聯(lián)接權(quán)的調(diào)整與對變換的表示第1次課堂測試解答要點2021/6/23127畫出有導(dǎo)師學(xué)習(xí)算法的流程圖。要點：如何處理精度與樣本集兩層循環(huán)證明：一個激活函數(shù)為線性函數(shù)的3級非循環(huán)網(wǎng)等價于一個單級網(wǎng)。要點：一級網(wǎng)與多級網(wǎng)的的數(shù)學(xué)模型上次課內(nèi)容回顧:學(xué)習(xí)算法2021/6/23128離散單輸出感知器訓(xùn)練算法W=W+X;W=W-XW=W+(Y-O)X離散多輸出感知器訓(xùn)練算法Wj=Wj+(yj-oj)X連續(xù)多輸出感知器訓(xùn)練算法wij=wij+α(yj-oj)xi上次課內(nèi)容回顧:線性不可分問題1yx12021/6/23129(1,1)ax+by=θ(0,0)線性不可分問題的克服兩級網(wǎng)絡(luò)可以劃分出封閉或開放的凸域多級網(wǎng)將可以識別出非凸域隱藏層的聯(lián)接權(quán)的調(diào)整問題是非常關(guān)鍵第4章BP網(wǎng)絡(luò)2021/6/23130主要內(nèi)容：BP網(wǎng)絡(luò)的構(gòu)成–隱藏層權(quán)的調(diào)整分析Delta規(guī)則理論推導(dǎo)–算法的收斂速度及其改進討論BP網(wǎng)絡(luò)中的幾個重要問題重點：BP算法難點：Delta規(guī)則的理論推導(dǎo)第4章BP網(wǎng)絡(luò)2021/6/23131概述基本BP算法算法的改進算法的實現(xiàn)算法的理論基礎(chǔ)幾個問題的討論4.1

概述2021/6/231321、BP算法的出現(xiàn)非循環(huán)多級網(wǎng)絡(luò)的訓(xùn)練算法UCSD

PDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓(xùn)練速度非常慢、局部極小點的逃離問題、算法不一定收斂。3、優(yōu)點：廣泛的適應(yīng)性和有效性。4.2

基本BP算法4.2.1

網(wǎng)絡(luò)的構(gòu)成神經(jīng)元的網(wǎng)絡(luò)輸入：neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：1

+

e-net1o

=

f

(net

)

=12021/6/23133f

￠(net)

=-(-e-net)

=o-o2

=o(1-o)(1+e-net)2輸出函數(shù)分析0.5f′(net)0.25o011（0,0.5）netoo

=2021/6/231341+

e-net1（0,0）–應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)–可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的網(wǎng)絡(luò)的拓撲結(jié)構(gòu)x12021/6/23135o1輸出層隱藏層輸入層x2o2omxn…………………W(1)

W(2)

W(3)

W(L)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)2021/6/23136BP網(wǎng)的結(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定實驗：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達能力。BP網(wǎng)一般都選用二級網(wǎng)絡(luò)。網(wǎng)絡(luò)的拓撲結(jié)構(gòu)x12021/6/23137o1輸出層隱藏層輸入層x2o2omxn…………WV4.2.2

訓(xùn)練過程概述2021/6/23138樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡(luò)可以學(xué)。1、向前傳播階段：從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；計算相應(yīng)的實際輸出Op：Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))2021/6/231394.2.2

訓(xùn)練過程概述2、向后傳播階段——誤差傳播階段：計算實際輸出Op與相應(yīng)的理想輸出Yp的差；按極小化誤差的方式調(diào)整權(quán)矩陣。網(wǎng)絡(luò)關(guān)于第p個樣本的誤差測度：pj

pjj

=1)22mEp

=

1

(y

-

op（4）網(wǎng)絡(luò)關(guān)于整個樣本集的誤差測度：E

=

Ep4.2.3

誤差傳播分析wpq=

wpq+?wpq?wpq=αδqop=αfn′

(netq)(yq-oq)op=αoq(1-oq)

(yq-oq)op1、輸出層權(quán)的調(diào)整ANp

ANq2021/6/23140第L-1層第L層wpq?wpq2、隱藏層權(quán)的調(diào)整ANp2021/6/23141ANqANhvhpδpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……2、隱藏層權(quán)的調(diào)整2021/6/23142δpk-1的值和δ1k，δ2k，…，δmk有關(guān)不妨認為δpk-1通過權(quán)wp1對δ1k做出貢獻，通過權(quán)wp2對δ2k做出貢獻，……通過權(quán)wpm對δmk做出貢獻。δpk-1=

fk-1′(netp)

(wp1δ1k+

wp2δ2k+…+

wpmδmk)2、隱藏層權(quán)的調(diào)整vhp2021/6/23143δpk-1vhp=vhp+?vhp?vhp=αδpk-1ohk-2=αfk-1

′(netp)(

wp1δ1k+

wp2δ2k+…+

wpmδmk)ohk-2=αopk-1(1-opk-1)(

wp1δ1k+

wp2δ2k+…+

wpmδmk)ohk-2δ1kwp1wpmδqkwpqδmkANh第k-2層第k層ANp第k-1層ANq……上次課內(nèi)容回顧基本BP算法–

neti=x1w1i+x2w2i+…+xnwni1o

=

f

(net

)

=12021/6/23144f

￠(net)

=-1

+

e-net(-e-net)

=o-o2

=o(1-o)(1+e-net)2上次課內(nèi)容回顧x12021/6/23145o1輸出層隱藏層輸入層x2o2omxn…………WV上次課內(nèi)容回顧2021/6/23146樣本權(quán)初始化向前傳播階段–

Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))誤差測度mpj

-

pj(y

oj

=1)2Ep

=21上次課內(nèi)容回顧向后傳播階段——誤差傳播階段輸出層權(quán)的調(diào)整?wpq=

αδqop

=αfn′

(netq)(yq-oq)op

=αoq(1-oq)

(yq-oq)op–

隱藏層權(quán)的調(diào)整ANp2021/6/23147ANqANhvhpδpk-1δ1kwp1wpqδqkwpmδmk……?vhp

=αopk-1(1-opk-1)(

wp1δ1k+

wp2δ2k+…+

wpmδmk)ohk-24.2.4

基本的BP算法2021/6/23148樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}基本思想：–逐一地根據(jù)樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)，W(2)，…，W(L)各做一次調(diào)整，重復(fù)這個循環(huán)，直到∑Ep<ε。–用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現(xiàn)對權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程算法4-1

基本BP算法2021/6/23149for

k=1

toL

do初始化W(k)；初始化精度控制參數(shù)ε；E=ε+1;while

E>ε

doE=0;算法4-1

基本BP算法2021/6/23150對S中的每一個樣本（Xp,Yp）：計算出Xp對應(yīng)的實際輸出Op；計算出Ep；E=E+Ep；根據(jù)相應(yīng)式子調(diào)整W(L)；k=L-1；while

k≠0

do根據(jù)相應(yīng)式子調(diào)整W(k)；k=k-1E=E/2.04.3

算法的改進2021/6/231511、BP網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大影響。它更“偏愛”較后出現(xiàn)的樣本2、給集中的樣本安排一個適當?shù)捻樞?，是非常困難的。3、樣本順序影響結(jié)果的原因：“分別”、“依次”4

、用(X1,Y1)，（

X2,Y2

），…，（

Xs,Ys

）的“總效果”修改W(1)

，W(2)

，…，W(L)。?w(k)ij=∑?p

w(k)ij算法4-2消除樣本順序影響的BP算法2021/6/23152for

k=1

toL

do初始化W(k)；初始化精度控制參數(shù)ε；E=ε+1;while

E>ε

doE=0;對所有的i，j，k：?w

(k)ij=0；4.3

對S中的每一個樣本（Xp,Yp）：2021/6/23153計算出Xp對應(yīng)的實際輸出Op；計算出Ep；E=E+Ep；ij4.3.4

對所有i，j根據(jù)相應(yīng)式子計算?p

w

(L)

；ij

ij

p

ij4.3.5

對所有i，j：?

w

(L)

=?

w

(L)

+? w

(L)

；4.3.6 k=L-1；4.3.7 while

k≠0

doij4.3.7.1

對所有i,j根據(jù)相應(yīng)式子計算?p

w

(k)

；ij

ij

p

ij4.3.7.2

對所有i,j：?

w

(k)

=?

w

(k)

+? w

(k)

；4.3.7.3 k=k-1ij

ij

ij4.4

對所有i，j，k：w

(k)

=

w

(k)

+

?w

(k)

;4.5

E=E/2.0算法4-2

分析2021/6/23154較好地解決了因樣本的順序引起的精度問題和訓(xùn)練的抖動問題收斂速度：比較慢偏移量：給每一個神經(jīng)元增加一個偏移量來加快收斂速度沖量：聯(lián)接權(quán)的本次修改要考慮上次修改的影響，以減少抖動問題算法4-2

分析——沖量設(shè)置2021/6/23155Rumelhart等人1986年?wij=αδjoi+β?wij′?wij′為上一次的修改量，β為沖量系數(shù)，一般可取到0.9Sejnowski與Rosenberg

，1987年?wij=α((1-β)δjoi+β?wij′)?wij′也是上一次的修改量，β在0和1之間取值4.4

算法的實現(xiàn)2021/6/23156主要數(shù)據(jù)結(jié)構(gòu)W[H，m]——輸出層的權(quán)矩陣；

V[n，H]——輸入（隱藏）層的權(quán)矩陣；?o[m]——輸出層各聯(lián)接權(quán)的修改量組成的向量；?h[H]——隱藏層各聯(lián)接權(quán)的修改量組成的向量；O1——隱藏層的輸出向量；O2——輸出層的輸出向量；

(X，Y)——一個樣本。算法的主要實現(xiàn)步驟2021/6/23157用不同的小偽隨機數(shù)初始化W，V；初始化精度控制參數(shù)ε；學(xué)習(xí)率α

；循環(huán)控制參數(shù)E=ε+1；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控制參數(shù)N=0；while

E>ε

&

N<M

doN=N+1；E=0；對每一個樣本(X,Y)，執(zhí)行如下操作4.2對每一個樣本(X,Y)，執(zhí)行的操作2021/6/23158計算：O1=F1(XV)；O2=F2(O1W)；計算輸出層的權(quán)修改量

for i=1to

m?o[i]=

O2

[i]*(1-

O2

[i])*(Y[i]-O2

[i])；計算輸出誤差：for

i=1

to

mE=E+(Y[i]-O2

[i])2；4.2對每一個樣本(X，Y)，執(zhí)行的操作2021/6/23159計算隱藏層的權(quán)修改量：for

i=1

to

HZ=0；for

j=1

to

m

do

Z=Z+W[i,j]*

?o[j]；Δh[i]=Z*

O1

[i](1-

O1

[i])

；修改輸出層權(quán)矩陣：for

k=1

to

H

&

i=1

to

mW[k,i]=

W[k,i]+

α*O1[k]*?o[i]；修改隱藏層權(quán)矩陣：for

k=1

to

n

&

i=1

to

HV[k,i]=

V[k,i]+

α*X[k]*

?h[i]；建議2021/6/23160隱藏層的神經(jīng)元的個數(shù)H作為一個輸入?yún)?shù)同時將ε、循環(huán)最大次數(shù)M等，作為算法的輸入?yún)?shù)在調(diào)試階段，最外層循環(huán)內(nèi)，加一層控制，以探測網(wǎng)絡(luò)是否陷入了局部極小點4.5

算法的理論基礎(chǔ)2021/6/23161基本假設(shè)–網(wǎng)絡(luò)含有L層–聯(lián)接矩陣：W(1)

，W(2)

，…，W(L)–第k層的神經(jīng)元：Hk個–自變量數(shù)：n*H1+H1*H2+H2*H3+…+HL*m–樣本集：S={

(X1,Y1),(X2,Y2),…,(Xs,Ys)}誤差測度:spE

=

Ep

=

1用E代表EP，用（X，Y）代表（XP，YP）X=(x1，x2，…，xn)Y=(y1，y2，…，ym)該樣本對應(yīng)的實際輸出為O=（o1，o2，…，om）2021/6/23162sE

=

E

pp

=1誤差測度誤差測度用理想輸出與實際輸出的方差作為相應(yīng)的誤差測度m2021/6/23163k

=

1kk)

2(

y

-

o21E

=sE

=

E

pp

=1最速下降法，要求E的極小點ijij-

?E

D

wwij?w

ijEij

?E

>0，此時Δw

<0取?w

ij?wE2021/6/23164ij

?E

<0,

此時Δw

>0wij2021/6/23165-

?E

=

-

?E

?net

j?wij

?net

j

?wij而其中的netj

=

wkjokk所以，iijijj?w

=

o

k?

wkjok

=?w?net最速下降法，要求E的極小點ijij?net=-

?E

o?wij

k

?netj=-

?E?netj?wij

?netj

?

w-

?E

=-

?E?wkjok

令j2021/6/23166j?netd

=

-

?E所以Δwij=αδjoiα為學(xué)習(xí)率最速下降法，要求E的極小點ANj為輸出層神經(jīng)元oj=f(netj)容易得到j(luò)=

f

￠(net

)?net

j?o

jj2021/6/23167jjf

￠(net

)?o=

-

?E?o

j?o

j

?netj?E=

-?Edj

=

-

?net從而2021/6/231682)122j

jj

jmk=(

yj

-oj

)=

-(-

2

(

y

-o

))2

?oj?(y

-o

)=

-(

1(yk

-o

)?2?oj?E-=

-

k

=1

?ojANj為輸出層神經(jīng)