版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
人工神經(jīng)網(wǎng)絡(luò)
ArtificialNeuralNetworks電氣工程學(xué)院張健2/2/20231第1章
引言1.1人工神經(jīng)網(wǎng)絡(luò)的提出1.2人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)1.3歷史回顧2/2/20232第1章
引言人類對(duì)人工智能的研究可以分成兩種方式對(duì)應(yīng)著兩種不同的技術(shù):傳統(tǒng)的人工智能技術(shù)——心理的角度模擬基于人工神經(jīng)網(wǎng)絡(luò)的技術(shù)——生理的角度模擬2/2/202331.1人工神經(jīng)網(wǎng)絡(luò)的提出
人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks,簡(jiǎn)記作ANN),是對(duì)人類大腦系統(tǒng)的一階特性的一種描述。簡(jiǎn)單地講,它是一個(gè)數(shù)學(xué)模型,可以用電子線路來實(shí)現(xiàn),也可以用計(jì)算機(jī)程序來模擬,是人工智能研究的一種方法。
2/2/202341.1人工神經(jīng)網(wǎng)絡(luò)的提出1.1.1智能與人工智能
一、
智能的含義智能是個(gè)體有目的的行為,合理的思維,以及有效的、適應(yīng)環(huán)境的綜合能力。
智能是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問題的能力。
人類個(gè)體的智能是一種綜合能力。2/2/202351.1人工神經(jīng)網(wǎng)絡(luò)的提出智能可以包含8個(gè)方面感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力感知是智能的基礎(chǔ)——最基本的能力
通過學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力這是人類在世界中能夠不斷發(fā)展的最基本能力。理解知識(shí),運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問題的能力這一能力可以算作是智能的高級(jí)形式。是人類對(duì)世界進(jìn)行適當(dāng)?shù)母脑欤苿?dòng)社會(huì)不斷發(fā)展的基本能力。2/2/202361.1人工神經(jīng)網(wǎng)絡(luò)的提出聯(lián)想、推理、判斷、決策語(yǔ)言的能力這是智能的高級(jí)形式的又一方面。預(yù)測(cè)和認(rèn)識(shí)“主動(dòng)”和“被動(dòng)”之分。聯(lián)想、推理、判斷、決策的能力是“主動(dòng)”的基礎(chǔ)。運(yùn)用進(jìn)行抽象、概括的能力上述這5種能力,被認(rèn)為是人類智能最為基本的能力
2/2/202371.1人工神經(jīng)網(wǎng)絡(luò)的提出作為5種能力綜合表現(xiàn)形式的3種能力發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力預(yù)測(cè)、洞察事物發(fā)展、變化的能力
2/2/202381.1人工神經(jīng)網(wǎng)絡(luò)的提出二、人工智能人工智能:研究如何使類似計(jì)算機(jī)這樣的設(shè)備去模擬人類的這些能力。研究人工智能的目的增加人類探索世界,推動(dòng)社會(huì)前進(jìn)的能力進(jìn)一步認(rèn)識(shí)自己三大學(xué)術(shù)流派符號(hào)主義(或叫做符號(hào)/邏輯主義)學(xué)派聯(lián)接主義(或者叫做PDP)學(xué)派進(jìn)化主義(或者叫做行動(dòng)/響應(yīng))學(xué)派2/2/202391.1人工神經(jīng)網(wǎng)絡(luò)的提出1.1.2物理符號(hào)系統(tǒng)
人腦的反映形式化
現(xiàn)實(shí)信息數(shù)據(jù)
物理系統(tǒng)物理符號(hào)系統(tǒng)
表現(xiàn)智能2/2/2023101.1人工神經(jīng)網(wǎng)絡(luò)的提出Newell和Simon假說:一個(gè)物理系統(tǒng)表現(xiàn)智能行為的充要條件是它有一個(gè)物理符號(hào)系統(tǒng)概念:物理符號(hào)系統(tǒng)需要有一組稱為符號(hào)的實(shí)體組成,它們都是物理模型,可以在另一類稱為符號(hào)結(jié)構(gòu)的實(shí)體中作為成分出現(xiàn),以構(gòu)成更高級(jí)別的系統(tǒng)2/2/2023111.1人工神經(jīng)網(wǎng)絡(luò)的提出困難:抽象——舍棄一些特性,同時(shí)保留一些特性形式化處理——用物理符號(hào)及相應(yīng)規(guī)則表達(dá)物理系統(tǒng)的存在和運(yùn)行。局限:對(duì)全局性判斷、模糊信息處理、多粒度的視覺信息處理等是非常困難的。2/2/2023121.1人工神經(jīng)網(wǎng)絡(luò)的提出1.1.3聯(lián)接主義觀點(diǎn)
核心:智能的本質(zhì)是聯(lián)接機(jī)制。
神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡(jiǎn)單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)
ANN力求從四個(gè)方面去模擬人腦的智能行為物理結(jié)構(gòu)
計(jì)算模擬
存儲(chǔ)與操作
訓(xùn)練
2/2/2023131.1人工神經(jīng)網(wǎng)絡(luò)的提出1.1.4兩種模型的比較
心理過程邏輯思維高級(jí)形式(思維的表象)
生理過程
形象思維
低級(jí)形式(思維的根本)
仿生
人工神經(jīng)網(wǎng)絡(luò)聯(lián)結(jié)主義觀點(diǎn)物理符號(hào)系統(tǒng)2/2/2023141.1人工神經(jīng)網(wǎng)絡(luò)的提出物理符號(hào)系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差別
項(xiàng)目物理符號(hào)系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)處理方式邏輯運(yùn)算模擬運(yùn)算執(zhí)行方式串行并行動(dòng)作離散連續(xù)存儲(chǔ)局部集中全局分布2/2/2023151.1人工神經(jīng)網(wǎng)絡(luò)的提出兩種人工智能技術(shù)的比較項(xiàng)目傳統(tǒng)的AI技術(shù)
ANN技術(shù)
基本實(shí)現(xiàn)方式
串行處理;由程序?qū)崿F(xiàn)控制
并行處理;對(duì)樣本數(shù)據(jù)進(jìn)行多目標(biāo)學(xué)習(xí);通過人工神經(jīng)元之間的相互作用實(shí)現(xiàn)控制
基本開發(fā)方法
設(shè)計(jì)規(guī)則、框架、程序;用樣本數(shù)據(jù)進(jìn)行調(diào)試(由人根據(jù)已知的環(huán)境去構(gòu)造一個(gè)模型)
定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型,通過樣本數(shù)據(jù),依據(jù)基本的學(xué)習(xí)算法完成學(xué)習(xí)——自動(dòng)從樣本數(shù)據(jù)中抽取內(nèi)涵(自動(dòng)適應(yīng)應(yīng)用環(huán)境)
適應(yīng)領(lǐng)域
精確計(jì)算:符號(hào)處理,數(shù)值計(jì)算非精確計(jì)算:模擬處理,感覺,大規(guī)模數(shù)據(jù)并行處理模擬對(duì)象
左腦(邏輯思維)右腦(形象思維)2/2/2023161.2人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)信息的分布表示運(yùn)算的全局并行和局部操作處理的非線性
2/2/2023171.2.1人工神經(jīng)網(wǎng)絡(luò)的概念1、定義
1)Hecht—Nielsen(1988年)人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu),它由處理單元及其稱為聯(lián)接的無向訊號(hào)通道互連而成。這些處理單元(PE—ProcessingElement)具有局部?jī)?nèi)存,并可以完成局部操作。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接,這個(gè)輸出可以根據(jù)需要被分枝成希望個(gè)數(shù)的許多并行聯(lián)接,且這些并行聯(lián)接都輸出相同的信號(hào),即相應(yīng)處理單元的信號(hào),信號(hào)的大小不因分支的多少而變化。2/2/2023181.2.1人工神經(jīng)網(wǎng)絡(luò)的概念(1)Hecht—Nielsen(1988年)(續(xù))處理單元的輸出信號(hào)可以是任何需要的數(shù)學(xué)模型,每個(gè)處理單元中進(jìn)行的操作必須是完全局部的。也就是說,它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部?jī)?nèi)存中的值。2/2/2023191.2.1人工神經(jīng)網(wǎng)絡(luò)的概念強(qiáng)調(diào):
①
并行、分布處理結(jié)構(gòu);②一個(gè)處理單元的輸出可以被任意分枝,且大小不變;③輸出信號(hào)可以是任意的數(shù)學(xué)模型;④處理單元完全的局部操作
2/2/2023201.2.1人工神經(jīng)網(wǎng)絡(luò)的概念(2)Rumellhart,McClelland,Hinton的PDP1)
一組處理單元(PE或AN);2)
處理單元的激活狀態(tài)(ai);3)
每個(gè)處理單元的輸出函數(shù)(fi);4)
處理單元之間的聯(lián)接模式;5)
傳遞規(guī)則(∑wijoi);6)
把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來產(chǎn)生激活值的激活規(guī)則(Fi);7)
通過經(jīng)驗(yàn)修改聯(lián)接強(qiáng)度的學(xué)習(xí)規(guī)則;8)
系統(tǒng)運(yùn)行的環(huán)境(樣本集合)。
2/2/2023211.2.1人工神經(jīng)網(wǎng)絡(luò)的概念(3)Simpson(1987年)人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖,圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊,并且可以從不完整的或未知的輸入找到模式。
2/2/2023221.2.1人工神經(jīng)網(wǎng)絡(luò)的概念2、關(guān)鍵點(diǎn)(1)
信息的分布表示(2)
運(yùn)算的全局并行與局部操作(3)
處理的非線性特征3、對(duì)大腦基本特征的模擬1)
形式上:神經(jīng)元及其聯(lián)接;BN對(duì)AN2)
表現(xiàn)特征:信息的存儲(chǔ)與處理2/2/2023231.2.1人工神經(jīng)網(wǎng)絡(luò)的概念4、別名人工神經(jīng)系統(tǒng)(ANS)神經(jīng)網(wǎng)絡(luò)(NN)自適應(yīng)系統(tǒng)(AdaptiveSystems)、自適應(yīng)網(wǎng)(AdaptiveNetworks)聯(lián)接模型(Connectionism)神經(jīng)計(jì)算機(jī)(Neurocomputer)2/2/2023241.2.2學(xué)習(xí)(Learning)能力人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為自相聯(lián)的網(wǎng)絡(luò)異相聯(lián)的網(wǎng)絡(luò):它在接受樣本集合A時(shí),可以抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系。——“抽象”功能。不同的人工神經(jīng)網(wǎng)絡(luò)模型,有不同的學(xué)習(xí)/訓(xùn)練算法2/2/2023251.2.3基本特征的自動(dòng)提取
由于其運(yùn)算的不精確性,表現(xiàn)成“去噪音、容殘缺”的能力,利用這種不精確性,比較自然地實(shí)現(xiàn)模式的自動(dòng)分類。普化(Generalization)能力與抽象能力
2/2/2023261.2.4信息的分布存放信息的分布存提供容錯(cuò)功能由于信息被分布存放在幾乎整個(gè)網(wǎng)絡(luò)中,所以,當(dāng)其中的某一個(gè)點(diǎn)或者某幾個(gè)點(diǎn)被破壞時(shí),信息仍然可以被存取。系統(tǒng)在受到局部損傷時(shí)還可以正常工作。并不是說可以任意地對(duì)完成學(xué)習(xí)的網(wǎng)絡(luò)進(jìn)行修改。也正是由于信息的分布存放,對(duì)一類網(wǎng)來說,當(dāng)它完成學(xué)習(xí)后,如果再讓它學(xué)習(xí)新的東西,這時(shí)就會(huì)破壞原來已學(xué)會(huì)的東西。
2/2/2023271.2.5適應(yīng)性(Applicability)問題
擅長(zhǎng)兩個(gè)方面:對(duì)大量的數(shù)據(jù)進(jìn)行分類,并且只有較少的幾種情況;必須學(xué)習(xí)一個(gè)復(fù)雜的非線性映射。目前應(yīng)用:人們主要將其用于語(yǔ)音、視覺、知識(shí)處理、輔助決策等方面。在數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最佳解的近似解(不是最佳近似解)等方面也有較好的應(yīng)用。
2/2/2023281.3歷史回顧
1.3.1萌芽期(20世紀(jì)40年代)人工神經(jīng)網(wǎng)絡(luò)的研究最早可以追溯到人類開始研究自己的智能的時(shí)期,到1949年止。1943年,心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型,簡(jiǎn)稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會(huì)刊《BulletinofMethematicalBiophysics》1949年,心理學(xué)家D.O.Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說——Hebb學(xué)習(xí)律。
2/2/2023291.3.2第一高潮期(1950~1968)
以MarvinMinsky,F(xiàn)rankRosenblatt,BernardWidrow等為代表人物,代表作是單級(jí)感知器(Perceptron)??捎秒娮泳€路模擬。人們樂觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項(xiàng)研究,希望盡快占領(lǐng)制高點(diǎn)。
2/2/2023301.3.3反思期(1969~1982)
M.L.Minsky和S.Papert,《Perceptron》,MITPress,1969年
異或”運(yùn)算不可表示
二十世紀(jì)70年代和80年代早期的研究結(jié)果
認(rèn)識(shí)規(guī)律:認(rèn)識(shí)——實(shí)踐——再認(rèn)識(shí)
2/2/2023311.3.4第二高潮期(1983~1990)
1982年,J.Hopfield提出循環(huán)網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù),建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動(dòng)力學(xué)的關(guān)系用非線性動(dòng)力學(xué)的方法來研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上
2/2/2023321.3.4第二高潮期(1983~1990)2)1984年,J.Hopfield設(shè)計(jì)研制了后來被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題,找到了最佳解的近似解,引起了較大的轟動(dòng)。3)1985年,UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理(PDP)小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制,提出所謂的Boltzmann機(jī)。
2/2/2023331.3.4第二高潮期(1983~1990)4)1986年,并行分布處理小組的Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法——BP算法,較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。(Paker1982和Werbos1974年)國(guó)內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)是1990年12月在北京舉行的。
2/2/2023341.3.5再認(rèn)識(shí)與應(yīng)用研究期(1991~)
問題:1)應(yīng)用面還不夠?qū)?)結(jié)果不夠精確3)存在可信度的問題
2/2/2023351.3.5再認(rèn)識(shí)與應(yīng)用研究期(1991~)
研究:1)開發(fā)現(xiàn)有模型的應(yīng)用,并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造,以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。2)充分發(fā)揮兩種技術(shù)各自的優(yōu)勢(shì)是一個(gè)有效方法3)希望在理論上尋找新的突破,建立新的專用/通用模型和算法。4)進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究,不斷地豐富對(duì)人腦的認(rèn)識(shí)。
2/2/202336第2章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1生物神經(jīng)網(wǎng)2.2人工神經(jīng)元2.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦?.4存儲(chǔ)與映射2.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練2/2/2023372.1生物神經(jīng)網(wǎng)1、構(gòu)成胞體(Soma)枝蔓(Dendrite)胞體(Soma)
軸突(Axon)突觸(Synapse)2、工作過程2/2/2023382.1生物神經(jīng)網(wǎng)3、六個(gè)基本特征:1)神經(jīng)元及其聯(lián)接;2)神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱;3)神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的;4)信號(hào)可以是起刺激作用的,也可以是起抑制作用的;5)一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的狀態(tài);6)每個(gè)神經(jīng)元可以有一個(gè)“閾值”。2/2/2023392.2人工神經(jīng)元
神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元(構(gòu)件)。人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個(gè)基本特性。
2/2/2023402.2.1人工神經(jīng)元的基本構(gòu)成
人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入:X=(x1,x2,…,xn)聯(lián)接權(quán):W=(w1,w2,…,wn)T網(wǎng)絡(luò)輸入: net=∑xiwi向量形式: net=XWxnwn∑x1w1x2w2net=XW…2/2/2023412.2.2激活函數(shù)(ActivationFunction)
激活函數(shù)——執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換,也可以稱為激勵(lì)函數(shù)、活化函數(shù):o=f(net)
1、線性函數(shù)(LinerFunction)
f(net)=k*net+c
netooc2/2/2023422、非線性斜面函數(shù)(RampFunction)
γ ifnet≥θf(net)=k*net if|net|<θ -γ ifnet≤-θ
γ>0為一常數(shù),被稱為飽和值,為該神經(jīng)元的最大輸出。
2/2/2023432、非線性斜面函數(shù)(RampFunction)γ-γθ
-θ
net
o
2/2/2023443、閾值函數(shù)(ThresholdFunction)階躍函數(shù)
β ifnet>θf(net)= -γ ifnet≤θβ、γ、θ均為非負(fù)實(shí)數(shù),θ為閾值二值形式: 1 ifnet>θf(net)= 0 ifnet≤θ雙極形式: 1 ifnet>θf(net)= -1 ifnet≤θ
2/2/2023453、閾值函數(shù)(ThresholdFunction)階躍函數(shù)β
-γθonet02/2/2023464、S形函數(shù)
壓縮函數(shù)(SquashingFunction)和邏輯斯特函數(shù)(LogisticFunction)。f(net)=a+b/(1+exp(-d*net))a,b,d為常數(shù)。它的飽和值為a和a+b。最簡(jiǎn)單形式為:f(net)=1/(1+exp(-d*net))函數(shù)的飽和值為0和1。S形函數(shù)有較好的增益控制
2/2/2023474、S形函數(shù)
a+bo(0,c)netac=a+b/22/2/2023482.2.3M-P模型
x2w2
∑fo=f(net)xnwn…net=XWx1w1McCulloch—Pitts(M—P)模型,也稱為處理單元(PE)
2/2/2023492.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦?/p>
連接的拓?fù)浔硎?/p>
ANi wij ANj
2/2/2023502.3.1聯(lián)接模式
用正號(hào)(“+”,可省略)表示傳送來的信號(hào)起刺激作用,它用于增加神經(jīng)元的活躍度;用負(fù)號(hào)(“-”)表示傳送來的信號(hào)起抑制作用,它用于降低神經(jīng)元的活躍度。層次(又稱為“級(jí)”)的劃分,導(dǎo)致了神經(jīng)元之間的三種不同的互連模式:
2/2/2023512.3.1聯(lián)接模式
1、層(級(jí))內(nèi)聯(lián)接層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)(Intra-field)聯(lián)接或側(cè)聯(lián)接(Lateral)。用來加強(qiáng)和完成層內(nèi)神經(jīng)元之間的競(jìng)爭(zhēng)2、
循環(huán)聯(lián)接反饋信號(hào)。
2/2/2023522.3.1聯(lián)接模式3、層(級(jí))間聯(lián)接
層間(Inter-field)聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接。這種聯(lián)接用來實(shí)現(xiàn)層間的信號(hào)傳遞前饋信號(hào)反饋信號(hào)
2/2/2023532.3.2網(wǎng)絡(luò)的分層結(jié)構(gòu)
單級(jí)網(wǎng)
簡(jiǎn)單單級(jí)網(wǎng)
2/2/202354簡(jiǎn)單單級(jí)網(wǎng)……x1x2…xno1o2omwnmw11w1mw2mwn1輸出層輸入層 2/2/202355簡(jiǎn)單單級(jí)網(wǎng)W=(wij)輸出層的第j個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為netj: netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=(net1,net2,…,netm)NET=XWO=F(NET)2/2/202356單級(jí)橫向反饋網(wǎng)輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V2/2/202357單級(jí)橫向反饋網(wǎng)
V=(vij)NET=XW+OVO=F(NET)時(shí)間參數(shù)——神經(jīng)元的狀態(tài)在主時(shí)鐘的控制下同步變化考慮X總加在網(wǎng)上的情況NET(t+1)=X(t)W+O(t)V O(t+1)=F(NET(t+1))O(0)=0考慮僅在t=0時(shí)加X的情況。
穩(wěn)定性判定2/2/202358多級(jí)網(wǎng)輸出層隱藏層輸入層o1o2om…x1x2xn………………2/2/202359層次劃分
信號(hào)只被允許從較低層流向較高層。層號(hào)確定層的高低:層號(hào)較小者,層次較低,層號(hào)較大者,層次較高。輸入層:被記作第0層。該層負(fù)責(zé)接收來自網(wǎng)絡(luò)外部的信息輸出層隱藏層輸入層o1o2om…x1x2xn………………2/2/202360第j層:第j-1層的直接后繼層(j>0),它直接接受第j-1層的輸出。輸出層:它是網(wǎng)絡(luò)的最后一層,具有該網(wǎng)絡(luò)的最大層號(hào),負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。隱藏層:除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號(hào),也不直接向外界發(fā)送信號(hào)輸出層隱藏層輸入層o1o2om…x1x2xn………………2/2/202361約定:輸出層的層號(hào)為該網(wǎng)絡(luò)的層數(shù):n層網(wǎng)絡(luò),或n級(jí)網(wǎng)絡(luò)。第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣,輸出層對(duì)應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后,在需要的時(shí)候,一般我們用W(j)表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2/2/202362多級(jí)網(wǎng)——h層網(wǎng)絡(luò)輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2/2/202363多級(jí)網(wǎng)非線性激活函數(shù)
F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))2/2/202364循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn…………………2/2/202365循環(huán)網(wǎng)
如果將輸出信號(hào)反饋到輸入端,就可構(gòu)成一個(gè)多層的循環(huán)網(wǎng)絡(luò)。輸入的原始信號(hào)被逐步地“加強(qiáng)”、被“修復(fù)”。大腦的短期記憶特征——看到的東西不是一下子就從腦海里消失的。穩(wěn)定:反饋信號(hào)會(huì)引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小,并且最后能消失。當(dāng)變化最后消失時(shí),網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。如果這種變化不能消失,則稱該網(wǎng)絡(luò)是不穩(wěn)定的。
2/2/2023662.4存儲(chǔ)與映射
空間模式(SpatialModel)時(shí)空模式(SpatialtemporalModel)空間模式三種存儲(chǔ)類型1、
RAM方式(RandomAccessMemory)隨機(jī)訪問方式是將地址映射到數(shù)據(jù)。2、
CAM方式(ContentAddressableMemory)內(nèi)容尋址方式是將數(shù)據(jù)映射到地址。3、
AM方式(AssociativeMemory)相聯(lián)存儲(chǔ)方式是將數(shù)據(jù)映射到數(shù)據(jù)。
2/2/2023672.4存儲(chǔ)與映射后續(xù)的兩種方式是人工神經(jīng)網(wǎng)絡(luò)的工作方式。在學(xué)習(xí)/訓(xùn)練期間,人工神經(jīng)網(wǎng)絡(luò)以CAM方式工作;權(quán)矩陣又被稱為網(wǎng)絡(luò)的長(zhǎng)期存儲(chǔ)(LongTermMemory,簡(jiǎn)記為L(zhǎng)TM)。網(wǎng)絡(luò)在正常工作階段是以AM方式工作的;神經(jīng)元的狀態(tài)表示的模式為短期存儲(chǔ)(ShortTermMemory,簡(jiǎn)記為STM)。
2/2/2023682.4存儲(chǔ)與映射自相聯(lián)(Auto-associative)映射:訓(xùn)練網(wǎng)絡(luò)的樣本集為向量集合為{A1,A2,…,An}在理想情況下,該網(wǎng)絡(luò)在完成訓(xùn)練后,其權(quán)矩陣存放的將是上面所給的向量集合。
2/2/2023692.4存儲(chǔ)與映射異相聯(lián)(Hetero-associative)映射
{(A1,B1),(A2,B2),…,(An,Bn)}該網(wǎng)絡(luò)在完成訓(xùn)練后,其權(quán)矩陣存放的將是上面所給的向量集合所蘊(yùn)含的對(duì)應(yīng)關(guān)系。當(dāng)輸入向量A不是樣本的第一的分量時(shí),樣本中不存在這樣的元素(Ak,Bk),使得 Ai≤Ak≤A或者A≤Ak≤Aj且此時(shí)有 Ai≤A≤Aj則向量B是Bi與Bj的插值。
2/2/2023702.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練
人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。1962年,Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理:人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的訓(xùn)練過程2/2/2023712.5.1無導(dǎo)師學(xué)習(xí)
無導(dǎo)師學(xué)習(xí)(UnsupervisedLearning)與無導(dǎo)師訓(xùn)練(UnsupervisedTraining)相對(duì)應(yīng)
抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性,并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。2/2/2023722.5.1無導(dǎo)師學(xué)習(xí)Hebb學(xué)習(xí)律、競(jìng)爭(zhēng)與協(xié)同(CompetitiveandCooperative)學(xué)習(xí)、隨機(jī)聯(lián)接系統(tǒng)(RandomlyConnectedLearning)等。Hebb算法[D.O.Hebb在1961年]的核心:當(dāng)兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)被加強(qiáng),否則被減弱。數(shù)學(xué)表達(dá)式表示:Wij(t+1)=Wij(t)+αoi(t)oj(t)2/2/2023732.5.2有導(dǎo)師學(xué)習(xí)
有導(dǎo)師學(xué)習(xí)(SupervisedLearning)與有導(dǎo)師訓(xùn)練(SupervisedTraining)相對(duì)應(yīng)。輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一個(gè)“訓(xùn)練對(duì)”。2/2/202374訓(xùn)練算法的主要步驟 1)
從樣本集合中取一個(gè)樣本(Ai,Bi);
2)
計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O;
3)
求D=Bi-O; 4)
根據(jù)D調(diào)整權(quán)矩陣W; 5)對(duì)每個(gè)樣本重復(fù)上述過程,直到對(duì)整個(gè)樣本集來說,誤差不超過規(guī)定范圍。2/2/202375Delta規(guī)則
Widrow和Hoff的寫法:Wij(t+1)=Wij(t)+α(yj-aj(t))oi(t)也可以寫成:Wij(t+1)=Wij(t)+?Wij(t)?Wij(t)=αδjoi(t)δj=yj-aj(t)2/2/202376Delta規(guī)則Grossberg的寫法為:?Wij(t)=αai(t)(oj(t)-Wij(t))更一般的Delta規(guī)則為:?Wij(t)=g(ai(t),yj,oj(t),Wij(t))2/2/202377第3章
感知器
主要內(nèi)容:感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展;線性可分問題與線性不可分問題;Hebb學(xué)習(xí)律;Delta規(guī)則;感知器的訓(xùn)練算法。重點(diǎn):感知器的結(jié)構(gòu)、表達(dá)能力、學(xué)習(xí)算法難點(diǎn):感知器的表達(dá)能力
2/2/202378第3章
感知器3.1感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展
3.2感知器的學(xué)習(xí)算法
3.2.1離散單輸出感知器訓(xùn)練算法
3.2.2離散多輸出感知器訓(xùn)練算法3.2.3連續(xù)多輸出感知器訓(xùn)練算法3.3線性不可分問題3.3.1異或(Exclusive–OR)問題
3.3.2線性不可分問題的克服
實(shí)現(xiàn)!問題的發(fā)現(xiàn)與解決!2/2/2023793.1感知器與ANN的早期發(fā)展McCulloch和Pitts1943年,發(fā)表第一個(gè)系統(tǒng)的ANN研究——閾值加權(quán)和(M-P)數(shù)學(xué)模型。1947年,開發(fā)出感知器。1949年,提出Hebb學(xué)習(xí)律。單輸出的感知器(M-P模型)x2x1oxn…2/2/2023803.1感知器與ANN的早期發(fā)展1962年,Rosenblatt宣布:人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它能表示的任何東西
o1多輸出感知器x1x2o2omxn…
………輸入層輸出層2/2/2023813.2感知器的學(xué)習(xí)算法
感知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí)感知器的訓(xùn)練算法的基本原理來源于著名的Hebb學(xué)習(xí)律基本思想:逐步地將樣本集中的樣本輸入到網(wǎng)絡(luò)中,根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣
2/2/2023823.2.1離散單輸出感知器訓(xùn)練算法
二值網(wǎng)絡(luò):自變量及其函數(shù)的值、向量分量的值只取0和1函數(shù)、向量。權(quán)向量:W=(w1,w2,…,wn)輸入向量:X=(x1,x2,…,xn)訓(xùn)練樣本集:{(X,Y)|Y為輸入向量X對(duì)應(yīng)的輸出}2/2/202383算法3-1離散單輸出感知器訓(xùn)練算法
1.初始化權(quán)向量W;2.重復(fù)下列過程,直到訓(xùn)練完成: 2.1對(duì)每個(gè)樣本(X,Y),重復(fù)如下過程: 2.1.1輸入X; 2.1.2計(jì)算o=F(XW); 2.1.3如果輸出不正確,則 當(dāng)o=0時(shí),取W=W+X, 當(dāng)o=1時(shí),取W=W-X2/2/2023843.2.2離散多輸出感知器訓(xùn)練算法
樣本集:{(X,Y)|Y為輸入向量X對(duì)應(yīng)的輸出}輸入向量:X=(x1,x2,…,xn)理想輸出向量:Y=(y1,y2,…,ym)激活函數(shù):F
權(quán)矩陣W=(wij)實(shí)際輸出向量:O=(o1,o2,…,om)o1多輸出感知器x1x2o2omxn…
………輸入層輸出層2/2/202385算法3-2離散多輸出感知器訓(xùn)練算法
1.初始化權(quán)矩陣W;2.重復(fù)下列過程,直到訓(xùn)練完成:2.1對(duì)每個(gè)樣本(X,Y),重復(fù)如下過程: 2.1.1輸入X; 2.1.2計(jì)算O=F(XW); 2.1.3forj=1tomdo執(zhí)行如下操作: ifoj≠yjthen ifoi=0thenfori=1ton wij=wij+xi elsefori=1tondo wij=wij-xi2/2/202386算法3-2離散多輸出感知器訓(xùn)練算法算法思想:將單輸出感知器的處理逐個(gè)地用于多輸出感知器輸出層的每一個(gè)神經(jīng)元的處理。第1步,權(quán)矩陣的初始化:一系列小偽隨機(jī)數(shù)。
2/2/202387算法3-2離散多輸出感知器訓(xùn)練算法第2步,循環(huán)控制。方法1:循環(huán)次數(shù)控制法:對(duì)樣本集執(zhí)行規(guī)定次數(shù)的迭代改進(jìn)——分階段迭代控制:設(shè)定一個(gè)基本的迭代次數(shù)N,每當(dāng)訓(xùn)練完成N次迭代后,就給出一個(gè)中間結(jié)果2/2/202388算法3-2離散多輸出感知器訓(xùn)練算法方法2:精度控制法:給定一個(gè)精度控制參數(shù)精度度量:實(shí)際輸出向量與理想輸出向量的對(duì)應(yīng)分量的差的絕對(duì)值之和;實(shí)際輸出向量與理想輸出向量的歐氏距離的和
“死循環(huán)”:網(wǎng)絡(luò)無法表示樣本所代表的問題2/2/202389算法3-2離散多輸出感知器訓(xùn)練算法方法3:綜合控制法:將這兩種方法結(jié)合起來使用
注意:精度參數(shù)的設(shè)置。根據(jù)實(shí)際問題選定;初始測(cè)試階段,精度要求低,測(cè)試完成后,再給出實(shí)際的精度要求。2/2/2023903.2.3連續(xù)多輸出感知器訓(xùn)練算法
用公式wij
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 青島理工大學(xué)《舞臺(tái)表演藝術(shù)與實(shí)踐(四)》2023-2024學(xué)年第一學(xué)期期末試卷
- 青島科技大學(xué)《電氣控制與PC技術(shù)》2023-2024學(xué)年第一學(xué)期期末試卷
- 事業(yè)單位財(cái)務(wù)管理中的道德與法律責(zé)任
- 數(shù)字電路時(shí)課程設(shè)計(jì)
- 成形車刀課程設(shè)計(jì)32號(hào)
- 華南理工大學(xué)課程設(shè)計(jì)
- 農(nóng)業(yè)休閑旅游示范區(qū)建設(shè)方案
- 幼兒園大班名著課程設(shè)計(jì)
- 2023年芯類產(chǎn)品項(xiàng)目籌資方案
- 心率系統(tǒng) 課程設(shè)計(jì)
- 高端天然礦泉水項(xiàng)目融資計(jì)劃書
- 2023年照明設(shè)計(jì)總監(jiān)年終總結(jié)及下一年計(jì)劃
- 2022年北京市西城區(qū)中考英語(yǔ)二模試卷(附答案詳解)
- 小品聰明的小明小明同學(xué)臺(tái)詞
- 小學(xué)數(shù)學(xué)五年級(jí)思維奧數(shù)寒假講義-第1講 分?jǐn)?shù)加減法(教師版)
- 《半山海景別墅》課件
- 肝硬化腹水診療指南(2023版)解讀
- 道德與法治三年級(jí)上冊(cè)第一單元教學(xué)設(shè)計(jì)(學(xué)習(xí)伴我成長(zhǎng))
- 河(湖)巡查記錄表
- 《資源加工學(xué)》課后習(xí)題答案x-
- 安全生產(chǎn)資格考試考務(wù)管理辦法(全套資料)
評(píng)論
0/150
提交評(píng)論