神經(jīng)網(wǎng)絡(luò)概述課件

1、神經(jīng)網(wǎng)絡(luò)技術(shù)概述人工神經(jīng)網(wǎng)絡(luò)概述什么是人工神經(jīng)網(wǎng)絡(luò)？T. Koholen 的定義： “人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互聯(lián)的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所做出的交互反應(yīng)?！?人工神經(jīng)網(wǎng)絡(luò)是針對生物神經(jīng)網(wǎng)絡(luò)提出的，來模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，目前實現(xiàn)了對生物神經(jīng)網(wǎng)絡(luò)最低級的模擬。人工神經(jīng)網(wǎng)絡(luò)研究的發(fā)展?fàn)顩r探索時期（開始于20世紀(jì)40年代） 1943年，神經(jīng)生理學(xué)家麥克拉奇（W.McCulloch)和數(shù)學(xué)家匹茨（Pitts）合作，應(yīng)用反饋機制建立了世界上第一個神經(jīng)網(wǎng)絡(luò)模型，即人工神經(jīng)網(wǎng)絡(luò)（ANN）； 1949年，赫布提出改變神經(jīng)元連接強度的Hebb學(xué)習(xí)規(guī)則

2、；第一次熱潮時期（20世紀(jì)50年代末20世紀(jì)60年代初） 1958年，羅森布.拉特（F. Rosenblatt）設(shè)計制作了“感知機”，它是一種多層的神經(jīng)網(wǎng)絡(luò)，這項工作首次把ANN的理論探討付諸于工程實踐； 1959年，威德羅（Widrow）等提出了自適應(yīng)線性元件網(wǎng)絡(luò)，通過訓(xùn)練后可用于抵消通信中的回波赫噪聲，在此基礎(chǔ)上發(fā)展了非線性自適應(yīng)網(wǎng)絡(luò)； 1960年，他和M.Hoff提出了LMS（Least Mean Square)最小方差算法的學(xué)習(xí)規(guī)則； 低潮時期（20世紀(jì)60年代末20世紀(jì)70年代） 1969年，明斯基等在perceperon中對感知器的功能得出了悲觀結(jié)論； 1972年，T.Kohone

3、n和J.Anderson分別提出能完成記憶的新型新網(wǎng)絡(luò)； 1976年，S.Grossberg在自組織神經(jīng)網(wǎng)絡(luò)的研究；第二次熱潮（20世紀(jì)80年代至今） 1982年，美國物理學(xué)家霍普菲爾德（J.Hopfield）陸續(xù)提出離散和連續(xù)的全互聯(lián)神經(jīng)網(wǎng)絡(luò)模型，并成功求解旅行商問題（TSP）,引起巨大反響； 1986年，Rumelhart和McCelland領(lǐng)導(dǎo)的科學(xué)家小組提出了（B-P）算法； 1987年，首屆國際ANN大會在圣地亞哥召開，國際ANN聯(lián)合會成立，創(chuàng)辦了多種ANN國際刊物； 1990年，北京召開首屆學(xué)術(shù)會議。人工神經(jīng)網(wǎng)絡(luò)研究的發(fā)展?fàn)顩r生物神經(jīng)元構(gòu)成神經(jīng)系統(tǒng)的基本單元，簡稱神經(jīng)元。包括細胞體

4、、樹突、軸突。軸突樹突突觸細胞體神經(jīng)末梢人工神經(jīng)元模型輸入信號連接權(quán)求和閾值激活函數(shù)輸出圖中是 神經(jīng)元的輸入，即是來自前級n哥神經(jīng)元的軸突的信息A，是i神經(jīng)元的閾值； 分別是i神經(jīng)元對 的權(quán)系數(shù)，也即突觸的傳遞效率；yi是i神經(jīng)元的輸出；f.是激勵函數(shù)它決定i神經(jīng)元受到輸入 的共同刺激達到閾值時以何種方式輸出。 人工神經(jīng)元模型由神經(jīng)元模型，可以得到神經(jīng)元的數(shù)學(xué)模型表達式：基本特性： （1）非線性 （2）非局限性 （3）非常定性 （4）非凸性人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)元的連接方式把人工神經(jīng)網(wǎng)絡(luò)分為不同的網(wǎng)絡(luò)模型：（1）分層網(wǎng)絡(luò) 單純的前向網(wǎng)絡(luò) 具有反饋的前向網(wǎng)絡(luò) 層內(nèi)互聯(lián)的前向網(wǎng)絡(luò)（2）互聯(lián)網(wǎng)絡(luò) 任

5、意兩個神經(jīng)元之間可以互相連接?；ミB網(wǎng)絡(luò)一直處于動態(tài)變化之中，最后到達某種穩(wěn)定狀態(tài)，也可能進入周期振蕩。單純的前向網(wǎng)絡(luò)神經(jīng)元分層排列(輸入層、隱層和輸出層)。各層之間的神經(jīng)元全互聯(lián)，各層內(nèi)的神經(jīng)元無連接。每一層只接受來自前一層的輸入。從輸出層到輸入層有反饋的前向網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式把人工神經(jīng)網(wǎng)絡(luò)分為：（1）有導(dǎo)師學(xué)習(xí) 有監(jiān)督的學(xué)習(xí)（2）無導(dǎo)師學(xué)習(xí) 無監(jiān)督的學(xué)習(xí)（3）再勵學(xué)習(xí) 每次都給一個假定，自己去不斷縮小。人工神經(jīng)網(wǎng)絡(luò)模型按算法分類：（1） Hebb學(xué)習(xí)算法（2） 學(xué)習(xí)算法（3）隨機學(xué)習(xí)算法（4）競爭學(xué)習(xí)算法人工神經(jīng)網(wǎng)絡(luò)模型 學(xué)習(xí)方法： 誤差校正學(xué)習(xí)算法是根據(jù)神經(jīng)網(wǎng)絡(luò)的輸出誤差對神經(jīng)元的連接強度進行修正，屬于有導(dǎo)師學(xué)習(xí)。權(quán)值調(diào)整公式：調(diào)整目標(biāo)是使下述公式所表達的誤差為最小神經(jīng)網(wǎng)絡(luò)的特點不確定性，模糊及數(shù)學(xué)建模特點并行分布式處理非線性處理具有自學(xué)習(xí)功能神經(jīng)網(wǎng)絡(luò)可采用硬件實現(xiàn)神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域模式識別（1）語音識別 語音識別娃娃（2）圖像識別與理解 人臉檢測神經(jīng)網(wǎng)絡(luò)應(yīng)用領(lǐng)