神經(jīng)網(wǎng)絡概述課件

神經(jīng)網(wǎng)絡技術概述人工神經(jīng)網(wǎng)絡概述神經(jīng)網(wǎng)絡技術概述人工神經(jīng)網(wǎng)絡概述1什么是人工神經(jīng)網(wǎng)絡？T.Koholen的定義：“人工神經(jīng)網(wǎng)絡是由具有適應性的簡單單元組成的廣泛并行互聯(lián)的網(wǎng)絡，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所做出的交互反應。”人工神經(jīng)網(wǎng)絡是針對生物神經(jīng)網(wǎng)絡提出的，來模擬人腦神經(jīng)系統(tǒng)的結構和功能，目前實現(xiàn)了對生物神經(jīng)網(wǎng)絡最低級的模擬。什么是人工神經(jīng)網(wǎng)絡？T.Koholen的定義：2人工神經(jīng)網(wǎng)絡研究的發(fā)展狀況探索時期（開始于20世紀40年代）1943年，神經(jīng)生理學家麥克拉奇（W.McCulloch)和數(shù)學家匹茨（Pitts）合作，應用反饋機制建立了世界上第一個神經(jīng)網(wǎng)絡模型，即人工神經(jīng)網(wǎng)絡（ANN）；1949年，赫布提出改變神經(jīng)元連接強度的Hebb學習規(guī)則；第一次熱潮時期（20世紀50年代末——20世紀60年代初）1958年，羅森布.拉特（F.Rosenblatt）設計制作了“感知機”，它是一種多層的神經(jīng)網(wǎng)絡，這項工作首次把ANN的理論探討付諸于工程實踐；1959年，威德羅（Widrow）等提出了自適應線性元件網(wǎng)絡，通過訓練后可用于抵消通信中的回波赫噪聲，在此基礎上發(fā)展了非線性自適應網(wǎng)絡；1960年，他和M.Hoff提出了LMS（LeastMeanSquare)最小方差算法的學習規(guī)則；人工神經(jīng)網(wǎng)絡研究的發(fā)展狀況3低潮時期（20世紀60年代末——20世紀70年代）1969年，明斯基等在《perceperon》中對感知器的功能得出了悲觀結論；1972年，T.Kohonen和J.Anderson分別提出能完成記憶的新型新網(wǎng)絡；1976年，S.Grossberg在自組織神經(jīng)網(wǎng)絡的研究；第二次熱潮（20世紀80年代至今）1982年，美國物理學家霍普菲爾德（J.Hopfield）陸續(xù)提出離散和連續(xù)的全互聯(lián)神經(jīng)網(wǎng)絡模型，并成功求解旅行商問題（TSP）,引起巨大反響；1986年，Rumelhart和McCelland領導的科學家小組提出了（B-P）算法；1987年，首屆國際ANN大會在圣地亞哥召開，國際ANN聯(lián)合會成立，創(chuàng)辦了多種ANN國際刊物；1990年，北京召開首屆學術會議。人工神經(jīng)網(wǎng)絡研究的發(fā)展狀況低潮時期（20世紀60年代末——20世紀70年代）人工神經(jīng)網(wǎng)4生物神經(jīng)元構成神經(jīng)系統(tǒng)的基本單元，簡稱神經(jīng)元。包括細胞體、樹突、軸突。軸突樹突突觸細胞體神經(jīng)末梢生物神經(jīng)元構成神經(jīng)系統(tǒng)的基本單元，簡稱神經(jīng)元。包括細胞體、樹5人工神經(jīng)元模型人工神經(jīng)元模型可以看成是由三種基本元素組成：（1）一組連接連接強度由各連接上的權值表示，權值可以取正值也可以取負值，權值為正表示激活，權值為負表示抑制；（2）一個加法器用于求輸入信號對神經(jīng)元的相應突觸加權之和；（3）一個激活函數(shù)用限制神經(jīng)元輸出振幅，激活函數(shù)也稱為壓制函數(shù)。因為他將輸入信號壓制（限制）到允許范圍之內(nèi)的一定值。人工神經(jīng)元模型人工神經(jīng)元模型可以看成是由三種基本元素組成：6人工神經(jīng)元模型輸入信號連接權求和閾值激活函數(shù)輸出圖中是神經(jīng)元的輸入，即是來自前級n哥神經(jīng)元的軸突的信息A，是i神經(jīng)元的閾值；分別是i神經(jīng)元對的權系數(shù)，也即突觸的傳遞效率；yi是i神經(jīng)元的輸出；f[.]是激勵函數(shù)它決定i神經(jīng)元受到輸入的共同刺激達到閾值時以何種方式輸出。

人工神經(jīng)元模型輸入信號連接權求和閾值激活函數(shù)輸出圖中是7人工神經(jīng)元模型由神經(jīng)元模型，可以得到神經(jīng)元的數(shù)學模型表達式：基本特性：（1）非線性（2）非局限性（3）非常定性（4）非凸性人工神經(jīng)元模型由神經(jīng)元模型，可以得到神經(jīng)元的數(shù)學模型表達式：8激活函數(shù)的主要形式一些典型的特性函數(shù)

閾值型 線性 s型激活函數(shù)的主要形式一些典型的特性函數(shù)9人工神經(jīng)網(wǎng)絡模型按神經(jīng)元的連接方式把人工神經(jīng)網(wǎng)絡分為不同的網(wǎng)絡模型：（1）分層網(wǎng)絡單純的前向網(wǎng)絡具有反饋的前向網(wǎng)絡層內(nèi)互聯(lián)的前向網(wǎng)絡（2）互聯(lián)網(wǎng)絡任意兩個神經(jīng)元之間可以互相連接?；ミB網(wǎng)絡一直處于動態(tài)變化之中，最后到達某種穩(wěn)定狀態(tài)，也可能進入周期振蕩。人工神經(jīng)網(wǎng)絡模型按神經(jīng)元的連接方式把人工神經(jīng)網(wǎng)絡分為不同的網(wǎng)10單純的前向網(wǎng)絡 神經(jīng)元分層排列(輸入層、隱層和輸出層)。各層之間的神經(jīng)元全互聯(lián)，各層內(nèi)的神經(jīng)元無連接。每一層只接受來自前一層的輸入。單純的前向網(wǎng)絡11從輸出層到輸入層有反饋的前向網(wǎng)絡從輸出層到輸入層有反饋的前向網(wǎng)絡12層內(nèi)有互連接的網(wǎng)絡

同一層的神經(jīng)元可以互相連接.層內(nèi)有互連接的網(wǎng)絡13人工神經(jīng)網(wǎng)絡模型按神經(jīng)網(wǎng)絡的學習方式把人工神經(jīng)網(wǎng)絡分為：（1）有導師學習有監(jiān)督的學習（2）無導師學習無監(jiān)督的學習（3）再勵學習

每次都給一個假定，自己去不斷縮小。人工神經(jīng)網(wǎng)絡模型按神經(jīng)網(wǎng)絡的學習方式把人工神經(jīng)網(wǎng)絡分為：14人工神經(jīng)網(wǎng)絡模型按算法分類：（1）Hebb學習算法（2）學習算法（3）隨機學習算法（4）競爭學習算法人工神經(jīng)網(wǎng)絡模型按算法分類：15人工神經(jīng)網(wǎng)絡模型Hebb學習算法由DonaldO.Hebb提出，如果兩個神經(jīng)元同時興奮則它們之間的突觸連接加強，如果神經(jīng)元i是神經(jīng)元j的上層結點，用，分別表示兩個神經(jīng)元之間的激活值表示兩個神經(jīng)元之間的連接權則Hebb學習規(guī)則可以表示為：式中表示學習效率Hebb學習規(guī)則是人工神經(jīng)網(wǎng)絡學習的基本規(guī)則幾乎所有神經(jīng)網(wǎng)絡的學習規(guī)則都可以看作Hebb學習規(guī)則的變形。人工神經(jīng)網(wǎng)絡模型Hebb學習算法式中表示學習效率16人工神經(jīng)網(wǎng)絡模型學習方法：誤差校正學習算法是根據(jù)神經(jīng)網(wǎng)絡的輸出誤差對神經(jīng)元的連接強度進行修正，屬于有導師學習。權值調(diào)整公式：調(diào)整目標是使下述公式所表達的誤差為最小人工神經(jīng)網(wǎng)絡模型學習方法：權值調(diào)整公式：調(diào)整目標是使17神經(jīng)網(wǎng)絡的特點不確定性，模糊及數(shù)學建模特點并行分布式處理非線性處理具有自學習功能神經(jīng)網(wǎng)絡可采用硬件實現(xiàn)神經(jīng)網(wǎng)絡的特點不確定性，模糊及數(shù)學建模特點18神經(jīng)網(wǎng)絡的應用領域模式識別（1）語音識別語音識別娃娃（2）圖像識別與理解

人臉檢測神經(jīng)網(wǎng)絡的應用領域模式識別19神經(jīng)網(wǎng)絡應用領域消費電子電氣產(chǎn)品中的應用（1）空調(diào)裝置的神經(jīng)網(wǎng)絡控制（2）全自動洗衣機的模糊神經(jīng)網(wǎng)絡控制神經(jīng)網(wǎng)絡應用領域消費電子電氣產(chǎn)品中的應用20神經(jīng)網(wǎng)絡的應用領域機器人智能故障檢測神經(jīng)網(wǎng)絡的應用領域機器人智能故障檢測21神經(jīng)網(wǎng)絡的應用領域醫(yī)學應用醫(yī)學圖像處理神