人工智能8神經(jīng)網(wǎng)絡(luò)課件

人工神經(jīng)網(wǎng)絡(luò)陳志華人工神經(jīng)網(wǎng)絡(luò)陳志華主要內(nèi)容人工神經(jīng)網(wǎng)絡(luò)概述生物神經(jīng)元人工神經(jīng)元主要內(nèi)容人工神經(jīng)網(wǎng)絡(luò)概述1.人工神經(jīng)網(wǎng)絡(luò)概述什么是人工神經(jīng)網(wǎng)絡(luò)？T.Koholen的定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。”

1.人工神經(jīng)網(wǎng)絡(luò)概述什么是人工神經(jīng)網(wǎng)絡(luò)？ANN研究的目的和意義(1)通過(guò)揭示物理平面與認(rèn)知平面之間的映射，了解它們相互聯(lián)系和相互作用的機(jī)理，從而揭示思維的本質(zhì)，探索智能本源。(2)爭(zhēng)取構(gòu)造出盡可能與人腦具有相似功能的計(jì)算機(jī)，即ANN計(jì)算機(jī)。(3)研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式識(shí)別、組合優(yōu)化和決策判斷等方面，取得傳統(tǒng)計(jì)算機(jī)所難以達(dá)到的效果。

ANN研究的目的和意義(1)通過(guò)揭示物理平面與認(rèn)知平面之間的神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)第一次熱潮(40-60年代未)1943年,美國(guó)心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(jī)(Perceptron）。(2)低潮(70-80年代初)神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)第一次熱潮(40-60年代未)(3)第二次熱潮

1982年，美國(guó)物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)。它解決問(wèn)題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程,這是符號(hào)邏輯處理方法所不具備的性質(zhì).1987年首屆國(guó)際ANN大會(huì)在圣地亞哥召開(kāi)，國(guó)際ANN聯(lián)合會(huì)成立，創(chuàng)辦了多種ANN國(guó)際刊物。1990年12月，北京召開(kāi)首屆學(xué)術(shù)會(huì)議。(3)第二次熱潮神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)一般而言,ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越,只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。對(duì)問(wèn)題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測(cè)等問(wèn)題,ANN往往是最有利的工具。對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問(wèn)題,表現(xiàn)出極大的靈活性和自適應(yīng)性。神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)一般而言,ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越,人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯(cuò)性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。在實(shí)際應(yīng)用中，80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)，目前主要應(yīng)用于函數(shù)逼近、模式識(shí)別、分類(lèi)和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯(cuò)性和優(yōu)良的非線人工神經(jīng)網(wǎng)絡(luò)研究的局限性（1）ANN研究受到腦科學(xué)研究成果的限制。（2）ANN缺少一個(gè)完整、成熟的理論體系。（3）ANN研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。（4）ANN與傳統(tǒng)技術(shù)的接口不成熟。

人工神經(jīng)網(wǎng)絡(luò)研究的局限性（1）ANN研究受到腦科學(xué)研究成果的2.生物神經(jīng)元神經(jīng)元是大腦處理信息的基本單元人腦大約由1011個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)神經(jīng)元以細(xì)胞體為主體，由許多向周?chē)由斓牟灰?guī)則樹(shù)枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹(shù)的枝干神經(jīng)元主要由細(xì)胞體、樹(shù)突、軸突和突觸組成2.生物神經(jīng)元神經(jīng)元是大腦處理信息的基本單元生物神經(jīng)元示意圖生物神經(jīng)元示意圖細(xì)胞體用于處理從其他神經(jīng)元傳遞過(guò)來(lái)的信息軸突相當(dāng)于神經(jīng)元的輸出電纜，利用尾部的神經(jīng)末梢和梢端的突觸輸出樹(shù)突神經(jīng)元的輸入端突觸神經(jīng)元之間相互連接的接口，即一個(gè)神經(jīng)元的神經(jīng)末梢與另一個(gè)神經(jīng)元的樹(shù)突相接觸的交接面細(xì)胞體突觸的信息處理神經(jīng)元各組成部分的功能來(lái)看，信息的處理與傳遞主要發(fā)生在突觸附近神經(jīng)元細(xì)胞體通過(guò)軸突將脈沖傳遞到突觸前膜當(dāng)脈沖幅度達(dá)到一定強(qiáng)度，即超過(guò)其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)突觸的信息處理神經(jīng)元各組成部分的功能來(lái)看，信息的處理與傳遞主生物神經(jīng)元傳遞信息的過(guò)程為多輸入、單輸出突觸有兩種類(lèi)型：興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位生物神經(jīng)元傳遞信息的過(guò)程為多輸入、單輸出突觸的傳遞功能與特點(diǎn)不可逆性脈沖只從突觸前傳到突觸后，不逆向傳遞對(duì)信息傳遞具有時(shí)延和不應(yīng)期，一般為0.3～lms相鄰的兩次輸入之間，需要一定的間隔；在此間隔內(nèi)，突觸不傳遞信息可塑性突觸傳遞信息的強(qiáng)度是可變的，即具有學(xué)習(xí)功能學(xué)習(xí)、遺忘或疲勞（飽和）效應(yīng)對(duì)應(yīng)突觸傳遞作用增強(qiáng)、減弱和飽和突觸的傳遞功能與特點(diǎn)不可逆性生物神經(jīng)網(wǎng)絡(luò)基本模型生物神經(jīng)網(wǎng)絡(luò)基本模型3.人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)它一般由大量神經(jīng)元組成每個(gè)神經(jīng)元只有一個(gè)輸出，可以連接到很多其他的神經(jīng)元每個(gè)神經(jīng)元的輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù)3.人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)M-P神經(jīng)元模型心理學(xué)家麥克洛奇(W.McCulloch)和數(shù)理邏輯學(xué)家皮茲(W.Pitts)于1943年首先提出了一個(gè)簡(jiǎn)化的神經(jīng)元模型,稱(chēng)為M-P模型

y……興奮性輸入e抑制性輸入iM-P神經(jīng)元模型y……興奮性輸入e抑制性輸入i說(shuō)明圓表示神經(jīng)元的細(xì)胞體；外部輸入包括興奮性輸入和抑制性輸入符號(hào)θ表示神經(jīng)元興奮的閾值說(shuō)明M-P模型的輸入輸出關(guān)系M-P模型的輸入輸出關(guān)系常用的神經(jīng)元結(jié)構(gòu)模型…常用的神經(jīng)元結(jié)構(gòu)模型…模型說(shuō)明模型說(shuō)明人工智能8神經(jīng)網(wǎng)絡(luò)閾值函數(shù)S型函數(shù)雙曲正切函數(shù)閾值函數(shù)S型函數(shù)雙曲正切函數(shù)4.人工神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)ANN可分為兩種相互連接網(wǎng)絡(luò)分層網(wǎng)絡(luò)單層兩層網(wǎng)絡(luò)結(jié)構(gòu)多層網(wǎng)絡(luò)結(jié)構(gòu)4.人工神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)ANN可分為兩種相互連接網(wǎng)絡(luò)典型的網(wǎng)絡(luò)結(jié)構(gòu)相互連接網(wǎng)絡(luò)典型的網(wǎng)絡(luò)結(jié)構(gòu)單層網(wǎng)絡(luò)單層網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)帶側(cè)抑制的多層網(wǎng)絡(luò)帶側(cè)抑制的多層網(wǎng)絡(luò)帶反饋的多層網(wǎng)絡(luò)帶反饋的多層網(wǎng)絡(luò)多層神經(jīng)網(wǎng)絡(luò)3層及3層以上的神經(jīng)網(wǎng)絡(luò)，稱(chēng)多層神經(jīng)網(wǎng)絡(luò)按照各層功能可分為輸入層中間層（隱層）：可包含多層輸出層多層神經(jīng)網(wǎng)絡(luò)3層及3層以上的神經(jīng)網(wǎng)絡(luò)，稱(chēng)多層神經(jīng)網(wǎng)絡(luò)人工智能8神經(jīng)網(wǎng)絡(luò)小結(jié)神經(jīng)網(wǎng)絡(luò)的定義神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)及其分類(lèi)小結(jié)神經(jīng)網(wǎng)絡(luò)的定義人工神經(jīng)網(wǎng)絡(luò)陳志華人工神經(jīng)網(wǎng)絡(luò)陳志華主要內(nèi)容人工神經(jīng)網(wǎng)絡(luò)概述生物神經(jīng)元人工神經(jīng)元主要內(nèi)容人工神經(jīng)網(wǎng)絡(luò)概述1.人工神經(jīng)網(wǎng)絡(luò)概述什么是人工神經(jīng)網(wǎng)絡(luò)？T.Koholen的定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。”

1.人工神經(jīng)網(wǎng)絡(luò)概述什么是人工神經(jīng)網(wǎng)絡(luò)？ANN研究的目的和意義(1)通過(guò)揭示物理平面與認(rèn)知平面之間的映射，了解它們相互聯(lián)系和相互作用的機(jī)理，從而揭示思維的本質(zhì)，探索智能本源。(2)爭(zhēng)取構(gòu)造出盡可能與人腦具有相似功能的計(jì)算機(jī)，即ANN計(jì)算機(jī)。(3)研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式識(shí)別、組合優(yōu)化和決策判斷等方面，取得傳統(tǒng)計(jì)算機(jī)所難以達(dá)到的效果。

ANN研究的目的和意義(1)通過(guò)揭示物理平面與認(rèn)知平面之間的神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)第一次熱潮(40-60年代未)1943年,美國(guó)心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(jī)(Perceptron）。(2)低潮(70-80年代初)神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)第一次熱潮(40-60年代未)(3)第二次熱潮

1982年，美國(guó)物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)。它解決問(wèn)題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程,這是符號(hào)邏輯處理方法所不具備的性質(zhì).1987年首屆國(guó)際ANN大會(huì)在圣地亞哥召開(kāi)，國(guó)際ANN聯(lián)合會(huì)成立，創(chuàng)辦了多種ANN國(guó)際刊物。1990年12月，北京召開(kāi)首屆學(xué)術(shù)會(huì)議。(3)第二次熱潮神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)一般而言,ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越,只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。對(duì)問(wèn)題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測(cè)等問(wèn)題,ANN往往是最有利的工具。對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問(wèn)題,表現(xiàn)出極大的靈活性和自適應(yīng)性。神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)一般而言,ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越,人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯(cuò)性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。在實(shí)際應(yīng)用中，80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)，目前主要應(yīng)用于函數(shù)逼近、模式識(shí)別、分類(lèi)和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯(cuò)性和優(yōu)良的非線人工神經(jīng)網(wǎng)絡(luò)研究的局限性（1）ANN研究受到腦科學(xué)研究成果的限制。（2）ANN缺少一個(gè)完整、成熟的理論體系。（3）ANN研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。（4）ANN與傳統(tǒng)技術(shù)的接口不成熟。

人工神經(jīng)網(wǎng)絡(luò)研究的局限性（1）ANN研究受到腦科學(xué)研究成果的2.生物神經(jīng)元神經(jīng)元是大腦處理信息的基本單元人腦大約由1011個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)神經(jīng)元以細(xì)胞體為主體，由許多向周?chē)由斓牟灰?guī)則樹(shù)枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹(shù)的枝干神經(jīng)元主要由細(xì)胞體、樹(shù)突、軸突和突觸組成2.生物神經(jīng)元神經(jīng)元是大腦處理信息的基本單元生物神經(jīng)元示意圖生物神經(jīng)元示意圖細(xì)胞體用于處理從其他神經(jīng)元傳遞過(guò)來(lái)的信息軸突相當(dāng)于神經(jīng)元的輸出電纜，利用尾部的神經(jīng)末梢和梢端的突觸輸出樹(shù)突神經(jīng)元的輸入端突觸神經(jīng)元之間相互連接的接口，即一個(gè)神經(jīng)元的神經(jīng)末梢與另一個(gè)神經(jīng)元的樹(shù)突相接觸的交接面細(xì)胞體突觸的信息處理神經(jīng)元各組成部分的功能來(lái)看，信息的處理與傳遞主要發(fā)生在突觸附近神經(jīng)元細(xì)胞體通過(guò)軸突將脈沖傳遞到突觸前膜當(dāng)脈沖幅度達(dá)到一定強(qiáng)度，即超過(guò)其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)突觸的信息處理神經(jīng)元各組成部分的功能來(lái)看，信息的處理與傳遞主生物神經(jīng)元傳遞信息的過(guò)程為多輸入、單輸出突觸有兩種類(lèi)型：興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位生物神經(jīng)元傳遞信息的過(guò)程為多輸入、單輸出突觸的傳遞功能與特點(diǎn)不可逆性脈沖只從突觸前傳到突觸后，不逆向傳遞對(duì)信息傳遞具有時(shí)延和不應(yīng)期，一般為0.3～lms相鄰的兩次輸入之間，需要一定的間隔；在此間隔內(nèi)，突觸不傳遞信息可塑性突觸傳遞信息的強(qiáng)度是可變的，即具有學(xué)習(xí)功能學(xué)習(xí)、遺忘或疲勞（飽和）效應(yīng)對(duì)應(yīng)突觸傳遞作用增強(qiáng)、減弱和飽和突觸的傳遞功能與特點(diǎn)不可逆性生物神經(jīng)網(wǎng)絡(luò)基本模型生物神經(jīng)網(wǎng)絡(luò)基本模型3.人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)它一般由大量神經(jīng)元組成每個(gè)神經(jīng)元只有一個(gè)輸出，可以連接到很多其他的神經(jīng)元每個(gè)神經(jīng)元的輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù)3.人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)M-P神經(jīng)元模型心理學(xué)家麥克洛奇(W.McCulloch)和數(shù)理邏輯學(xué)家皮茲(W.Pitts)于1943年首先提出了一個(gè)簡(jiǎn)化的神經(jīng)元模型,稱(chēng)為M-P模型

y……興奮性輸入e抑制性輸入iM-P神經(jīng)元模型y……興奮性輸入e抑制性輸入i說(shuō)明圓表示神經(jīng)元的細(xì)胞體；外部輸入包括興奮性輸入和抑制性輸入符號(hào)θ表示神經(jīng)元興奮的閾值說(shuō)明M-P模型的輸入輸出關(guān)系M-P模型的輸入輸出關(guān)系常用的神經(jīng)元結(jié)構(gòu)模型…常用的神經(jīng)元結(jié)構(gòu)模型…模型說(shuō)明模型說(shuō)明人工智能8神經(jīng)網(wǎng)絡(luò)閾值函數(shù)S型函數(shù)雙曲正切函數(shù)閾值函數(shù)S型函數(shù)雙曲正切函數(shù)4.人工神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)ANN可分為兩種相互連接網(wǎng)絡(luò)分層網(wǎng)