人工神經(jīng)網(wǎng)絡(luò)01緒論課件

1張凱副教授人工神經(jīng)網(wǎng)絡(luò)

(ArtificalNeuralNetwork)2第一章神經(jīng)網(wǎng)絡(luò)概述1.人工智能與神經(jīng)網(wǎng)絡(luò)2.人工神經(jīng)網(wǎng)絡(luò)的基本概念3.人工神經(jīng)網(wǎng)絡(luò)研究的歷史4.人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域人工智能人工智能（ArtificialIntelligence，簡(jiǎn)記為AI）最初在1956年被引入。它研究怎樣讓計(jì)算機(jī)模仿人腦從事推理、設(shè)計(jì)、思考、學(xué)習(xí)等思維活動(dòng)，以解決和處理較復(fù)雜的問(wèn)題。感覺(jué)器官神經(jīng)系統(tǒng)認(rèn)知效應(yīng)器官外部世界決策神經(jīng)系統(tǒng)思維器官典型的“智力生成過(guò)程”信息獲取信息傳遞信息認(rèn)知信息執(zhí)行外部世界信息再生信息傳遞認(rèn)識(shí)論信息知識(shí)智能策略狹義智能本體論信息認(rèn)識(shí)論信息智能策略智能行為人類智力的信息本質(zhì)人工智能71.感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力2.通過(guò)學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力3.理解知識(shí)，運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問(wèn)題的能力4.聯(lián)想、推理、判斷、決策的能力5.運(yùn)用語(yǔ)言進(jìn)行抽象、概括的能力6.發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力7.實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力8.預(yù)測(cè)、洞察事物發(fā)展變化的能力2023/4/89人工神經(jīng)網(wǎng)絡(luò)的提出聯(lián)想、推理、判斷、決策語(yǔ)言的能力這是智能的高級(jí)形式的又一方面。預(yù)測(cè)和認(rèn)識(shí)“主動(dòng)”和“被動(dòng)”之分。聯(lián)想、推理、判斷、決策的能力是“主動(dòng)”的基礎(chǔ)。運(yùn)用進(jìn)行抽象、概括的能力上述這5種能力，被認(rèn)為是人類智能最為基本的能力2023/4/810人工神經(jīng)網(wǎng)絡(luò)的提出作為5種能力綜合表現(xiàn)形式的3種能力發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力預(yù)測(cè)、洞察事物發(fā)展、變化的能力人工神經(jīng)網(wǎng)絡(luò)從以下四個(gè)方面去模擬人的智能行為1.物理結(jié)構(gòu)：人工神經(jīng)元將模擬生物神經(jīng)元的功能2.計(jì)算模擬：人腦的神經(jīng)元有局部計(jì)算和存儲(chǔ)的功能，通過(guò)連接構(gòu)成一個(gè)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中也有大量有局部處理能力的神經(jīng)元，也能夠?qū)⑿畔⑦M(jìn)行大規(guī)模并行處理3.存儲(chǔ)與操作：人腦和人工神經(jīng)網(wǎng)絡(luò)都是通過(guò)神經(jīng)元的連接強(qiáng)度來(lái)實(shí)現(xiàn)記憶存儲(chǔ)功能，同時(shí)為概括、類比、推廣提供有力的支持4.訓(xùn)練：同人腦一樣，人工神經(jīng)網(wǎng)絡(luò)將根據(jù)自己的結(jié)構(gòu)特性，使用不同的訓(xùn)練、學(xué)習(xí)過(guò)程，自動(dòng)從實(shí)踐中獲得相關(guān)知識(shí)人工智能生物神經(jīng)元及其網(wǎng)絡(luò)生物神經(jīng)元及其網(wǎng)絡(luò)人工神經(jīng)元及其網(wǎng)絡(luò)2023/4/817人工神經(jīng)網(wǎng)絡(luò)的概念定義(1)Hecht—Nielsen（1988年）人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無(wú)向訊號(hào)通道互連而成。這些處理單元（PE—ProcessingElement）具有局部?jī)?nèi)存，并可以完成局部操作。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，這個(gè)輸出可以根據(jù)需要被分枝成希望個(gè)數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號(hào)，即相應(yīng)處理單元的信號(hào)，信號(hào)的大小不因分支的多少而變化。人工神經(jīng)網(wǎng)絡(luò)的概念處理單元的輸出信號(hào)可以是任何需要的數(shù)學(xué)模型，每個(gè)處理單元中進(jìn)行的操作必須是完全局部的。也就是說(shuō)，它必須僅僅依賴于經(jīng)過(guò)輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部?jī)?nèi)存中的值。人工神經(jīng)網(wǎng)絡(luò)的概念定義(2)Rumellhart，McClelland，Hinton人工神經(jīng)網(wǎng)絡(luò)的概念1）

一組處理單元（PE或AN）；2）

處理單元的激活狀態(tài)（ai）；3）

每個(gè)處理單元的輸出函數(shù)（fi）；4）

處理單元之間的聯(lián)接模式；5）

傳遞規(guī)則（∑wijoi）；6）

把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來(lái)產(chǎn)生激

活值的激活規(guī)則（Fi）；7）

通過(guò)經(jīng)驗(yàn)修改聯(lián)接強(qiáng)度的學(xué)習(xí)規(guī)則；8）

系統(tǒng)運(yùn)行的環(huán)境（樣本集合）。2023/4/823人工神經(jīng)網(wǎng)絡(luò)的概念Simpson（1987年）人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖中含有可以通過(guò)改變權(quán)大小來(lái)存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。神經(jīng)網(wǎng)絡(luò)的計(jì)算能力有以下優(yōu)點(diǎn)：(1)大規(guī)模并行分布式結(jié)構(gòu)(2)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力以及由此而來(lái)的泛化能力。泛化是指神經(jīng)網(wǎng)絡(luò)對(duì)不在訓(xùn)練（學(xué)習(xí)）集中的數(shù)據(jù)可以產(chǎn)生合理的輸出25神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)非線性

人工神經(jīng)網(wǎng)絡(luò)可以是線性的也可以是非線性的，一個(gè)由非線性神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)自身是非線性的輸入輸出映射

每個(gè)樣本由一個(gè)惟一的輸入信號(hào)和相應(yīng)期望響應(yīng)組成。從一個(gè)訓(xùn)練集中隨機(jī)選取一個(gè)樣本給網(wǎng)絡(luò)，網(wǎng)絡(luò)就調(diào)整它的突觸權(quán)值（自由參數(shù)），以最小化期望響應(yīng)和由輸入信號(hào)以適當(dāng)?shù)慕y(tǒng)計(jì)準(zhǔn)則產(chǎn)生的實(shí)際響應(yīng)之間的偏差。神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力有教師學(xué)習(xí)事先有一批正確的輸入輸出數(shù)據(jù)對(duì)，將輸入數(shù)據(jù)加載到網(wǎng)絡(luò)輸入端后，把網(wǎng)絡(luò)的實(shí)際響應(yīng)輸出與正確（期望的）輸出相比較得到誤差。根據(jù)誤差的情況修正各連接權(quán)，使網(wǎng)絡(luò)朝著正確響應(yīng)的方向不斷變化下去。直到實(shí)際響應(yīng)的輸出與期望的輸出之差在允許范圍之內(nèi)，這種學(xué)習(xí)方法通稱為誤差修正算法。典型的有誤差反向傳播(BackPropagation,簡(jiǎn)寫為BP)算法。29無(wú)教師學(xué)習(xí)自組織學(xué)習(xí)：使網(wǎng)絡(luò)具有某種“記憶”能力，以至形成“條件反射”。當(dāng)曾經(jīng)學(xué)習(xí)過(guò)的或相似的刺激加入后，輸出端便按權(quán)矩陣產(chǎn)生相應(yīng)的輸出。如自組織映射(SelfOrganizationMapping,簡(jiǎn)寫為SOM)算法。無(wú)監(jiān)督競(jìng)爭(zhēng)學(xué)習(xí)：將處理單元?jiǎng)澐譃閹讉€(gè)競(jìng)爭(zhēng)塊。在不同的塊之間有刺激連接，而同一塊的不同節(jié)點(diǎn)之間有抑制連接，從而當(dāng)外界對(duì)不同塊的一個(gè)單元施加刺激后，將激活不同塊中互聯(lián)最強(qiáng)的一組單元，得到對(duì)該刺激的一個(gè)整體回憶。神經(jīng)網(wǎng)絡(luò)發(fā)展的四個(gè)時(shí)期啟蒙時(shí)期（1890～1969）低潮時(shí)期（1969～1982）復(fù)興時(shí)期（1982～1986）高潮時(shí)期（1987～）

31從19世紀(jì)末開始神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史，可以看出它與神經(jīng)生理學(xué)、數(shù)學(xué)、電子學(xué)、計(jì)算機(jī)科學(xué)以及人工智能學(xué)之間的聯(lián)系。人工神經(jīng)網(wǎng)絡(luò)的研究歷史1890年，美國(guó)心理學(xué)家WilliamJames發(fā)表了第一部詳細(xì)論述人腦結(jié)構(gòu)及功能的專著《心理學(xué)原理》(PrinciplesofPsychology)，對(duì)相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本原理做了開創(chuàng)性研究。32啟蒙時(shí)期33啟蒙時(shí)期1943，心理學(xué)家麥克洛奇(McCulloch)和數(shù)理邏輯學(xué)家皮茲(Pitts)從信息處理的角度出發(fā)，提出了形似神經(jīng)元的著名的閾值加權(quán)和模型，簡(jiǎn)稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會(huì)刊《BulletinofMethematicalBiophysics》，從此開創(chuàng)了神經(jīng)科學(xué)理論的新時(shí)代。啟蒙時(shí)期這種單個(gè)神經(jīng)元模型功能較弱，但連接而成的網(wǎng)絡(luò)可以實(shí)現(xiàn)邏輯運(yùn)算，包括三種基本運(yùn)算：邏輯乘法(又稱“與”運(yùn)算)、邏輯加法(又稱“或”運(yùn)算)和邏輯否定(又稱“非”運(yùn)算)。它開創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究，為各種神經(jīng)元模型及網(wǎng)絡(luò)模型的研究打下了基礎(chǔ)。2023/4/83435啟蒙時(shí)期1949年，心理學(xué)家赫布（Hebb）在《行為構(gòu)成》（OrganizationofBehavior）一書中提出了連接權(quán)訓(xùn)練算法，即Hebb算法。啟蒙時(shí)期Hebb提出神經(jīng)元之間突觸聯(lián)系強(qiáng)度可變的假設(shè)。他認(rèn)為學(xué)習(xí)過(guò)程是在突觸上發(fā)生的，突觸的聯(lián)系強(qiáng)度隨其前后神經(jīng)元的活動(dòng)而變化。根據(jù)這一假說(shuō)提出了改變神經(jīng)元連接強(qiáng)度的Hebb規(guī)則。它對(duì)以后人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及算法都有很大影響。Hebb的學(xué)習(xí)算法在不少人工神經(jīng)網(wǎng)絡(luò)中應(yīng)用。2023/4/836啟蒙時(shí)期1957年，羅森布蘭特(Rosenblatt)提出了感知器(Perception)的概念，試圖模擬人腦的感知學(xué)習(xí)能力。啟蒙時(shí)期Rosenblatt提出的感知器模型，第一次把神經(jīng)網(wǎng)絡(luò)的研究付諸工程實(shí)踐。這是一種學(xué)習(xí)和自組織的心理學(xué)模型，它基本上符合神經(jīng)生理學(xué)的知識(shí)，模型的學(xué)習(xí)環(huán)境是有噪聲的，網(wǎng)絡(luò)構(gòu)造中存在隨機(jī)連接，這符合動(dòng)物學(xué)習(xí)的自然環(huán)境。這是第一個(gè)真正的人工神經(jīng)網(wǎng)絡(luò)，他給出了兩層感知器的收斂定理。后來(lái)的一大類神經(jīng)網(wǎng)絡(luò)模型都是感知器模型的變形。啟蒙時(shí)期1962年，韋德羅（Widrow）和胡佛（Hoff）提出了自適應(yīng)線性單元（Adaline），這是一個(gè)連續(xù)取值的線性網(wǎng)絡(luò)。TedHoffBernardWidrow2023/4/840啟蒙時(shí)期MarvinMinsky，F(xiàn)rankRosenblatt，BernardWidrow等為代表人物，代表作是單級(jí)感知器(Perceptron)。可用電子線路模擬。人們樂(lè)觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。低潮時(shí)期1969年，人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)始人之一明斯基（Minsky）和佩珀特（Papert）發(fā)表了《感知器》一書，對(duì)感知器的能力表示了懷疑態(tài)度，使神經(jīng)網(wǎng)絡(luò)的研究受到了影響，神經(jīng)網(wǎng)絡(luò)的研究從此走向低谷。低潮時(shí)期60年代末，美國(guó)著名人工智能學(xué)者M(jìn)insky和Papart對(duì)Rosenblatt的工作進(jìn)行了深入的研究，寫了很有影響的《感知器》一書，指出感知器的處理能力有限，單層感知器只能作線性劃分，對(duì)于非線性或其他分類會(huì)遇到很大的困難。這時(shí)應(yīng)采用含有隱單元的多層神經(jīng)網(wǎng)絡(luò)，但引入隱單元后找到一個(gè)有效的學(xué)習(xí)算法非常困難，Minsky斷言這種感知器無(wú)科學(xué)研究?jī)r(jià)值可言，包括多層的也沒(méi)有什么意義。2023/4/842低潮時(shí)期匯編語(yǔ)言中xoreax,eax1

xor

1

=

0

因?yàn)?和1相同

0

xor

0

=

0

因?yàn)?和0相同

1

xor

0

=

1

因?yàn)?和0不同

0

xor

1

=

1

因?yàn)?和0不同初始化清0。速度比賦值快。低潮時(shí)期一、交換兩個(gè)整數(shù)的值而不必用第三個(gè)參數(shù)二、奇偶判斷三、格雷碼(Graycode)

格雷碼(Graycode)是由貝爾實(shí)驗(yàn)室的FrankGray在1940年提出，用于在PCM(PusleCodeModulation)方法傳送訊號(hào)時(shí)防止出錯(cuò)。四、奇數(shù)分頻電路低潮時(shí)期這個(gè)結(jié)論對(duì)當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)研究無(wú)疑是一個(gè)沉重的打擊，客觀上對(duì)神經(jīng)網(wǎng)絡(luò)的研究起了一定的消極作用。同時(shí)當(dāng)時(shí)的微電子技術(shù)也無(wú)法為神經(jīng)網(wǎng)絡(luò)的研究提供有效的技術(shù)保障。故在其后的十幾年內(nèi)，從事神經(jīng)網(wǎng)絡(luò)研究的人數(shù)及經(jīng)費(fèi)支持大大下降，神經(jīng)網(wǎng)絡(luò)研究處于低潮。2023/4/845低潮時(shí)期然而在此期間，仍有為數(shù)不多的學(xué)者致力于神經(jīng)網(wǎng)絡(luò)的研究，1969年Grossberg等提出了自適應(yīng)共振理論模型。1972年Kohenen提出自組織映射的理論模型，并稱神經(jīng)網(wǎng)絡(luò)為聯(lián)想存貯器。所有這些理論為神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展奠定了理論基礎(chǔ)。2023/4/84647低潮時(shí)期1969年，美國(guó)學(xué)者格諾斯博格（Grossberg）和卡普特爾（Carperter）提出了自適應(yīng)共振理論（ART）模型。低潮時(shí)期ART競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)見到一個(gè)人。如果我們認(rèn)識(shí)這個(gè)人，我們馬上就能知道認(rèn)識(shí)他！該怎么理解呢？其實(shí)，大腦已經(jīng)存在了這個(gè)人的面孔的印象，看到這個(gè)人，我們的大腦有個(gè)搜索對(duì)比的過(guò)程或者說(shuō)是回憶的過(guò)程，如果能夠搜索到（回憶），那么恭喜你，你認(rèn)出這個(gè)人了…相反，如果這個(gè)人是陌生人，大腦慘了，搜索了半天，沒(méi)有搜到（回憶），罷工了，不認(rèn)識(shí)，還是陌生人，不要生氣，大腦沒(méi)有罷工，它已默默將這個(gè)人的面孔存儲(chǔ)起來(lái)了！如果你后續(xù)跟這個(gè)人還有更多聯(lián)系的話，比如再見面或者一起說(shuō)話、交往，大腦對(duì)這個(gè)人的記憶會(huì)逐漸加強(qiáng)！實(shí)際生活中，我們會(huì)有對(duì)某個(gè)人好像在哪兒見過(guò)面的感覺(jué)，其實(shí)這種感覺(jué)正是大腦對(duì)這個(gè)人的記憶還不夠強(qiáng)烈所產(chǎn)生的！49低潮時(shí)期1972年，芬蘭學(xué)者克豪南（Kohonen）提出了自組織映射（SOM）理論。50低潮時(shí)期腦科學(xué)的研究表明，人類大腦皮層中的細(xì)胞群存在著廣泛地自組織現(xiàn)象。處于不同區(qū)域的神經(jīng)元具有不同的功能，它們具有不同特征的輸入信息模式，對(duì)不同感官輸入模式的輸入信號(hào)具有敏感性，從而形成大腦中各種不同的感知路徑。并且這種神經(jīng)元所具有的特性不是完全來(lái)自生物遺傳，而是很大程度上依賴于后天的學(xué)習(xí)和訓(xùn)練。低潮時(shí)期自組織映射網(wǎng)絡(luò)(Self-OrganizingFeatureMaps，SOM)就是根據(jù)這種理論而提出的，現(xiàn)在已成為應(yīng)用最為廣泛的自組織神經(jīng)網(wǎng)絡(luò)方法。Kohonen認(rèn)為處于空間中不同區(qū)域的神經(jīng)元有不同的分工,當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí),將會(huì)分為不同的反應(yīng)區(qū)域,各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征。這種網(wǎng)絡(luò)模擬大腦神經(jīng)系統(tǒng)自組織特征映射的功能。它是一種競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)，采用無(wú)監(jiān)督學(xué)習(xí)算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，此網(wǎng)絡(luò)廣泛地應(yīng)用于樣本分類、排序和樣本檢測(cè)方面。低潮時(shí)期1979年，福島邦彥（Fukushima）提出了認(rèn)知機(jī)（Necognitron）理論。認(rèn)知機(jī)(Neocognitron)由Fukushima于1972年提出，是迄今為止結(jié)構(gòu)最復(fù)雜的多層網(wǎng)絡(luò)，通過(guò)無(wú)導(dǎo)師學(xué)習(xí)，具有選擇性注意能力，對(duì)樣品的平穩(wěn)、旋轉(zhuǎn)不敏感。缺點(diǎn)是參數(shù)不易選擇。主要用于字符識(shí)別。低潮時(shí)期1977，神經(jīng)心理學(xué)家安德森（Anderson）提出了BSB(Brain-State-in-a-Box)模型。BSB模型是一種結(jié)點(diǎn)之間存在橫向連接和結(jié)點(diǎn)自反饋的單層網(wǎng)絡(luò)，可用最自聯(lián)想離鄰近分類器，并可存儲(chǔ)任何模擬向量模式。低潮時(shí)期1974，韋伯斯（Werbos）提出了BP理論，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)。復(fù)興時(shí)期1982年，美國(guó)加州工程學(xué)院物理學(xué)家Hopfield在美國(guó)科學(xué)院院刊上發(fā)表論文，提出了一個(gè)用于聯(lián)想記憶及優(yōu)化計(jì)算的新途徑—Hopfield模型,。復(fù)興時(shí)期1982年，J.Hopfield提出循環(huán)網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動(dòng)力學(xué)的關(guān)系用非線性動(dòng)力學(xué)的方法來(lái)研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上復(fù)興時(shí)期1984年對(duì)Hopfield模型進(jìn)行修改，提出了利用模擬電路的基礎(chǔ)元件構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)的硬件原理模型，為實(shí)現(xiàn)硬件奠定了基礎(chǔ)。1985年Hopfield和Tank提出用神經(jīng)網(wǎng)絡(luò)解決TSP組合優(yōu)化問(wèn)題。復(fù)興時(shí)期Hopfield模型的動(dòng)作原理是：

只要由神經(jīng)元興奮的算法和神經(jīng)元之間結(jié)合強(qiáng)度所決定的神經(jīng)網(wǎng)絡(luò)的狀態(tài)在適當(dāng)給定的興奮模式下尚未達(dá)到穩(wěn)定，那么該狀態(tài)就會(huì)一直變化下去，直到預(yù)先定義的一個(gè)必定減小的能量函數(shù)達(dá)到極小值時(shí)，狀態(tài)才達(dá)到穩(wěn)定而不再變化。58復(fù)興時(shí)期1984年，Hopfield設(shè)計(jì)并研制了他提出的神經(jīng)網(wǎng)絡(luò)模型的電路，并指出網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元可以用運(yùn)算放大器來(lái)實(shí)現(xiàn)。他同時(shí)進(jìn)行了神經(jīng)網(wǎng)絡(luò)應(yīng)用研究，成功解決了旅行商（TSP）問(wèn)題，引起世人震驚。這些成果使對(duì)神經(jīng)網(wǎng)絡(luò)的研究重新進(jìn)入了一個(gè)新的興盛時(shí)期。復(fù)興時(shí)期1985年，UCSD的Sejnowsky、Rumelhart、Hinton等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的Boltzmann機(jī)。復(fù)興時(shí)期1986年，Rumelhart和McClelland提出了多層網(wǎng)絡(luò)學(xué)習(xí)的誤差反向傳播學(xué)習(xí)算法（BP算法），較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題。歷史總結(jié)神經(jīng)網(wǎng)絡(luò)的研究已有50多年的歷史，它的發(fā)展道路是曲折的，幾經(jīng)興衰，目前已在許多領(lǐng)域得到了成功的應(yīng)用。2023/4/862歷史總結(jié)上世紀(jì)40年代興奮與抑制型神經(jīng)元模型（Mcculloch，Pitts）神經(jīng)元連接強(qiáng)度的修改規(guī)則（Hebb）上世紀(jì)50年代、60年代感知機(jī)（Rosenblatt）和自適應(yīng)性元件（Widrow）上世紀(jì)70年代Perceptron一書出版（Minsky和Papert）研究處于低潮上世紀(jì)80年代后Rumelhart，Mcclelland以及Hopfield等取得突破性進(jìn)展(1)開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。(2)充分發(fā)揮兩種技術(shù)各自的優(yōu)勢(shì)是一個(gè)有效方法(3)希望在理論上尋找新的突破，建立新的專用/通用模型和算法。(4)進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷地豐富對(duì)人腦的認(rèn)識(shí)。新時(shí)期研究熱點(diǎn)問(wèn)題理論方面支持向量機(jī)和核方法(SVMandKernelMethods)圖模型(GraphicalModels)

統(tǒng)計(jì)學(xué)習(xí)方法(StatisticalLearningAlgorithm)

高斯過(guò)程（GaussianProcess)

泛化問(wèn)題和模型選擇

(GeneralizationandModelSelection)

貝葉斯學(xué)習(xí)(BayesianLearning)

遞歸神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetworks)等65新時(shí)期研究熱點(diǎn)問(wèn)題66實(shí)際應(yīng)用

圖象處理(ImageProcessing)

人臉識(shí)別(FaceRecognition)

語(yǔ)音信號(hào)處理(VoiceProcessing)

時(shí)間序列分析(TimeSeriesAnalysis)

機(jī)器人控制(RobotControl)等

新時(shí)期研究熱點(diǎn)問(wèn)題國(guó)家自然科學(xué)基金資助2006年有42項(xiàng)研究課題2005年有40項(xiàng)研究課題2004年有32項(xiàng)研究課題2003年有26項(xiàng)研究課題2002年有26項(xiàng)研究課題2001年有18項(xiàng)研究課題2000年有20項(xiàng)研究課題1999年有22項(xiàng)研究課題67神經(jīng)網(wǎng)絡(luò)研究的比重逐年增加，已經(jīng)引起越來(lái)越多的國(guó)內(nèi)學(xué)者的關(guān)注，并成為信息學(xué)科的一個(gè)研究熱點(diǎn)和重點(diǎn)。

681988年，《NeuralNetworks》創(chuàng)刊1990年，《IEEETransactionsonNeuralNetworks》創(chuàng)刊

國(guó)際學(xué)術(shù)期刊《IEEETrans.onNeuralNetworks》《NeuralNetworks》主要內(nèi)容第一章：引論智能的概念、智能系統(tǒng)的特點(diǎn)及其描述基本模型，人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)、發(fā)展歷史、及其應(yīng)用領(lǐng)域。

主要內(nèi)容第二章神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu)生物神經(jīng)網(wǎng)絡(luò)模型，人工神經(jīng)元模型與典型的激勵(lì)函數(shù)；人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)涮匦?，存?chǔ)類型及映象。主要內(nèi)容第三章感知器感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展；單層網(wǎng)能解決線性可分問(wèn)題，而無(wú)法解決線形不可分問(wèn)題，要想解決這一問(wèn)題，必須引入多層網(wǎng)；Hebb學(xué)習(xí)律，Delta規(guī)則，感知器的訓(xùn)練算法主要內(nèi)容第四章線性神經(jīng)網(wǎng)絡(luò)和LMS算法自適應(yīng)線性神經(jīng)元ADALINE(AdaptiveLinearNeuron),它是線性神經(jīng)網(wǎng)絡(luò)最早的典型代表,其學(xué)習(xí)算法稱之為L(zhǎng)MS(leastmeansquares最小均方差)算法或Widrow-Hoff學(xué)習(xí)規(guī)則。主要內(nèi)容第五章BP神經(jīng)網(wǎng)絡(luò)BP（ＥrrorBackpropagation）網(wǎng)絡(luò)的構(gòu)成及其訓(xùn)練過(guò)程；隱藏層權(quán)調(diào)整方法的直觀分析，BP訓(xùn)練算法中使用的Delta規(guī)則（最速下降法）的理論推導(dǎo)；算法的收斂速度及其改進(jìn)討論；BP網(wǎng)絡(luò)中的幾個(gè)重要問(wèn)題。主要內(nèi)容第六章Hopfield網(wǎng)絡(luò)

離散型Hopfield網(wǎng)絡(luò)和連續(xù)性Hopfield網(wǎng)絡(luò)，Hopfield網(wǎng)絡(luò)是以電路方式提出的反饋網(wǎng)絡(luò)；可用于聯(lián)想記憶和優(yōu)化計(jì)算；用能量函數(shù)評(píng)價(jià)網(wǎng)絡(luò)的穩(wěn)定性；可用于求解組合優(yōu)化問(wèn)題(TSP問(wèn)題)。主要內(nèi)容第七章Boltzmann機(jī)網(wǎng)絡(luò)

Boltzmann機(jī)將模擬退火算法引入Hopfield網(wǎng)絡(luò)，可以利用模擬退火的優(yōu)點(diǎn)跳出局部最優(yōu)，而達(dá)到全局最優(yōu)化。學(xué)習(xí)以統(tǒng)計(jì)學(xué)和概率方法研究隨機(jī)神經(jīng)網(wǎng)絡(luò)。2023/4/878主要內(nèi)容第八章自適應(yīng)共振理論人腦的穩(wěn)定性與可塑性問(wèn)題；ART模型的總體結(jié)構(gòu)與分塊描述；比較層與識(shí)別層之間的兩個(gè)聯(lián)接矩陣的初始化，識(shí)別過(guò)程與比較過(guò)程，查找的實(shí)現(xiàn)；訓(xùn)練討論。神經(jīng)網(wǎng)絡(luò)的基本特征神經(jīng)網(wǎng)絡(luò)的特征歸納為結(jié)構(gòu)特征和能力特征。1.結(jié)構(gòu)特征——并行處理、分布式存儲(chǔ)與容錯(cuò)性2.能力特征——自學(xué)習(xí)、自組織與自適應(yīng)性792023/4/880學(xué)習(xí)能力(Learning)

人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為自相聯(lián)的網(wǎng)絡(luò)異相聯(lián)的網(wǎng)絡(luò)：它在接受樣本集合A時(shí)，可以抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系。——“抽象”功能。不同的人工神經(jīng)網(wǎng)絡(luò)模型，有不同的學(xué)習(xí)/訓(xùn)練算法2023/4/881基本特征的自動(dòng)提取由于其運(yùn)算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實(shí)現(xiàn)模式的自動(dòng)分類。泛化（Generalization）能力與抽象能力神經(jīng)網(wǎng)絡(luò)的基本功能聯(lián)想記憶82由于神經(jīng)網(wǎng)絡(luò)具有分布存儲(chǔ)信息和并行計(jì)算的性能，因此它具有對(duì)外界刺激信息和輸入模式進(jìn)行聯(lián)想記憶的能力。這種能力是通過(guò)神經(jīng)元之間的協(xié)同結(jié)構(gòu)以及信息處理的集體行為實(shí)現(xiàn)的。神經(jīng)網(wǎng)絡(luò)是通過(guò)其突觸權(quán)值和連接結(jié)構(gòu)來(lái)表達(dá)信息的記憶。這種分布式存儲(chǔ)使得神經(jīng)網(wǎng)絡(luò)能存儲(chǔ)較多的復(fù)雜模式和恢復(fù)記憶的信息。聯(lián)想記憶自聯(lián)想記憶網(wǎng)絡(luò)中預(yù)先存儲(chǔ)（記憶）多種模式信息，當(dāng)輸入某個(gè)已存儲(chǔ)模式的部分信息或帶有噪聲干擾的信息時(shí)，網(wǎng)絡(luò)能通過(guò)動(dòng)態(tài)聯(lián)想過(guò)程回憶起該模式的全部信息。神經(jīng)網(wǎng)絡(luò)的基本功能異聯(lián)想記憶網(wǎng)絡(luò)中預(yù)先存儲(chǔ)了多個(gè)模式對(duì)，每一對(duì)模式均由兩部分組成，當(dāng)輸入某個(gè)模式對(duì)的一部分時(shí)，即使輸入信息是殘缺的或迭加了噪聲，網(wǎng)絡(luò)也能回憶起與其對(duì)應(yīng)的另一部分。聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)的基本功能85神經(jīng)網(wǎng)絡(luò)的基本功能86神經(jīng)網(wǎng)絡(luò)的基本功能非線性映射

設(shè)計(jì)合理的神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)系統(tǒng)輸入輸出樣本對(duì)進(jìn)行自動(dòng)學(xué)習(xí)，能夠以任意精度逼近任意復(fù)雜的非線性映射。87神經(jīng)網(wǎng)絡(luò)的基本功能非線性映射88神經(jīng)網(wǎng)絡(luò)的基本功能分類與辨識(shí)

對(duì)輸入樣本的分類實(shí)際上是在樣本空間找出符合分類要求的分割區(qū)域，每個(gè)區(qū)域內(nèi)的樣本屬于一類。89神經(jīng)網(wǎng)絡(luò)的基本功能優(yōu)化計(jì)算

指在已知的約束條件下，尋找一組參數(shù)組合，使由該組合確定的目標(biāo)函數(shù)達(dá)到最小值。90神經(jīng)網(wǎng)絡(luò)的基本功能知識(shí)處理

神經(jīng)網(wǎng)絡(luò)的知識(shí)抽取能力使其能夠在沒(méi)有任何先驗(yàn)知識(shí)的情況下自動(dòng)從輸入數(shù)據(jù)中提取特征，發(fā)現(xiàn)規(guī)律，并通過(guò)自組織過(guò)程加強(qiáng)自身，構(gòu)建適合于表達(dá)所發(fā)現(xiàn)的規(guī)律。信號(hào)處理神經(jīng)網(wǎng)絡(luò)廣泛用于自適應(yīng)信號(hào)處理（自適應(yīng)濾波、時(shí)間序列預(yù)測(cè)等）和非線性信號(hào)處理（非線性濾波、非線性預(yù)測(cè)等）模式識(shí)別模式識(shí)別涉及模式的預(yù)處理變換和將一種模式映射轉(zhuǎn)為其他類型的操作。神經(jīng)網(wǎng)絡(luò)在這兩個(gè)方面都有許多成功的應(yīng)用，例如對(duì)圖象、語(yǔ)音的處理以及手寫字的識(shí)別等。ANN應(yīng)用領(lǐng)域—信息領(lǐng)域數(shù)據(jù)壓縮神經(jīng)網(wǎng)絡(luò)可以對(duì)待傳送（或待存儲(chǔ)）的數(shù)據(jù)提取模式特征，只將該特征傳出（或存儲(chǔ)），接收（或使用）時(shí)再將其轉(zhuǎn)換為原始模式。92ANN應(yīng)用領(lǐng)域—信息領(lǐng)域汽車工程神經(jīng)網(wǎng)絡(luò)已經(jīng)成功應(yīng)用于擋位選擇系統(tǒng)、剎車智能控制系統(tǒng)以及柴油機(jī)燃燒系統(tǒng)中。軍事工程神經(jīng)網(wǎng)絡(luò)已應(yīng)用于飛行器的跟蹤、水下潛艇位置分析、密碼學(xué)等軍事領(lǐng)域?；瘜W(xué)工程神經(jīng)網(wǎng)絡(luò)在制藥、生物化學(xué)、化學(xué)工程領(lǐng)域取得了不少成果。例如，譜分析、化學(xué)反應(yīng)生成物的鑒定等。ANN應(yīng)用領(lǐng)域—工程領(lǐng)域水利工程水力發(fā)電過(guò)程辨識(shí)和控制、河川徑流預(yù)測(cè)、河流水質(zhì)分類、水資源規(guī)劃等實(shí)際問(wèn)題中都有神經(jīng)網(wǎng)絡(luò)的應(yīng)用。94ANN應(yīng)用領(lǐng)域—工程領(lǐng)域檢測(cè)數(shù)據(jù)分析利用神經(jīng)網(wǎng)絡(luò)多道腦電棘波檢測(cè)系統(tǒng)可用來(lái)提供腦電棘波的實(shí)時(shí)檢測(cè)和癲癇的預(yù)報(bào)。生物活性研究用神經(jīng)網(wǎng)絡(luò)對(duì)生物學(xué)檢測(cè)數(shù)據(jù)進(jìn)行分析，可提取致癌物的分子結(jié)構(gòu)特征，建立分子結(jié)構(gòu)和致癌活性之間的定量關(guān)系，并對(duì)分子致癌活性進(jìn)行預(yù)報(bào)。醫(yī)學(xué)專家系統(tǒng)利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)功能、聯(lián)想記憶功能和分布式并行信息處理功能，來(lái)解決醫(yī)學(xué)專家系統(tǒng)中的知識(shí)表示、獲取和并行推理等問(wèn)題。ANN應(yīng)用領(lǐng)域—醫(yī)學(xué)領(lǐng)域信貸分析神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)系統(tǒng)將公司貸款申請(qǐng)表中的關(guān)鍵數(shù)據(jù)編碼為輸入向量，將實(shí)際的信用情況作為輸出評(píng)價(jià)，用數(shù)以千計(jì)的歷史數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練后，可給出準(zhǔn)確的評(píng)價(jià)結(jié)果。市場(chǎng)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)的市場(chǎng)預(yù)測(cè)已經(jīng)廣泛應(yīng)用于股票和期貨價(jià)格的預(yù)測(cè)中。ANN應(yīng)用領(lǐng)域—經(jīng)濟(jì)學(xué)領(lǐng)域自動(dòng)控制是上世紀(jì)中形成和發(fā)展起來(lái)的一門新興學(xué)科，它是一門涉及到諸如數(shù)學(xué)、計(jì)算機(jī)、信息、電工、電子等眾多領(lǐng)域的交叉學(xué)科。它的應(yīng)用和影響，已經(jīng)遍及很多的技術(shù)和社會(huì)科學(xué)領(lǐng)域。在自動(dòng)控制發(fā)展的過(guò)程中，計(jì)算機(jī)科學(xué)一直對(duì)它產(chǎn)生著巨大的影響。隨著科學(xué)技術(shù)的發(fā)展，對(duì)控制系統(tǒng)智能化的要求也越來(lái)越高。97人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制神經(jīng)網(wǎng)絡(luò)的應(yīng)用已經(jīng)滲透到自動(dòng)化控制領(lǐng)域的各個(gè)方面，包括系統(tǒng)辨識(shí)、系統(tǒng)控制、優(yōu)化算法以及控制系統(tǒng)的故障診斷與容錯(cuò)控制等。系統(tǒng)辨識(shí)傳統(tǒng)的辨識(shí)方法，對(duì)于一般的非線性系統(tǒng)的辨識(shí)是很困難的，而神經(jīng)網(wǎng)絡(luò)卻為此提供了一個(gè)有力的工具。與傳統(tǒng)的基于算法的辨識(shí)方法相比，神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)具有如下特點(diǎn)：

(1)由于神經(jīng)網(wǎng)絡(luò)可以任意精度逼近非線性函數(shù)，故它可以為非線性系統(tǒng)的辨識(shí)提供一個(gè)通用的模式人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制

(2)神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)是非算法式的，神經(jīng)網(wǎng)絡(luò)本身就是辨識(shí)模型，其可調(diào)參數(shù)反映在網(wǎng)絡(luò)內(nèi)部的連接權(quán)上。不需要建立以實(shí)際系統(tǒng)數(shù)學(xué)模型為基礎(chǔ)的辨識(shí)格式，故可以省去辨識(shí)前對(duì)系統(tǒng)建模這一步驟。

(3)神經(jīng)網(wǎng)絡(luò)作為實(shí)際系統(tǒng)的辨識(shí)模型，實(shí)際上也是系統(tǒng)的一個(gè)物理實(shí)現(xiàn)，可應(yīng)用于在線控制。99人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制神經(jīng)控制器控制器在實(shí)施控制系統(tǒng)中起著大腦的作用神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的等智能特點(diǎn)，非常適合做控制器。對(duì)于復(fù)雜的非線性系統(tǒng)，神經(jīng)控制器所能達(dá)到的控制效果往往明顯好于常規(guī)控制器。故障診斷與容錯(cuò)控制神經(jīng)網(wǎng)絡(luò)故障診斷與容錯(cuò)控制有兩種途徑：一種是在傳統(tǒng)的方法中使用神經(jīng)網(wǎng)絡(luò)；另一種是用神經(jīng)網(wǎng)絡(luò)直接構(gòu)成具有容錯(cuò)能力的控制器。人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制《機(jī)器學(xué)習(xí)》

T.M.Mitchell駕駛汽車的人工神經(jīng)網(wǎng)絡(luò)人臉識(shí)別的人工神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別的人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的收斂性和穩(wěn)定性問(wèn)題在逼近非線性函數(shù)問(wèn)題上，神經(jīng)網(wǎng)絡(luò)的現(xiàn)有理論只解決了存在性問(wèn)題神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度一般比較慢，為滿足實(shí)時(shí)控制的需要，必須予以解決對(duì)于控制器和辨識(shí)器，如何選擇合適的神經(jīng)網(wǎng)絡(luò)模型與確定的結(jié)構(gòu)，尚無(wú)理論指導(dǎo)難點(diǎn)問(wèn)題105參考書目參考書目107參考書目SimonHaykin著,葉世偉,史忠植譯.神經(jīng)網(wǎng)絡(luò)原理.機(jī)械工業(yè)出版社,2004GeorgeF.Luger著,史忠植等譯.人工智能——復(fù)雜問(wèn)題求解的結(jié)構(gòu)和策略.機(jī)械工業(yè)出版社,中信出版社蔣宗禮.人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論.高等教育出版社，2001胡守仁，余少博，戴葵.神經(jīng)網(wǎng)絡(luò)導(dǎo)論.國(guó)防科技大學(xué)出版社，1993韓力群.人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用.化學(xué)工業(yè)出版社，2002王旭，王宏，王文輝.人工神經(jīng)元網(wǎng)絡(luò)原理與應(yīng)用.東北大學(xué)出版社，2000徐麗娜.神經(jīng)網(wǎng)絡(luò)控制.哈爾濱工業(yè)大學(xué)出版社，1999閻平凡，張長(zhǎng)水.人工神經(jīng)網(wǎng)絡(luò)與模擬進(jìn)化計(jì)算.清華大學(xué)出版社，著名學(xué)者108Prof.MichaelI.Jordan美國(guó)加州大學(xué)伯克利分校獲加州大學(xué)博士學(xué)位研究方向:圖模型、變分方法、機(jī)器學(xué)習(xí)等。曾在麻省理工學(xué)院工作11年。已發(fā)表200多篇科技論文。國(guó)際上許多神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)方面的專家都曾師從Jordan教授，包括香港中文大學(xué)的徐雷教授。著名學(xué)者109Prof.BernhardScholkopf德國(guó)MaxPlanck生物控制論研究院1997年獲柏林科技大學(xué)博士學(xué)位

研究方向:機(jī)器學(xué)習(xí)、感知器、支持向量機(jī)和核方法。Scholkopf教授是國(guó)際著名雜志JournalofMachineLearningResearch、IEEETrans.OnPatternAnalysisandMachineIntelligence,和InternationalJournalofComputerVision編輯委員會(huì)成員。

著名學(xué)者110Prof.LawrenceSaul加州大學(xué)圣地牙哥分校1994年獲麻省理工學(xué)院博士學(xué)位研究方向：機(jī)器學(xué)習(xí)、模式識(shí)別、神經(jīng)網(wǎng)絡(luò)、語(yǔ)音處理等。Saul教授的高維數(shù)據(jù)的分析方法和可視化、非線性維數(shù)化簡(jiǎn)已被應(yīng)用于很多實(shí)際科學(xué)和工程領(lǐng)域。他發(fā)表文章的引用率已經(jīng)進(jìn)入計(jì)算機(jī)科學(xué)的前1%，另外他也是著名國(guó)際期刊JournalofMachineLearningResearch編委會(huì)成員和發(fā)起人之一。著名學(xué)者111Prof.YoshuaBengio加拿大蒙特利爾大學(xué)1991年獲加拿大麥基爾大學(xué)博士學(xué)位研究方向:多層感知機(jī)、核方法、遞歸神經(jīng)網(wǎng)絡(luò)等

Bengio教授是