神經(jīng)網(wǎng)絡(luò)(第1章--緒論)

1、人工神經(jīng)網(wǎng)絡(luò)參考書目p 人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)與應(yīng)用，第2版，韓力群，化學(xué)工業(yè)出版社.p 面向MATLAB工具箱的神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用，第3版，叢爽，中國(guó)科學(xué)技術(shù)大學(xué)出版社.2022-7-22SZU第一章 緒論p 人腦與電腦p 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史p 神經(jīng)網(wǎng)絡(luò)的基本特征與功能p 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2022-7-23SZU1.1 人腦與電腦p 人腦強(qiáng)大or電腦強(qiáng)大？2022-7-24SZU 1997年5月11日，早晨4時(shí)50分(北京時(shí)間)，一臺(tái)名為“深藍(lán)”的超級(jí)電腦將棋盤上的一個(gè)兵走到C4位置時(shí)，人類有史以來(lái)最偉大的國(guó)際象棋名家卡斯帕羅夫不得不沮喪地承認(rèn)自己輸了。世紀(jì)末的一場(chǎng)人機(jī)大戰(zhàn)終于以計(jì)算機(jī)的

2、微弱優(yōu)勢(shì)取勝。這場(chǎng)比賽是繼去年卡斯帕羅夫與IBM的超級(jí)電腦“深藍(lán)”比賽獲勝后，與改進(jìn)型的“深藍(lán)”的第二次較量。 比賽于5月3日-11日在紐約的公平大廈舉行。整個(gè)比賽引起了全世界傳媒的巨大關(guān)注。比賽吸引人們注視目光的原因之一是世界象棋冠軍卡斯帕羅夫賽前充滿信心，發(fā)誓要為捍衛(wèi)人類之優(yōu)于機(jī)器的尊嚴(yán)而戰(zhàn)。然而，最后的結(jié)果卻是他所捍衛(wèi)的人類尊嚴(yán)在一臺(tái)冷漠的“藍(lán)色巨人”面前被無(wú)情地?fù)魸⒘?。雖然人類的驕傲可以把這場(chǎng)比賽的結(jié)果仍然歸咎于人類的勝利，畢竟“深藍(lán)”自己也是人類所研制出來(lái)的一臺(tái)計(jì)算機(jī)而已，但人類所創(chuàng)造的工具擊潰了人類，并且是在人類引以為驕傲的智慧領(lǐng)域，這在一定程度上帶來(lái)了恐懼，并由此引發(fā)了一場(chǎng)有關(guān)人

3、類創(chuàng)造物與自身關(guān)系的深層討論。 “深藍(lán)”是IBM公司生產(chǎn)的世界上第一臺(tái)超級(jí)國(guó)際象棋電腦。是一臺(tái)RS6000SP2超級(jí)并行處理計(jì)算機(jī)，計(jì)算能力驚人，平均每秒可計(jì)算棋局變化2OO萬(wàn)步。1.1 人腦與電腦p 人腦強(qiáng)大or電腦強(qiáng)大？2022-7-25SZU1.1 人腦與電腦p 錢學(xué)森先生認(rèn)為：人腦的思維有邏輯思維、形象思維和靈感思維三種基本方式。l 迄今為止，計(jì)算機(jī)在解決與形象思維和靈感思維相關(guān)的問(wèn)題時(shí)，顯得無(wú)能為力。如人臉識(shí)別、騎自行車、打籃球等涉及聯(lián)想或經(jīng)驗(yàn)的問(wèn)題，人腦可以從中體會(huì)那些只可意會(huì)不可言傳的直覺(jué)和經(jīng)驗(yàn)，可以根據(jù)情況靈活掌握處理問(wèn)題的規(guī)則，從而輕而易舉地完成此類任務(wù)，而計(jì)算機(jī)在這方面顯得

4、十分笨拙。2022-7-26SZU1.1 人腦與電腦p 人腦與電腦信息處理能力的比較l 記憶與聯(lián)想能力l 學(xué)習(xí)與認(rèn)知能力l 信息加工能力l 信息綜合能力l 信息處理速度2022-7-27SZU1.1 人腦與電腦p 人腦與電腦信息處理能力的比較l 記憶與聯(lián)想能力2022-7-28SZU1.1 人腦與電腦p 人腦與電腦信息處理能力的比較l 學(xué)習(xí)與認(rèn)知能力2022-7-29SZU人腦具有從實(shí)踐中不斷抽取知識(shí)、總結(jié)經(jīng)驗(yàn)的能力。人腦對(duì)經(jīng)驗(yàn)作出反應(yīng)從而改變行為的能力就是學(xué)習(xí)與認(rèn)知能力。計(jì)算機(jī)所完成的所有工作都是嚴(yán)格按照事先編制的程序進(jìn)行的，因此它的功能和結(jié)果都是確定不變的，執(zhí)行同一程序所得到的永遠(yuǎn)是同一個(gè)

5、結(jié)果。它不可能在不斷重復(fù)的過(guò)程中總結(jié)或積累任何經(jīng)驗(yàn)，因此不會(huì)主動(dòng)提高自己解決問(wèn)題的能力。1.1 人腦與電腦p 人腦與電腦信息處理能力的比較l 信息加工能力2022-7-210SZU人腦具有復(fù)雜的回憶、聯(lián)想和想象等非邏輯加工功能，因而人的認(rèn)識(shí)可以逾越現(xiàn)實(shí)條件下邏輯所無(wú)法越過(guò)的認(rèn)識(shí)屏障，產(chǎn)生諸如直覺(jué)判斷或靈感一類的思維活動(dòng)。計(jì)算機(jī)沒(méi)有非邏輯加工功能，因而不能逾越有限條件下邏輯的認(rèn)識(shí)屏障。計(jì)算機(jī)的邏輯加工能力也僅限于二值邏輯，缺乏辯證邏輯能力。1.1 人腦與電腦p 人腦與電腦信息處理能力的比較l 信息綜合能力2022-7-211SZU人腦善于對(duì)客觀世界千變?nèi)f化的信息和知識(shí)進(jìn)行歸納、類比和概括，綜合起

6、來(lái)解決問(wèn)題。人腦的這種綜合判斷過(guò)程往往是一種對(duì)信息的邏輯加工和非邏輯加工相結(jié)合的過(guò)程。它不僅遵循確定性的邏輯思維原則，而且可以經(jīng)驗(yàn)地、模糊地甚至是直覺(jué)地作出一個(gè)判斷。大腦所具有的這種綜合判斷能力是人腦創(chuàng)造力的基礎(chǔ)。計(jì)算機(jī)的信息綜合能力取決于它所執(zhí)行的程序，由于不存在能完全描述人的經(jīng)驗(yàn)和直覺(jué)地?cái)?shù)學(xué)模型，因此計(jì)算機(jī)難以達(dá)到人腦所具有的融會(huì)貫通的信息綜合能力。1.1 人腦與電腦p 人腦與電腦信息處理能力的比較l 信息處理速度2022-7-212SZU人腦的信息處理是建立在大規(guī)模并行處理基礎(chǔ)上的，這種并行處理所能夠?qū)崿F(xiàn)的高度復(fù)雜的信息處理能力遠(yuǎn)非傳統(tǒng)的以空間復(fù)雜性代替時(shí)間復(fù)雜性的多處理機(jī)并行處理系統(tǒng)所

7、能達(dá)到的。神經(jīng)細(xì)胞間信息的傳遞速度只能達(dá)到毫秒級(jí)，而現(xiàn)代計(jì)算機(jī)中電子元件的計(jì)算速度是納秒級(jí)。似乎計(jì)算機(jī)的處理速度遠(yuǎn)高于人腦，事實(shí)上在數(shù)值處理等只需要串行算法就能解決的應(yīng)用方面確實(shí)如此。然而在處理文字、圖像、聲音等類信息的能力與速度卻遠(yuǎn)不如人腦。1.1 人腦與電腦p 人腦與電腦信息處理機(jī)制的比較l 系統(tǒng)結(jié)構(gòu)l 信號(hào)形式l 信息存儲(chǔ)l 信息處理機(jī)制2022-7-213SZU1.1 人腦與電腦p 人腦與電腦信息處理機(jī)制比較l 系統(tǒng)結(jié)構(gòu)2022-7-214SZU人腦在漫長(zhǎng)的進(jìn)化過(guò)程中形成了規(guī)模宏大、結(jié)構(gòu)精細(xì)的群體結(jié)構(gòu)，即神經(jīng)網(wǎng)絡(luò)。腦科學(xué)研究結(jié)果表明，人腦的神經(jīng)網(wǎng)絡(luò)是由數(shù)百億神經(jīng)元的相互連接組合而成。每

8、個(gè)神經(jīng)元相當(dāng)于一個(gè)超微型信息處理與存儲(chǔ)機(jī)構(gòu)，大量神經(jīng)隱患廣泛連接后形成的神經(jīng)網(wǎng)絡(luò)可以進(jìn)行各種極其復(fù)雜的思維活動(dòng)。計(jì)算機(jī)是一種由各種二值邏輯門電路構(gòu)成的按串行方式工作的邏輯機(jī)器，由運(yùn)算器、控制器、存儲(chǔ)器和輸入輸出設(shè)備組成，其信息處理是建立在馮諾依曼體系基礎(chǔ)上，基于程序存取進(jìn)行工作的。1.1 人腦與電腦p 人腦與電腦信息處理機(jī)制比較l 信號(hào)形式2022-7-215SZU人腦中的信號(hào)形式具有模擬量和離散脈沖兩種形式。模擬量信號(hào)具有模糊性特點(diǎn)，有利于信息的整合和非邏輯加工，這類信息處理方式難以用現(xiàn)有的數(shù)學(xué)方法進(jìn)行充分描述，因而很難用計(jì)算機(jī)進(jìn)行模擬。計(jì)算機(jī)中信息的表達(dá)采用離散的二進(jìn)制數(shù)和二值邏輯形式。然

9、而客觀世界存在的事物關(guān)系并非都可以分解為二值邏輯的關(guān)系，還存在著各種模糊邏輯關(guān)系和非邏輯關(guān)系。計(jì)算機(jī)對(duì)這類信息的處理是難以勝任的。1.1 人腦與電腦p 人腦與電腦信息處理機(jī)制比較l 信息存儲(chǔ)2022-7-216SZU人腦的信息不是集中存儲(chǔ)于一個(gè)特定的區(qū)域，而是分散地存儲(chǔ)于整個(gè)系統(tǒng)中。此外，人腦中存儲(chǔ)的信息不是相互孤立的，而是聯(lián)想式的。人腦這種分布式、聯(lián)想式的信息存儲(chǔ)方式使人類非常擅長(zhǎng)于從失真和缺省的模式中恢復(fù)出正確的模式。計(jì)算機(jī)的信息是集中存儲(chǔ)在存儲(chǔ)器中，且存儲(chǔ)單元之間相互孤立。1.1 人腦與電腦p 人腦與電腦信息處理機(jī)制比較l 信息處理機(jī)制2022-7-217SZU人腦采用了信息存儲(chǔ)與信息處

10、理一體化的群體協(xié)同并行處理方式，信息的處理受原有存儲(chǔ)信息的影響，處理后的信息又留記在神經(jīng)元中稱為記憶。這種信息處理-存儲(chǔ)的構(gòu)建模式是廣泛分布在大量神經(jīng)元上同時(shí)進(jìn)行的，因此呈現(xiàn)出來(lái)的整體信息處理能力不僅能快速完成各種極復(fù)雜的信息識(shí)別和處理任務(wù)，而且能產(chǎn)生高度復(fù)雜而奇妙的效果。計(jì)算機(jī)采用的是有限集中的串行信息處理機(jī)制，即所有信息處理都集中在一個(gè)或幾個(gè)CPU中進(jìn)行。CPU通過(guò)總線同內(nèi)外存儲(chǔ)器進(jìn)行順序“個(gè)別對(duì)話”，存取指令或數(shù)據(jù)，因而時(shí)間利用率較低。1.1 人腦與電腦p 人工神經(jīng)網(wǎng)絡(luò)（ANN-Artificial Neural Networks）l 人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理

11、系統(tǒng)。l 為敘述方便，人工神經(jīng)網(wǎng)絡(luò)通常簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)。2022-7-218SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史p 啟蒙時(shí)期（1890-1969）p 低潮時(shí)期（1969-1982）p 復(fù)興時(shí)期（1982-1986）p 新時(shí)期（1987-）2022-7-219SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史p 啟蒙時(shí)期（1890-1969）2022-7-220SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2022-7-221SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2022-7-222SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2022-7-223SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2022-7-224SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史p 低潮

12、時(shí)期（1969-1982）2022-7-225SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2022-7-226SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2022-7-227SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史p 復(fù)興時(shí)期（1982-1986）2022-7-228SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2022-7-229SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2022-7-230SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史p 新時(shí)期（1987-）2022-7-231SZU1.2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2022-7-232SZU1.3 神經(jīng)網(wǎng)絡(luò)的基本特征與功能p 神經(jīng)網(wǎng)絡(luò)的基本特征l 結(jié)構(gòu)特征：并行處理、分布式存儲(chǔ)與容錯(cuò)性l 能力特征：自

13、學(xué)習(xí)、自組織與自適應(yīng)性2022-7-233SZU1.3 神經(jīng)網(wǎng)絡(luò)的基本特征與功能p 神經(jīng)網(wǎng)絡(luò)的基本功能l 聯(lián)想記憶l 非線性映射l 分類與識(shí)別l 優(yōu)化計(jì)算l 知識(shí)處理2022-7-234SZU1.4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域p 信息處理領(lǐng)域l 信號(hào)處理、模式識(shí)別、數(shù)據(jù)壓縮p 自動(dòng)化領(lǐng)域l 系統(tǒng)辨識(shí)、神經(jīng)控制器、智能檢測(cè)p 工程領(lǐng)域l 汽車工程、軍事工程、化學(xué)工程、水利工程p 經(jīng)濟(jì)領(lǐng)域p 醫(yī)學(xué)領(lǐng)域2022-7-235SZU1.4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2022-7-236SZU1.4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2022-7-237SZU1.4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2022-7-238SZU1.4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2022-7-239SZU1.4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2022-7-240SZU1.4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2022-7-241SZU第一章 小結(jié)p 什么是人工神經(jīng)網(wǎng)絡(luò)l 在對(duì)