神經(jīng)網(wǎng)絡(luò)(第1章-緒論)

人工神經(jīng)網(wǎng)絡(luò)參考書目《人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)與應(yīng)用》，第2版，韓力群，化學(xué)工業(yè)出版社.《面向MATLAB工具箱的神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用》，第3版，叢爽，中國(guó)科學(xué)技術(shù)大學(xué)出版社.2023/2/12SZU第一章緒論人腦與電腦人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史神經(jīng)網(wǎng)絡(luò)的基本特征與功能神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2023/2/13SZU1.1人腦與電腦人腦強(qiáng)大or電腦強(qiáng)大？2023/2/14SZU1997年5月11日，早晨4時(shí)50分(北京時(shí)間)，一臺(tái)名為“深藍(lán)”的超級(jí)電腦將棋盤上的一個(gè)兵走到C4位置時(shí)，人類有史以來(lái)最偉大的國(guó)際象棋名家卡斯帕羅夫不得不沮喪地承認(rèn)自己輸了。世紀(jì)末的一場(chǎng)人機(jī)大戰(zhàn)終于以計(jì)算機(jī)的微弱優(yōu)勢(shì)取勝。這場(chǎng)比賽是繼去年卡斯帕羅夫與IBM的超級(jí)電腦“深藍(lán)”比賽獲勝后，與改進(jìn)型的“深藍(lán)”的第二次較量。比賽于5月3日--11日在紐約的公平大廈舉行。整個(gè)比賽引起了全世界傳媒的巨大關(guān)注。比賽吸引人們注視目光的原因之一是世界象棋冠軍卡斯帕羅夫賽前充滿信心，發(fā)誓要為捍衛(wèi)人類之優(yōu)于機(jī)器的尊嚴(yán)而戰(zhàn)。然而，最后的結(jié)果卻是他所捍衛(wèi)的人類尊嚴(yán)在一臺(tái)冷漠的“藍(lán)色巨人”面前被無(wú)情地?fù)魸⒘?。雖然人類的驕傲可以把這場(chǎng)比賽的結(jié)果仍然歸咎于人類的勝利，畢竟“深藍(lán)”自己也是人類所研制出來(lái)的一臺(tái)計(jì)算機(jī)而已，但人類所創(chuàng)造的工具擊潰了人類，并且是在人類引以為驕傲的智慧領(lǐng)域，這在一定程度上帶來(lái)了恐懼，并由此引發(fā)了一場(chǎng)有關(guān)人類創(chuàng)造物與自身關(guān)系的深層討論?！吧钏{(lán)”是IBM公司生產(chǎn)的世界上第一臺(tái)超級(jí)國(guó)際象棋電腦。是一臺(tái)RS6000SP2超級(jí)并行處理計(jì)算機(jī)，計(jì)算能力驚人，平均每秒可計(jì)算棋局變化2OO萬(wàn)步。1.1人腦與電腦人腦強(qiáng)大or電腦強(qiáng)大？2023/2/15SZU1.1人腦與電腦錢學(xué)森先生認(rèn)為：人腦的思維有邏輯思維、形象思維和靈感思維三種基本方式。迄今為止，計(jì)算機(jī)在解決與形象思維和靈感思維相關(guān)的問(wèn)題時(shí)，顯得無(wú)能為力。如人臉識(shí)別、騎自行車、打籃球等涉及聯(lián)想或經(jīng)驗(yàn)的問(wèn)題，人腦可以從中體會(huì)那些只可意會(huì)不可言傳的直覺(jué)和經(jīng)驗(yàn)，可以根據(jù)情況靈活掌握處理問(wèn)題的規(guī)則，從而輕而易舉地完成此類任務(wù)，而計(jì)算機(jī)在這方面顯得十分笨拙。2023/2/16SZU1.1人腦與電腦人腦與電腦信息處理能力的比較記憶與聯(lián)想能力學(xué)習(xí)與認(rèn)知能力信息加工能力信息綜合能力信息處理速度2023/2/17SZU1.1人腦與電腦人腦與電腦信息處理能力的比較記憶與聯(lián)想能力2023/2/18SZU

1.1人腦與電腦人腦與電腦信息處理能力的比較學(xué)習(xí)與認(rèn)知能力2023/2/19SZU人腦具有從實(shí)踐中不斷抽取知識(shí)、總結(jié)經(jīng)驗(yàn)的能力。人腦對(duì)經(jīng)驗(yàn)作出反應(yīng)從而改變行為的能力就是學(xué)習(xí)與認(rèn)知能力。計(jì)算機(jī)所完成的所有工作都是嚴(yán)格按照事先編制的程序進(jìn)行的，因此它的功能和結(jié)果都是確定不變的，執(zhí)行同一程序所得到的永遠(yuǎn)是同一個(gè)結(jié)果。它不可能在不斷重復(fù)的過(guò)程中總結(jié)或積累任何經(jīng)驗(yàn)，因此不會(huì)主動(dòng)提高自己解決問(wèn)題的能力。1.1人腦與電腦人腦與電腦信息處理能力的比較信息加工能力2023/2/110SZU人腦具有復(fù)雜的回憶、聯(lián)想和想象等非邏輯加工功能，因而人的認(rèn)識(shí)可以逾越現(xiàn)實(shí)條件下邏輯所無(wú)法越過(guò)的認(rèn)識(shí)屏障，產(chǎn)生諸如直覺(jué)判斷或靈感一類的思維活動(dòng)。計(jì)算機(jī)沒(méi)有非邏輯加工功能，因而不能逾越有限條件下邏輯的認(rèn)識(shí)屏障。計(jì)算機(jī)的邏輯加工能力也僅限于二值邏輯，缺乏辯證邏輯能力。1.1人腦與電腦人腦與電腦信息處理能力的比較信息綜合能力2023/2/111SZU人腦善于對(duì)客觀世界千變?nèi)f化的信息和知識(shí)進(jìn)行歸納、類比和概括，綜合起來(lái)解決問(wèn)題。人腦的這種綜合判斷過(guò)程往往是一種對(duì)信息的邏輯加工和非邏輯加工相結(jié)合的過(guò)程。它不僅遵循確定性的邏輯思維原則，而且可以經(jīng)驗(yàn)地、模糊地甚至是直覺(jué)地作出一個(gè)判斷。大腦所具有的這種綜合判斷能力是人腦創(chuàng)造力的基礎(chǔ)。計(jì)算機(jī)的信息綜合能力取決于它所執(zhí)行的程序，由于不存在能完全描述人的經(jīng)驗(yàn)和直覺(jué)地?cái)?shù)學(xué)模型，因此計(jì)算機(jī)難以達(dá)到人腦所具有的融會(huì)貫通的信息綜合能力。1.1人腦與電腦人腦與電腦信息處理能力的比較信息處理速度2023/2/112SZU人腦的信息處理是建立在大規(guī)模并行處理基礎(chǔ)上的，這種并行處理所能夠?qū)崿F(xiàn)的高度復(fù)雜的信息處理能力遠(yuǎn)非傳統(tǒng)的以空間復(fù)雜性代替時(shí)間復(fù)雜性的多處理機(jī)并行處理系統(tǒng)所能達(dá)到的。神經(jīng)細(xì)胞間信息的傳遞速度只能達(dá)到毫秒級(jí)，而現(xiàn)代計(jì)算機(jī)中電子元件的計(jì)算速度是納秒級(jí)。似乎計(jì)算機(jī)的處理速度遠(yuǎn)高于人腦，事實(shí)上在數(shù)值處理等只需要串行算法就能解決的應(yīng)用方面確實(shí)如此。然而在處理文字、圖像、聲音等類信息的能力與速度卻遠(yuǎn)不如人腦。1.1人腦與電腦人腦與電腦信息處理機(jī)制的比較系統(tǒng)結(jié)構(gòu)信號(hào)形式信息存儲(chǔ)信息處理機(jī)制2023/2/113SZU1.1人腦與電腦人腦與電腦信息處理機(jī)制比較系統(tǒng)結(jié)構(gòu)2023/2/114SZU人腦在漫長(zhǎng)的進(jìn)化過(guò)程中形成了規(guī)模宏大、結(jié)構(gòu)精細(xì)的群體結(jié)構(gòu)，即神經(jīng)網(wǎng)絡(luò)。腦科學(xué)研究結(jié)果表明，人腦的神經(jīng)網(wǎng)絡(luò)是由數(shù)百億神經(jīng)元的相互連接組合而成。每個(gè)神經(jīng)元相當(dāng)于一個(gè)超微型信息處理與存儲(chǔ)機(jī)構(gòu)，大量神經(jīng)隱患廣泛連接后形成的神經(jīng)網(wǎng)絡(luò)可以進(jìn)行各種極其復(fù)雜的思維活動(dòng)。計(jì)算機(jī)是一種由各種二值邏輯門電路構(gòu)成的按串行方式工作的邏輯機(jī)器，由運(yùn)算器、控制器、存儲(chǔ)器和輸入輸出設(shè)備組成，其信息處理是建立在馮諾依曼體系基礎(chǔ)上，基于程序存取進(jìn)行工作的。1.1人腦與電腦人腦與電腦信息處理機(jī)制比較信號(hào)形式2023/2/115SZU人腦中的信號(hào)形式具有模擬量和離散脈沖兩種形式。模擬量信號(hào)具有模糊性特點(diǎn)，有利于信息的整合和非邏輯加工，這類信息處理方式難以用現(xiàn)有的數(shù)學(xué)方法進(jìn)行充分描述，因而很難用計(jì)算機(jī)進(jìn)行模擬。計(jì)算機(jī)中信息的表達(dá)采用離散的二進(jìn)制數(shù)和二值邏輯形式。然而客觀世界存在的事物關(guān)系并非都可以分解為二值邏輯的關(guān)系，還存在著各種模糊邏輯關(guān)系和非邏輯關(guān)系。計(jì)算機(jī)對(duì)這類信息的處理是難以勝任的。1.1人腦與電腦人腦與電腦信息處理機(jī)制比較信息存儲(chǔ)2023/2/116SZU人腦的信息不是集中存儲(chǔ)于一個(gè)特定的區(qū)域，而是分散地存儲(chǔ)于整個(gè)系統(tǒng)中。此外，人腦中存儲(chǔ)的信息不是相互孤立的，而是聯(lián)想式的。人腦這種分布式、聯(lián)想式的信息存儲(chǔ)方式使人類非常擅長(zhǎng)于從失真和缺省的模式中恢復(fù)出正確的模式。計(jì)算機(jī)的信息是集中存儲(chǔ)在存儲(chǔ)器中，且存儲(chǔ)單元之間相互孤立。1.1人腦與電腦人腦與電腦信息處理機(jī)制比較信息處理機(jī)制2023/2/117SZU人腦采用了信息存儲(chǔ)與信息處理一體化的群體協(xié)同并行處理方式，信息的處理受原有存儲(chǔ)信息的影響，處理后的信息又留記在神經(jīng)元中稱為記憶。這種信息處理-存儲(chǔ)的構(gòu)建模式是廣泛分布在大量神經(jīng)元上同時(shí)進(jìn)行的，因此呈現(xiàn)出來(lái)的整體信息處理能力不僅能快速完成各種極復(fù)雜的信息識(shí)別和處理任務(wù)，而且能產(chǎn)生高度復(fù)雜而奇妙的效果。計(jì)算機(jī)采用的是有限集中的串行信息處理機(jī)制，即所有信息處理都集中在一個(gè)或幾個(gè)CPU中進(jìn)行。CPU通過(guò)總線同內(nèi)外存儲(chǔ)器進(jìn)行順序“個(gè)別對(duì)話”，存取指令或數(shù)據(jù)，因而時(shí)間利用率較低。1.1人腦與電腦人工神經(jīng)網(wǎng)絡(luò)（ANN-ArtificialNeuralNetworks）人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。為敘述方便，人工神經(jīng)網(wǎng)絡(luò)通常簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)。2023/2/118SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史啟蒙時(shí)期（1890-1969）低潮時(shí)期（1969-1982）復(fù)興時(shí)期（1982-1986）新時(shí)期（1987-…）2023/2/119SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史啟蒙時(shí)期（1890-1969）2023/2/120SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2023/2/121SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2023/2/122SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2023/2/123SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2023/2/124SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史低潮時(shí)期（1969-1982）2023/2/125SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2023/2/126SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2023/2/127SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史復(fù)興時(shí)期（1982-1986）2023/2/128SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2023/2/129SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2023/2/130SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史新時(shí)期（1987-…）2023/2/131SZU1.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史2023/2/132SZU1.3神經(jīng)網(wǎng)絡(luò)的基本特征與功能神經(jīng)網(wǎng)絡(luò)的基本特征結(jié)構(gòu)特征：并行處理、分布式存儲(chǔ)與容錯(cuò)性能力特征：自學(xué)習(xí)、自組織與自適應(yīng)性2023/2/133SZU1.3神經(jīng)網(wǎng)絡(luò)的基本特征與功能神經(jīng)網(wǎng)絡(luò)的基本功能聯(lián)想記憶非線性映射分類與識(shí)別優(yōu)化計(jì)算知識(shí)處理2023/2/134SZU1.4神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域信息處理領(lǐng)域信號(hào)處理、模式識(shí)別、數(shù)據(jù)壓縮自動(dòng)化領(lǐng)域系統(tǒng)辨識(shí)、神經(jīng)控制器、智能檢測(cè)工程領(lǐng)域汽車工程、軍事工程、化學(xué)工程、水利工程經(jīng)濟(jì)領(lǐng)域醫(yī)學(xué)領(lǐng)域2023/2/135SZU1.4神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2023/2/136SZU1.4神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2023/2/137SZU1.4神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2023/2/138SZU1.4神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2023/2/139SZU1.4神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2023/2/140SZU1.4神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域2023/2/141SZU第一章小結(jié)什么是人