人工神經(jīng)網(wǎng)課程第一講優(yōu)秀

人工神經(jīng)網(wǎng)課程第一講第一頁，共五十五頁，編輯于2023年，星期五大腦定位系統(tǒng)“內(nèi)置GPS”1971年發(fā)現(xiàn)——“位置細胞”（處于不同位置，老鼠大腦海馬區(qū)不同區(qū)域神經(jīng)細胞激活不同）2005年發(fā)現(xiàn)——“網(wǎng)格細胞”（老鼠大腦海馬區(qū)邊緣的另一個關(guān)鍵構(gòu)成——形成坐標系，可精確定位與尋找路徑）大腦定位系統(tǒng)的認知，揭示大腦如何創(chuàng)建周圍空間的“地圖”？如何在復雜環(huán)境下定位路徑？

在細胞與分子水平上對腦和神經(jīng)系統(tǒng)研究已取得巨大成功，同時已有可能在整體水平上監(jiān)測腦實施功能時各分區(qū)神經(jīng)元的活動狀態(tài)。為縮小腦科學研究的“巨大鴻溝”，邁出珍貴一步，即“位置細胞”與“網(wǎng)格細胞”在細胞層面上共同實現(xiàn)大腦對位置與路徑認知。大腦的定位系統(tǒng)

2014年諾貝爾獎生理學醫(yī)學獎美國科學家JohnO'Keefe(約翰-歐基夫)

挪威科學家MayBrittMoser(梅-布萊特)以及EdvandMoser(愛德華-莫索爾)

獎勵在“發(fā)現(xiàn)了大腦中形成定位系統(tǒng)的細胞”方面所做的貢獻第二頁，共五十五頁，編輯于2023年，星期五第三頁，共五十五頁，編輯于2023年，星期五大腦內(nèi)視覺信息處理過程示意圖第四頁，共五十五頁，編輯于2023年，星期五視覺第一通路第五頁，共五十五頁，編輯于2023年，星期五HVS-V1、V2—V3、V4、MT—IT第六頁，共五十五頁，編輯于2023年，星期五大腦皮層

◆大腦皮層將大腦分為左、右兩個半球的裂紋和一個將大腦分為前、后兩個區(qū)域的回間溝

◆視覺通過V1區(qū)的主感知區(qū)進入大腦皮層，V1區(qū)感覺到的是最低級的視覺特性。V1區(qū)將這些特性向上傳給V4區(qū)和IT區(qū)以及其它一系列區(qū)域根據(jù)視覺系統(tǒng)的解剖、生理和功能特點，在腦內(nèi)有兩條視覺通路：1、腹側(cè)通路（色彩通路）沿著大腦皮層的枕顳葉分布。從枕葉的初級視皮層(V1)區(qū)、次級視皮層(V2)區(qū)經(jīng)高級視皮層(V4)區(qū)投射至下顳葉。腹側(cè)通路的神經(jīng)元主要對顏色和形狀等物體特征進行反應，功能是對物體進行識別2、背側(cè)通路（運動通路）沿著枕頂葉分布，從V1、V2、V3區(qū)經(jīng)內(nèi)側(cè)顳葉(MT)投射至枕頂葉。背側(cè)通路的神經(jīng)元主要對運動速度與方向等特征進行反應，功能是對物體空間位置和運動進行識別

第七頁，共五十五頁，編輯于2023年，星期五國家中長期科學和技術(shù)發(fā)展規(guī)劃綱要

（2006━2020年）

六、基礎研究

2科學前沿問題（7）腦科學與認知科學(主要研究方向)?腦功能的細胞和分子機理?腦重大疾病的發(fā)生發(fā)展機理?腦發(fā)育、可塑性與人類智力的關(guān)系?學習記憶和思維等腦高級認知功能的過程及其神經(jīng)基礎?腦信息表達與腦式信息處理系統(tǒng)?人腦與計算機對話等第八頁，共五十五頁，編輯于2023年，星期五人腦的復雜的系統(tǒng)結(jié)構(gòu)視覺系統(tǒng)聽覺系統(tǒng)記憶系統(tǒng)……結(jié)構(gòu)單元與功能單元復雜分子突觸神經(jīng)元局部網(wǎng)絡運算單元系統(tǒng)腦1埃1微米100毫米1毫米1厘米10厘米1米結(jié)構(gòu)單元與功能單元一致皮層功能柱……神經(jīng)遞質(zhì)━受體分子水平亞細胞結(jié)構(gòu)（樹突、軸突）◆神經(jīng)系統(tǒng)的層次結(jié)構(gòu)（物質(zhì)結(jié)構(gòu)層次）系統(tǒng)水平網(wǎng)絡水平分子水平（神經(jīng)元以下水平）第九頁，共五十五頁，編輯于2023年，星期五人腦的復雜的系統(tǒng)結(jié)構(gòu)層次結(jié)構(gòu)為腦的特點之一，上一層次結(jié)構(gòu)由多個下一層次結(jié)構(gòu)為單元的組件組成細胞水平到神經(jīng)網(wǎng)絡水平研究、網(wǎng)絡水平到系統(tǒng)水平的研究；前者目前是研究的熱點；過去后者研究較多。◆神經(jīng)系統(tǒng)的并行工作同類信息通過多條并行的通路傳遞和處理人腦的并行處理機制還需要深入研究◆神經(jīng)結(jié)構(gòu)的可塑性比如突觸的可塑性變化，可以改變神經(jīng)元之間的聯(lián)系，從而改變神經(jīng)網(wǎng)絡的特性，實現(xiàn)記憶與學習功能。神經(jīng)元是結(jié)構(gòu)與功能相對獨立的單元，可以在分子層與系統(tǒng)層間起著某種“隔離”作用?！舾鞣N腦機制研究及其成果功能性核磁共振成像（fMRI）……視覺成像、聽覺成像等的腦機制……第十頁，共五十五頁，編輯于2023年，星期五JeffHawkins解讀大腦的三個標準

◆大腦功能的時間概念真正的大腦快速處理大量不斷變化的信息流，在I/O的信息流中沒有任何東西靜止不動

◆反饋的重要性神經(jīng)解剖學家已發(fā)現(xiàn)大腦浸潤在反饋連接中。反饋也通過大腦皮層控制了大部分的連接

◆任何大腦模型或理論都應解釋大腦的物理結(jié)構(gòu)

新大腦皮層并不是一個簡單的構(gòu)造，是由一個不斷重復的層級結(jié)構(gòu)組成，任何神經(jīng)網(wǎng)絡對這一結(jié)構(gòu)認識不足，就無法像大腦一樣工作

但是現(xiàn)有的神經(jīng)網(wǎng)絡模型極其簡單，與上面的三個標準不吻合。這些簡單的神經(jīng)網(wǎng)絡只能處理靜止的模式，不涉及反饋，與大腦沒有任何相似之處。第十一頁，共五十五頁，編輯于2023年，星期五開啟計算機“高智商”新時代

IBM成功構(gòu)建模擬人腦功能的認知計算機芯片

（2011-8-18）

通過模擬大腦結(jié)構(gòu)，首次成功構(gòu)建出兩個具有感知認知能力的硅芯片原型，可以像大腦一樣具有學習和處理信息的能力。

兩個計算機芯片結(jié)合了神經(jīng)元的計算能力、突觸（或神經(jīng)節(jié)）的記憶能力和軸突的通信能力———開發(fā)新一代計算機◆模仿大腦構(gòu)建智能計算機的曲折挑戰(zhàn)以馮·諾依曼架構(gòu)為基礎，內(nèi)存和處理器分開，以總線作為數(shù)據(jù)通道。利用軟件實現(xiàn)人工智能一個更大的局限，就是受限于計算機的結(jié)構(gòu)，被計算機科學家稱為“馮·諾依曼瓶頸”?！纛惸X芯片----目前最接近復雜的認知計算機

?新的計算機芯片的核心是其構(gòu)造與大腦類似，有“神經(jīng)元”，有“突觸”，還有“軸突”。“神經(jīng)元”是計算機的數(shù)字信息處理器；“突觸”是學習和記憶的基礎；“軸突”則是數(shù)據(jù)通道。

?新芯片采用45納米工藝，晶體管構(gòu)造，設計模仿大腦神經(jīng)元和突觸組織。兩個芯片均有256個數(shù)字神經(jīng)元和256個軸突，數(shù)字神經(jīng)元為10兆赫，具有芯片的標準功能，如存儲器、通信控制器等，可基于輸入動態(tài)連接突觸，神經(jīng)元可記住最近的活動，引發(fā)突觸。使用量大的軸突，其權(quán)重較大。其中一個芯片擁有262144個可編程突觸；而另一個芯片擁有65356個學習突觸，這種芯片最令人感興趣。理論上,每個數(shù)字神經(jīng)元可同時與另外255個數(shù)字神經(jīng)元連接，對于擁有65356個學習突觸的芯片而言，可產(chǎn)生1700個不同的組合?！裟７麓竽X構(gòu)建智能計算機的曲折挑戰(zhàn)IBM完成本次一代類腦芯片原型，就動用了6個實驗室，聯(lián)合了來自康奈爾大學、威斯康星大學、加州大學、哥倫比亞大學和政府研究機構(gòu)的上百位研究人員。不算IBM的投入，僅美國國防部高級研究計劃局就資助了4100萬美元的研究經(jīng)費。即使這樣，該研究也歷時6年，耗費人工高達數(shù)百萬小時。第十二頁，共五十五頁，編輯于2023年，星期五距離實用又進一步

IBM公布仿人腦功能的芯片

（2014-8-8）

已研制出一款能模擬人腦神經(jīng)元、突觸功能以及其他腦功能的微芯片，從而完成計算功能，這是模擬人腦芯片領域所取得的又一大進展。IBM表示這款名為TrueNorth的微芯片擅長完成模式識別和物體分類等繁瑣任務，而且功耗還遠低于傳統(tǒng)硬件。由三星電子為IBM生產(chǎn),制造技術(shù)與三星電子生產(chǎn)智能手機及其他移動設備使用的微處理器制造技術(shù)一致◆在仿人腦功能芯片技術(shù)方面實現(xiàn)重大進展

IBM阿爾馬登研究中心（AlmadenResearchCenter）研究員、腦靈感計算首席科學家哈門德拉?莫得哈（DharmendraModha）：“我們擁有極具野心的商業(yè)化目標?！辈贿^他也表示，TrueNorth不會取代傳統(tǒng)電腦芯片，他們是互補的關(guān)系。TrueNorth微芯片(左)的熱成像圖

第十三頁，共五十五頁，編輯于2023年，星期五人類認知芯片的進展

IBM發(fā)明世界首個人造神經(jīng)元，人工智能的底層硬件基石已完成

（2016-8-4）

相變神經(jīng)元IBM蘇黎世研究中心隨機相變神經(jīng)元具有生物神經(jīng)元的特性可用于制造高密度、低功耗的認知學習芯片（90納米）以模擬人類大腦的工作方式進行信號處理第十四頁，共五十五頁，編輯于2023年，星期五人工神經(jīng)網(wǎng)絡及其應用

方濤第十五頁，共五十五頁，編輯于2023年，星期五§1緒論主講內(nèi)容◆§1.1生物神經(jīng)網(wǎng)絡及其生理機能◆§1.2人工神經(jīng)網(wǎng)絡的基本概念◆§1.3人工神經(jīng)網(wǎng)絡的發(fā)展歷史回顧◆§1.4本課程的主要內(nèi)容安排◆§1.5主要參考書目◆§1.6課程結(jié)業(yè)第一講緒論第十六頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能★1.1.1神經(jīng)元及其行為機理1.1.1.1解剖學研究神經(jīng)元的基本結(jié)構(gòu)1.1.1.2神經(jīng)元的生物學功能1.1.1.3突觸的生物學功能1.1.1.4生物神經(jīng)網(wǎng)絡★1.1.2神經(jīng)元的信息處理與傳遞1.1.2.1神經(jīng)元的興奮與抑制1.1.2.2神經(jīng)元的信息傳遞及閾值特性1.1.2.3神經(jīng)元的信息傳遞的單向性和延時性1.1.2.4神經(jīng)元的信息綜合特性1.1.2.5神經(jīng)元、突觸的D/A、A/D特性1.1.2.6神經(jīng)元建模1.1.2.7人腦的特征第一講緒論第十七頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能1.1.1神經(jīng)元及其行為機理

構(gòu)成人工神經(jīng)網(wǎng)絡的基礎是生物神經(jīng)系統(tǒng)研究的━━神經(jīng)元。人腦100億生物神經(jīng)元1.1.1.1解剖學研究神經(jīng)元的基本結(jié)構(gòu)

第一講緒論第十八頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能▲生物神經(jīng)元是大腦的基本加工單元，具有信息存儲與處理功能▲由細胞體、軸突、樹突與突觸組成①細胞體→內(nèi)部包括細胞核、核糖體、原生質(zhì)網(wǎng)狀結(jié)構(gòu)等②樹突→細胞體延伸部分產(chǎn)生的分枝，接受從其它神經(jīng)元傳入的信息，是信息的入口③軸突→細胞體突出的延伸最長的管狀纖維（可達1m)，將該神經(jīng)元本身的興奮信息傳遞到其它神經(jīng)元，是信息的出口

④突觸(Synapse)→一個神經(jīng)元與另一個神經(jīng)元相聯(lián)系并傳遞信息的結(jié)構(gòu)。第一講緒論第十九頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能突觸包括：突觸前成分━━神經(jīng)元的軸突末梢；突觸間隙━━突觸前成份和后成份之間的空間；突觸后成分━━細胞體、樹突或軸突▲興奮性突觸與抑制性突觸（細胞膜電位變化）▲樹突的數(shù)目和長度與突觸的數(shù)目有關(guān)第一講緒論第二十頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能單個神經(jīng)元細胞及突觸體內(nèi)識別新技術(shù)(2010-7-28)----利用外源基因片段,神經(jīng)元細胞便會發(fā)出紅色熒光，相應的突觸則會發(fā)出綠色熒光.▲破解人類大腦之迷是本世紀最重要的科學研究方向之一▲人類大腦中的神經(jīng)網(wǎng)絡非常復雜，成百上千億個神經(jīng)元細胞之間通過突觸來相互通訊,從而使信息在神經(jīng)網(wǎng)絡中進行傳遞，并最終導致各種復雜的思維活動。▲信息流是如何在神經(jīng)網(wǎng)絡中進行傳遞的?▲神經(jīng)系統(tǒng)中神經(jīng)元細胞功能和結(jié)構(gòu)上的多樣性，神經(jīng)回路的高度復雜性對這個當代神經(jīng)生物學的關(guān)鍵性問題提出了極大的挑戰(zhàn)?！壳暗纳窠?jīng)網(wǎng)絡研究極大地受限于神經(jīng)細胞標識技術(shù)

▲該技術(shù)觀察未分化的腦細胞是如何發(fā)育為單個的復雜神經(jīng)細胞，然后形成復雜的神經(jīng)網(wǎng)絡。-----一項基礎性的突破，對于破解人類大腦之迷有著極其重大的意義------美國斯坦福大學駱利群實驗室神經(jīng)生物學家李凌,主要研究哺乳動物神經(jīng)網(wǎng)絡發(fā)育第一講緒論第二十一頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能1.1.1.2神經(jīng)元的生物學功能▲能夠處于興奮或者抑制狀態(tài)；▲神經(jīng)元的信息傳遞及其閾值特性▲神經(jīng)元信息傳遞及其單向性▲神經(jīng)元的信息傳遞及其延時性（0.5～1ms延時），（通過突觸傳遞引起的）▲具有自適應性▲能夠進行時空信息的綜合第一講緒論第二十二頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能1.1.1.3突觸的生物學功能▲能夠進行信息的綜合▲產(chǎn)生漸次變化的傳送▲電接觸或化學接觸等多種連接方式▲會產(chǎn)生延時激發(fā)第一講緒論第二十三頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能1.1.1.4生物神經(jīng)網(wǎng)絡▲生物神經(jīng)網(wǎng)絡的形成通過突觸將多個神經(jīng)元有機聯(lián)系形成▲10萬個突觸/神經(jīng)元▲計算能力—連通性▲可塑性（plasticityconnectivity)可塑性是指神經(jīng)元的基因表達、結(jié)構(gòu)和功能在生理和病理條件下發(fā)生顯著改變，在神經(jīng)系統(tǒng)發(fā)育和學習記憶中起著至關(guān)重要的作用,是前沿領域。突觸在神經(jīng)細胞持續(xù)活動影響下可發(fā)生特異性的結(jié)構(gòu)和功能變化，稱為“突觸可塑性”第一講緒論第二十四頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能突觸可塑性的最新研究

(2008.11，NatureNeuroscience)▲神經(jīng)細胞之間通過特異的通訊結(jié)構(gòu)——“突觸”，形成功能性神經(jīng)環(huán)路來傳遞和存儲信息▲在神經(jīng)環(huán)路組成中，釋放神經(jīng)遞質(zhì)谷氨酸和γ-氨基丁酸（GABA）的神經(jīng)元分別傳遞興奮性和抑制性信息.其中占總細胞少數(shù)（約10%-20%）的GABA神經(jīng)元卻對神經(jīng)環(huán)路的功能平衡、復雜性以及計算建構(gòu)起著關(guān)鍵作用，其突觸傳遞在神經(jīng)信息的編碼、分選和傳遞中發(fā)揮重要作用▲少數(shù)的GABA能突觸的可塑性發(fā)生機理卻知之甚少▲中國科學院神經(jīng)科學研究所蒲慕明研究員和章曉輝研究員指導博士研究生徐春和趙漫夏完成的關(guān)于GABA能突觸可塑性的發(fā)生模式和機理的重要研究工作▲揭示了發(fā)育中GABA能突觸可塑性的發(fā)生模式和細胞分子機制，闡明了神經(jīng)環(huán)路建立中GABA能突觸連接的自我精細修整（refinement）的工作方式。第一講緒論第二十五頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能1.1.2神經(jīng)元的信息處理與傳遞1.1.2.1神經(jīng)元的興奮與抑制▲細胞膜的膜電位由細胞膜內(nèi)外層之間的電位差形成的（神經(jīng)元最外層為細胞膜）▲膜電位表征了神經(jīng)元的興奮與抑制興奮狀態(tài)━膜的內(nèi)外間有內(nèi)負外正電位差；抑制狀態(tài)━膜的內(nèi)外間有內(nèi)正外負電位差；▲人工神經(jīng)網(wǎng)絡就是模擬神經(jīng)元的興奮與抑制第一講緒論第二十六頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能1.1.2.2神經(jīng)元的信息傳遞及閾值特性▲神經(jīng)元信息的傳遞過程①一個神經(jīng)元的電脈沖━（不衰減地通過其軸突）━到達軸突末梢━導致軸突末梢中囊泡產(chǎn)生變化━→釋放神經(jīng)遞質(zhì)(neurotransimitters

)；②神經(jīng)遞質(zhì)━（通過突觸的間隙）━進入另一個神經(jīng)元的樹突中━該樹突中受體接受神經(jīng)遞質(zhì)━導致其膜電位發(fā)生變化?！窠?jīng)元信息傳遞的閾值特性神經(jīng)元接受來自其它神經(jīng)元的信息時，膜電位開始漸變，超過設定的閾值時，產(chǎn)生沿軸突傳遞的電脈沖。第一講緒論第二十七頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能1.1.2.3神經(jīng)元的信息傳遞的單向性和延時性▲單向性從前一級神經(jīng)元的軸突末梢傳向后一級神經(jīng)元的樹突或細胞體，不能反向▲延時性信息經(jīng)由突觸傳遞，要產(chǎn)生0.5～1ms延時第一講緒論第二十八頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能1.1.2.4神經(jīng)元的信息綜合特性▲空間綜合特性在一個神經(jīng)元的樹突上，可以處理來自不同神經(jīng)元的輸入信息（神經(jīng)元周圍有10萬個左右的突觸）▲時間綜合特性神經(jīng)元可以對來自同一個神經(jīng)元突觸的信息進行綜合第一講緒論第二十九頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能1.1.2.5神經(jīng)元、突觸的D/A、A/D特性▲從神經(jīng)元的閾值特性來看，其軸突上傳遞的信息是等幅、恒寬、編碼的離散脈沖信號▲突觸的D/A功能突觸中釋放的神經(jīng)遞質(zhì)和另一個神經(jīng)元的樹突中膜電位連續(xù)變化，即突觸具有D/A功能▲神經(jīng)元的A/D功能當接受信息的神經(jīng)元樹突中膜電位高于某閾值時，膜電位轉(zhuǎn)換為電脈沖，由軸突傳送出去，即神經(jīng)元具有A/D功能第一講緒論第三十頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能1.1.2.6神經(jīng)元建模神經(jīng)元是神經(jīng)網(wǎng)絡中基本的信息處理單元，組成部分：▲一組突觸和聯(lián)結(jié)，聯(lián)結(jié)具有權(quán)值w1,w2,…,wn▲通過加法器功能，計算輸入的權(quán)值之和

▲激勵函數(shù)限制神經(jīng)元的輸出幅度第一講緒論第三十一頁，共五十五頁，編輯于2023年，星期五§1.1生物神經(jīng)網(wǎng)絡及其生理機能1.1.2.7人腦的特征▲1011神經(jīng)元（100億-相當于整個銀河系星體總數(shù)），▲神經(jīng)元轉(zhuǎn)換（switching）時間大于10-3秒▲每個神經(jīng)元平均有幾千個連接▲每秒幾百次運算▲高度并行計算▲分布式表達第一講緒論第三十二頁，共五十五頁，編輯于2023年，星期五§1.2人工神經(jīng)網(wǎng)絡的基本概念★1.2.1從生物神經(jīng)元到人工神經(jīng)元★1.2.2人工神經(jīng)元及其工作機制★1.2.3什么是人工神經(jīng)網(wǎng)絡★1.2.4人工神經(jīng)網(wǎng)絡信息處理原理★1.2.5人工神經(jīng)網(wǎng)絡的計算結(jié)構(gòu)★1.2.6人工神經(jīng)網(wǎng)絡的特點★1.2.7人工神經(jīng)網(wǎng)絡的研究內(nèi)容★1.2.8人工神經(jīng)網(wǎng)絡研究涉及多學科★1.2.9人工神經(jīng)網(wǎng)絡與模式識別第一講緒論第三十三頁，共五十五頁，編輯于2023年，星期五§1.2人工神經(jīng)網(wǎng)絡的基本概念NN期望探究：將一簇神經(jīng)元連接起來會產(chǎn)生什么樣的行為。連接主義者期望研究神經(jīng)元的相互作用，讓智能不可捉摸的特性變得清晰，并期望通過復制神經(jīng)元的連接，讓一些令AI束手無策的問題得以解決。NN不同于計算機，沒有CPU，不能對信息進行中央存儲，整個網(wǎng)絡的知識和記憶就象真正的大腦那樣都分散在所有的連接上。第一講緒論第三十四頁，共五十五頁，編輯于2023年，星期五§1.2人工神經(jīng)網(wǎng)絡的基本概念1.2.1從生物神經(jīng)元到人工神經(jīng)元（神經(jīng)網(wǎng)絡模型）從神經(jīng)元特性看，單個神經(jīng)元是一個多輸入單輸出的信息存儲和處理單元，信息處理具有非線性特性。生物學上神經(jīng)元簡化為著名的McCulloch-Pitts神經(jīng)元模型（1943年）━━MP模型第一講緒論樹突細胞體軸突McCulloch-Pitts神經(jīng)元模型第三十五頁，共五十五頁，編輯于2023年，星期五§1.2人工神經(jīng)網(wǎng)絡的基本概念

x1,x2,…,xn━神經(jīng)元的輸入（來自前一級的n個神經(jīng)元的軸突信息）━神經(jīng)元i的閾值wi1,wi2,…win━神經(jīng)元i對輸入x1,x2,…,xn的權(quán)系數(shù)或叫連接權(quán)（表明突觸的傳遞效率）f[·]━神經(jīng)元i的激勵函數(shù)（決定神經(jīng)元i受到輸入的共同刺激達到閾值時以何方式輸出）yi━神經(jīng)元i的輸出第一講緒論第三十六頁，共五十五頁，編輯于2023年，星期五§1.2人工神經(jīng)網(wǎng)絡的基本概念1.2.2人工神經(jīng)元及其工作機制

▲神經(jīng)元的輸入端接受來自不同神經(jīng)元的輸入信號▲輸入信號與連接權(quán)作用（乘積和或內(nèi)積）后，匯入神經(jīng)元細胞體，產(chǎn)生輸出信號▲輸入信號與連接權(quán)乘積和與閾值比較，或使神經(jīng)元處于激勵狀態(tài)，或使神經(jīng)元處于抑制狀態(tài)▲神經(jīng)元的工作狀態(tài)①回憶狀態(tài)━━對來自外部輸入與連接權(quán)作用，匯入神經(jīng)元細胞體，在激勵函數(shù)作用下，產(chǎn)生輸出②學習狀態(tài)━━由輸入不斷修正連接權(quán)，并向其它神經(jīng)元輸出信號1.2.3什么是人工神經(jīng)網(wǎng)絡▲是在現(xiàn)代神經(jīng)科學研究成果的基礎上提出來的，是由大量處理單元（人工神經(jīng)元）互聯(lián)組成的非線性、自適應信息處理系統(tǒng)。其目的是通過模擬大腦神經(jīng)網(wǎng)絡處理、記憶信息的方式，來進行信息處理?！鳷.Kohonen教授對人工神經(jīng)網(wǎng)絡下的定義：由簡單單元組成的廣泛并行互連的網(wǎng)絡，它的組織能夠模擬生物神經(jīng)系統(tǒng)的真實世界物體所作出的交互反應。第一講緒論第三十七頁，共五十五頁，編輯于2023年，星期五§1.2人工神經(jīng)網(wǎng)絡的基本概念1.2.4人工神經(jīng)網(wǎng)絡的計算結(jié)構(gòu)（一般結(jié)構(gòu)）▲激勵狀態(tài)及其規(guī)則▲輸入/輸出單元和隱含單元▲連接權(quán)及其修正和傳播規(guī)則1.2.5人工神經(jīng)網(wǎng)絡的特點

▲生物學特性━━學習能力━━自適應能力━━自組織能力━━信息分布式存儲━━容錯和自修復能力━━大規(guī)模并行處理能力第一講緒論第三十八頁，共五十五頁，編輯于2023年，星期五§1.2人工神經(jīng)網(wǎng)絡的基本概念▲數(shù)學特性━━非線性（激活和抑制兩個基本狀態(tài)）━━非局限性（人工神經(jīng)元之間相互作用表現(xiàn)了信息處理與存儲能力）━━非凸性---比如能量函數(shù)有多個極值，系統(tǒng)有多個平衡態(tài)，體現(xiàn)了多樣性的演化━━非常定性----網(wǎng)絡具有自組織、自適應、自學習能力1.2.7人工神經(jīng)網(wǎng)絡的研究內(nèi)容▲神經(jīng)網(wǎng)絡模型研究━━人腦的生理結(jié)構(gòu)━━以信息科學、認知科學來研究人腦思維機制━━神經(jīng)網(wǎng)絡的計算模型（實驗模型）━━神經(jīng)網(wǎng)絡的學習算法和學習系統(tǒng)第一講緒論第三十九頁，共五十五頁，編輯于2023年，星期五§1.2人工神經(jīng)網(wǎng)絡的基本概念▲神經(jīng)網(wǎng)絡的基本理論研究━━神經(jīng)網(wǎng)絡的基本性能：穩(wěn)定性、魯棒性、容錯性、動力學特性━━非線性機制：自適應性、自組織、協(xié)同、突變、奇異吸引子、混沌、分維、非線性動力學等━━神經(jīng)網(wǎng)絡的能力和判別準則：計算能力、準確性、存儲容量、表達與綜合▲神經(jīng)網(wǎng)絡的應用研究▲神經(jīng)網(wǎng)絡計算機研究第一講緒論第四十頁，共五十五頁，編輯于2023年，星期五§1.2人工神經(jīng)網(wǎng)絡的基本概念1.2.8人工神經(jīng)網(wǎng)絡研究涉及多學科1.2.8.1神經(jīng)生理科學━━解剖學角度，研究人腦的神經(jīng)系統(tǒng)結(jié)構(gòu)，了解人腦信息采集、存儲、傳遞和加工的生物學機理━━19世紀末創(chuàng)立了神經(jīng)元學說━━目前已經(jīng)開始從分子生物水平研究人腦的學習、記憶機制。1.2.8.2認知科學推理、學習、知覺、語言、情緒、意識、靈感等一系列心理活動，將神經(jīng)網(wǎng)絡中的神經(jīng)元看成是一個巨大的狀態(tài)向量空間。1.2.8.3數(shù)理科學知識1.2.8.4信息論和計算機科學第一講緒論第四十一頁，共五十五頁，編輯于2023年，星期五§1.2人工神經(jīng)網(wǎng)絡的基本概念1.2.9人工神經(jīng)網(wǎng)絡與模式識別1.2.9.1人工神經(jīng)網(wǎng)絡研究分兩類▲神經(jīng)元模型研究（關(guān)心與生物神經(jīng)網(wǎng)絡的相似性）━━模擬人腦感知、學習和記憶組織的能力，以設計類人惱的人工神經(jīng)網(wǎng)絡▲利用人工神經(jīng)網(wǎng)絡的學習、并行處理能力解決工程應用1.2.9.2人工神經(jīng)網(wǎng)絡進行模式識別研究▲利用人工神經(jīng)網(wǎng)絡特性建造模式識別系統(tǒng)▲構(gòu)造人工神經(jīng)網(wǎng)絡分類器第一講緒論第四十二頁，共五十五頁，編輯于2023年，星期五§1.3人工神經(jīng)網(wǎng)絡的發(fā)展歷史回顧★1.3.1二十世紀40年代到60年代早期發(fā)展★1.3.2二十世紀70年代（低潮期）

★

1.3.3二十世紀80年代----高潮★1.3.3二十世紀90年代至今★1.3.4人類腦計劃（HumanBrainProject,HBP)★1.3.5上世紀90’s末期至今★1.3.62013年人類基因組計劃后最宏大的研究項目★1.3.7

當前神經(jīng)科學的前沿性問題第一講緒論第四十三頁，共五十五頁，編輯于2023年，星期五§1.3人工神經(jīng)網(wǎng)絡的發(fā)展歷史回顧1.3.1二十世紀40年代到60年代早期發(fā)展▲43年，心理學家McCulloch和數(shù)學家Pitts(USA芝加哥）━━MP模型（開創(chuàng)了神經(jīng)網(wǎng)絡理論研究時代）特點：只有興奮和抑制兩種神經(jīng)元聯(lián)系方式；MP模型固定不變；形式神經(jīng)元?！?9年，心理學家Hebb━━神經(jīng)網(wǎng)絡學習機理的“突觸聯(lián)系效率可變假設”，即連接權(quán)調(diào)整原則或Hebb學習規(guī)則只有當兩個神經(jīng)元都處于興奮狀態(tài)時，其連接權(quán)得到加強?！?1年，Rosenblatt（USA康乃爾）━━著名的“Perceptron”模型（多層感知器）從理論研究進入工程實踐，掀起了人工神經(jīng)網(wǎng)絡研究熱潮，最早可用于模擬人與動物的感知和學習功能

（第一代神經(jīng)網(wǎng)絡）▲62年，Widrow（USA斯坦福）━━自適應線性神經(jīng)元模型（Perceptron的變形）第一講緒論第四十四頁，共五十五頁，編輯于2023年，星期五§1.3人工神經(jīng)網(wǎng)絡的發(fā)展歷史回顧▲60年代Minsky和Papert對perceptron的研究觀點，使人工神經(jīng)網(wǎng)絡研究進入低潮期[原因之一]━━線性感知器只能進行線性分類和求解一階謂詞問題━━具有隱含單元的多層神經(jīng)網(wǎng)絡才能解決高階謂詞問題━━難以找到具有隱含單元的多層網(wǎng)絡的有效學習算法1.3.2二十世紀70年代（低潮期）

對人工神經(jīng)網(wǎng)絡理論，增加網(wǎng)絡功能，各種學習算法研究為神經(jīng)網(wǎng)絡理論、數(shù)學模型、體系結(jié)構(gòu)的研究打下了基礎。（客觀上，AI研究成就也掩蓋了ANN的研究意義和工作）▲Marr及Poggio等（MIT的AI實驗室）━━視覺計算理論視覺信息加工經(jīng)歷視覺初級到高級加工階段━━初級視覺正則化理論（在視覺計算理論與實現(xiàn)機制間的橋梁）第一講緒論第四十五頁，共五十五頁，編輯于2023年，星期五§1.3人工神經(jīng)網(wǎng)絡的發(fā)展歷史回顧▲Grossberg（USA波士頓大學）━━自適應諧振理論——研究心理學與腦科學━━二進制輸入的ART1模型━━連續(xù)信號輸入的ART2模型━━ART3模型▲甘利俊一（日本東京大學）━━神經(jīng)網(wǎng)絡數(shù)學理論研究▲70年，F(xiàn)ukushima（NHK）━━視覺認知網(wǎng)絡理論----研究視覺系統(tǒng)的時空人工神經(jīng)系統(tǒng)模型，及腦的空間和時間的人工神經(jīng)系統(tǒng)模型━━認知機模型▲71年，Kohonen（波蘭）－－－Self-OrganizingMaps1995━━著名的自組織特征映射（無導師的競爭學習算法）第一講緒論第四十六頁，共五十五頁，編輯于2023年，星期五§1.3人工神經(jīng)網(wǎng)絡的發(fā)展歷史回顧▲Anderson━━線性聯(lián)想記憶（LAM）1.3.3二十世紀80年代----高潮▲科學背景━━非平衡系統(tǒng)的自組織理論（耗散結(jié)構(gòu)理論）━━協(xié)同學創(chuàng)立━━混沌現(xiàn)象發(fā)現(xiàn)▲視覺理論研究成果（神經(jīng)系統(tǒng)處理信息的普遍原則）━━側(cè)抑制原理━━感受野（每個視神經(jīng)細胞只能看到物體的一點，并排列為與大腦表面垂直的柱狀結(jié)構(gòu)）━━皮層的功能柱結(jié)構(gòu)━━信息的并行處理與層次加工▲81年，84年，Hopfield（加州理工學院生化系）－━━著名的Hopfield模型（ANN研究發(fā)展史上兩項重大研究成果）

（第二代神經(jīng)網(wǎng)絡）第一講緒論第四十七頁，共五十五頁，編輯于2023年，星期五§1.3人工神經(jīng)網(wǎng)絡的發(fā)展歷史回顧

◆結(jié)點全互聯(lián)的人工神經(jīng)網(wǎng)絡計算結(jié)構(gòu)（模擬人腦記憶、聯(lián)想、分類/識別、容錯等處理能力）

◆引入能量函數(shù)

◆成功解決旅行商問題（TSP）◆神經(jīng)網(wǎng)絡計算機研究的開始━━BP反向傳播算法━━雙向聯(lián)想記憶模式BAM━━Boltzmam機（GeoffreyHinton（UniversityofToronto

）andTerrySejnowski

）━━并行分布處理模型PDP1.3.4二十世紀90年代━━神經(jīng)網(wǎng)絡有廣泛的應用領域━━與專家系統(tǒng)的結(jié)合━━理論研究的進展━━與其它技術(shù)的結(jié)合

━━脈沖神經(jīng)網(wǎng)絡提出（第三代神經(jīng)網(wǎng)絡）第一講緒論第四十八頁，共五十五頁，編輯于2023年，星期五§1.3人工神經(jīng)網(wǎng)絡的發(fā)展歷史回顧1.3.5二十一世紀前10年

深度學習出現(xiàn)

腦計劃再一次隆重推出。。。第一講緒論第四十九頁，共五十五頁，編輯于2023年，星期五§1.3人工神經(jīng)網(wǎng)絡的發(fā)展歷史回顧1.3.6

人類腦計劃（HumanBrainProject,HBP)━━繼人類基因計劃后，又一國際性科研大計劃━━1991年美國NIMH正式成立━━1995年神經(jīng)科學與信息科學的結(jié)合

JimHuffman:“我們正處于思維的新時代的初期。神經(jīng)網(wǎng)絡的重要性已超出我們是不是建立一個計算機的問題，更重要的吸引力是弄清楚大腦是如何工作的?！?.3.7

上世紀90’s末期至今（神經(jīng)元以下水平研究）━━開展分子生物水平上的腦神經(jīng)科學研究━━研究設備fMRI（功能性核磁共振成像）、PET（正電子發(fā)射斷層技術(shù)）、……━━記憶功能的