智能科學(xué)中的神經(jīng)計(jì)算

智能科學(xué)中的神經(jīng)計(jì)算第1頁，課件共52頁，創(chuàng)作于2023年2月內(nèi)容提要一、引言二、神經(jīng)網(wǎng)絡(luò)三、功能柱四、同步問題五、神經(jīng)場六、結(jié)束語第2頁，課件共52頁，創(chuàng)作于2023年2月2023/7/14210多年的醞釀，1151人的參與兩次會議：2001-05-11NSF預(yù)備會2001-12-03NSF/DOC(79人)政府及國家實(shí)驗(yàn)室32人大學(xué)28人企業(yè)及非政府組織19人2004-03成立ConvergingTechnologiesBarAssociation(CTBA)

科學(xué)發(fā)展大趨勢

美國關(guān)于NBIC會聚技術(shù)的戰(zhàn)略研討第3頁，課件共52頁，創(chuàng)作于2023年2月2023/7/143InfoCognoBioNanoEnhancingHumanPerformanceNewHumanbeingNewIndustriesNewSocietyNewApplicationsNewSciencesNewEducation

科學(xué)發(fā)展大趨勢第4頁，課件共52頁，創(chuàng)作于2023年2月2023/7/144第一次浪潮第二次浪潮第三次浪潮第四次浪潮1990

2020

2050

20802100創(chuàng)新步伐數(shù)字網(wǎng)絡(luò)軟件新媒體生物基因（蛋白質(zhì)）納米材料腦科學(xué)智能技術(shù)？？？？？？對21世紀(jì)技術(shù)創(chuàng)新浪潮長波的猜想第5頁，課件共52頁，創(chuàng)作于2023年2月2023/7/145第一次浪潮第二次浪潮第三次浪潮第四次浪潮第五次浪潮1785

1845

1900

195019901999

2020

創(chuàng)新步伐水力紡織鐵蒸汽鐵路鋼電化學(xué)品內(nèi)燃機(jī)石油化學(xué)電子航空數(shù)字網(wǎng)絡(luò)軟件新媒體60年55年50年40年30年技術(shù)創(chuàng)新浪潮的經(jīng)濟(jì)長波規(guī)律（康德拉捷夫）機(jī)械化鐵路化電氣化電子化數(shù)字化第6頁，課件共52頁，創(chuàng)作于2023年2月2023/7/146

科學(xué)發(fā)展大趨勢

21世紀(jì):

智能科學(xué)

智能科學(xué)是一門交叉學(xué)科，主要由

F腦科學(xué)

F認(rèn)知科學(xué)

F人工智能等學(xué)科共同研究智能行為的基本理論和實(shí)現(xiàn)技術(shù)。

第7頁，課件共52頁，創(chuàng)作于2023年2月2023/7/147神經(jīng)元第8頁，課件共52頁，創(chuàng)作于2023年2月2023/7/148McCulloch-Pitts神經(jīng)元現(xiàn)代的神經(jīng)網(wǎng)絡(luò)開始于McCulloch,Pitts（1943）的先驅(qū)工作.在他們的經(jīng)典論文里，McCulloch,Pitts結(jié)合了神經(jīng)生理學(xué)和數(shù)理邏輯的研究描述了一個神經(jīng)網(wǎng)絡(luò)的邏輯分析,他們的神經(jīng)元模型假定遵循有-無模型律。如果如此簡單的神經(jīng)元數(shù)目足夠多和適當(dāng)設(shè)置連接權(quán)值并且同步操作,McCulloch,Pitts證明這樣構(gòu)成的網(wǎng)絡(luò)原則上可以計(jì)算任何可計(jì)算函數(shù)。這是一個有重大意義的結(jié)果，有了它標(biāo)志著神經(jīng)網(wǎng)絡(luò)和人工智能的誕生.第9頁，課件共52頁，創(chuàng)作于2023年2月2023/7/149McCulloch-Pitts神經(jīng)元第10頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1410Hebb學(xué)習(xí)假說1949年，Hebb的書《行為組織學(xué)》,他在里面第一次清楚說明了突觸修正的生理學(xué)習(xí)規(guī)則。特別的，

Hebb提出大腦的連接隨著生物學(xué)會不同功能任務(wù)而連續(xù)地變化的，

神經(jīng)組織就是由這種變化創(chuàng)建起來的.Hebb繼承了

Ramony和

Cajal早期的假設(shè)并引入自己的現(xiàn)在著名的學(xué)習(xí)假說，兩個神經(jīng)元之間的可變突觸被突觸兩端神經(jīng)元的重復(fù)的激活加強(qiáng)了。Hebb的書在心理學(xué)家中有廣泛的影響，但遺憾的是對工程界卻影響很少或沒有。第11頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1411感知器

Rosenblatt(1958)在他有關(guān)感知器的研究著作中提出了模式識別問題的新方法，一種新的監(jiān)督學(xué)習(xí)方法.所為的感知器收斂定理使Rosenblatt的工作取得圓滿的成功。他于1960年提出感知器收斂定理的第一個證明（1960）。Widrow和Hoff介紹了最小平均平方(leastmeansquare,LMS)算法并用它構(gòu)成了Adaline(adaptivelinearelement).感知器和Adaline的區(qū)別在于訓(xùn)練過程。第12頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1412感知器

1969年，Minsky和Papert合作發(fā)表了頗有影響的Perceptron一書，得出了消極悲觀的論點(diǎn)，加上數(shù)字計(jì)算機(jī)正處于全盛時期并在人工智能領(lǐng)域取得顯著成就，70年代人工神經(jīng)網(wǎng)絡(luò)的研究處于低潮。第13頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1413Hopfield網(wǎng)絡(luò)

1982年，Hoopfield用能量函數(shù)的思想形成一種具有對稱連接的遞歸網(wǎng)絡(luò)所執(zhí)行的計(jì)算的新方法。這類具有反饋的特殊神經(jīng)網(wǎng)絡(luò)在80年代引起了大量的關(guān)注，產(chǎn)生了著名的Hopfield網(wǎng)絡(luò)。盡管Hopfield網(wǎng)絡(luò)不可能是真正的神經(jīng)生物系統(tǒng)模型，他們包涵的原理，即在動態(tài)的穩(wěn)定網(wǎng)絡(luò)中存儲信息原理的，是極深刻的。第14頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1414神經(jīng)計(jì)算自適應(yīng)共振理論（ART）自組織特征映射理論Hinton等人最近提出了

Helmboltz機(jī)

徐雷提出的

Ying-Yang機(jī)理論模型

甘利俊一(S.Amari)開創(chuàng)和發(fā)展的基于統(tǒng)計(jì)流形的方法應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究第15頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1415模式結(jié)構(gòu)Hinton提出了簡單的有監(jiān)督學(xué)習(xí)理論只能把神經(jīng)網(wǎng)絡(luò)引向死亡描述,提出了建立通過神經(jīng)網(wǎng)絡(luò)抽取模式結(jié)構(gòu)為目標(biāo),形成外界環(huán)境在神經(jīng)網(wǎng)絡(luò)中形成內(nèi)在表示的機(jī)理作為發(fā)展人工神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)。第16頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1416智能科學(xué)

智能不僅要功能模擬,而且要機(jī)理模擬Actionsfromthoughts(Nature409,2001)

第17頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1417神經(jīng)元第18頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1418突觸可塑性第19頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1419神經(jīng)元模型神經(jīng)元是神經(jīng)網(wǎng)絡(luò)中基本的信息處理單元，他由下列部分組成:一組突觸和聯(lián)結(jié)，聯(lián)結(jié)具有權(quán)值W1,W2,…,Wm通過加法器功能，將計(jì)算輸入的權(quán)值之和激勵函數(shù)限制神經(jīng)元輸出的幅度第20頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1420神經(jīng)元模型InputsignalSynapticweightsSummingfunctionActivationfunctionLocalFieldvOutputyx1x2xmw2wmw1w0x0=+1第21頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1421大腦神經(jīng)系統(tǒng)神經(jīng)系統(tǒng)是多層次的。這些不同層次的研究互相啟示，互相推動。在低層次（細(xì)胞、分子水平）上的工作為較高層次的觀察提供分析的基礎(chǔ)，而較高層次的觀察又有助于引導(dǎo)低層次工作的方向和體現(xiàn)其功能意義。第22頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1422神經(jīng)網(wǎng)絡(luò)第23頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1423神經(jīng)網(wǎng)絡(luò)

第24頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1424神經(jīng)網(wǎng)絡(luò)第25頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1425

功能柱20世紀(jì)60年代末，美國科學(xué)家發(fā)現(xiàn)，在大腦視覺皮層中，具有相同圖像特征選擇性和相同感受野位置的眾多神經(jīng)細(xì)胞，以垂直于大腦表面的方式排列成柱狀結(jié)構(gòu)———功能柱。30多年來，腦研究領(lǐng)域一直將垂直的柱狀結(jié)構(gòu)看作大腦功能組織的一個基本原則。但是，傳統(tǒng)的功能柱研究還不能闡釋視覺系統(tǒng)究竟是如何處理大范圍復(fù)雜圖像信息的。第26頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1426功能柱

中科院上海生命科學(xué)研究院神經(jīng)科學(xué)研究所李朝義實(shí)驗(yàn)室通過對貓的視皮層的研究，發(fā)現(xiàn)在初級視皮層中存在一種與處理大范圍復(fù)雜圖形特征有關(guān)的功能結(jié)構(gòu)。與目前所有已知結(jié)構(gòu)不同，它不是柱狀的，而是形成許許多多直徑約300微米的小球，分散地鑲嵌在已知的垂直功能柱中。這是在簡單特征功能柱基礎(chǔ)上所形成的第二級功能筑構(gòu)，處理各種更復(fù)雜的圖像信息。視覺系統(tǒng)可能正是通過這種神經(jīng)機(jī)制，以有限的信息量把目標(biāo)物從復(fù)雜的背景圖像中分離出來。第27頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1427功能柱1972年:Wilson-Cowan方程來描述功能柱;1990年:Shuster等人模擬視皮層中發(fā)現(xiàn)的同步振蕩;1993年:Jansen等人提出了耦合功能柱模型產(chǎn)生了類EEG波形和誘發(fā)電位；1994年:Fukai設(shè)計(jì)了功能柱式的網(wǎng)絡(luò)模型來模擬視覺圖樣的獲取;1997年:Hansel等人根據(jù)視皮層朝向柱的結(jié)構(gòu)構(gòu)建了一個超柱模型，研究其中的同步性和混沌特性，并對朝向選擇性的功能柱機(jī)理做出解釋;1998年:Fransén等人把傳統(tǒng)網(wǎng)絡(luò)中的單細(xì)胞代換成多細(xì)胞構(gòu)成的功能柱，來模擬工作記憶

第28頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1428功能柱中國科學(xué)院生物物理所視覺信息加工重點(diǎn)實(shí)驗(yàn)室中國科學(xué)院計(jì)算研究所李速①

齊翔林①

胡宏②

汪云九①

功能柱結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)模型中的同步振蕩現(xiàn)象

功能柱是一個振蕩子，而且表明功能柱可以成為皮層多樣化的節(jié)律活動的發(fā)生源，EEG中的各種節(jié)律均可以在結(jié)構(gòu)具有普遍性的功能柱中找到生理基礎(chǔ)。

第29頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1429功能柱Rose-Hindmarsh方程來描述單神經(jīng)元:

x:代表膜電位，y:表示快速回復(fù)電流，z:描述慢變化的調(diào)整電流，Isyn

表示突觸電流，Istim表示外界輸入第30頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1430功能柱模型采用基于電流的突觸模型，在突觸前細(xì)胞的每個動作電位都將觸發(fā)突觸后細(xì)胞的Isyn

輸入。突觸電流

Isyn

表示為:

gsyn

為膜電導(dǎo)1,2時間常數(shù)Vsyn

表示突觸后電位第31頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1431功能柱第32頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1432同源功能柱第33頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1433異源功能柱第34頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1434功能柱

功能柱是一個振蕩子，而且表明功能柱可以成為皮層多樣化的節(jié)律活動的發(fā)生源，EEG中的各種節(jié)律均可以在結(jié)構(gòu)具有普遍性的功能柱中找到生理基礎(chǔ)。

第35頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1435功能柱功能柱是介于單神經(jīng)元和皮層腦區(qū)之間的一種中間層次的單元，理解這種中間層次的單元的活動特點(diǎn)，能夠?yàn)槟X科學(xué)中微觀現(xiàn)象和宏觀現(xiàn)象的研究之間建立一座橋梁

第36頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1436信息幾何信息幾何（InformationGeometry）是采用（Riemann流形上的）微分幾何方法來研究統(tǒng)計(jì)問題的理論。

Efron首先在統(tǒng)計(jì)學(xué)中采用微分幾何方法（1975)甘利俊一（S.Amari）引入α-聯(lián)絡(luò),并應(yīng)用到神經(jīng)網(wǎng)絡(luò)的研究中

zhuhaiyu等人研究了貝葉斯信息幾何（BayesInformationGeometry)第37頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1437統(tǒng)計(jì)流形概率神經(jīng)網(wǎng)絡(luò)模型（統(tǒng)計(jì)學(xué)習(xí)機(jī)）：

P(y|x;Θ)=Ф(y–F(x,W))Θ∈Rn指數(shù)簇（Exponentialfamilies）流形人工神經(jīng)網(wǎng)絡(luò)正態(tài)分布Boltzmann機(jī)混合專家神經(jīng)網(wǎng)絡(luò)彎曲指數(shù)簇流形人工神經(jīng)網(wǎng)絡(luò)神經(jīng)場理論第38頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1438樸素貝葉斯分類器(NBC)

Bayesian網(wǎng)絡(luò)的簡化樸素Bayesian假設(shè)：特征向量的各分量間相對于決策變量是相對獨(dú)立降低計(jì)算復(fù)雜度更加直觀簡潔可能降低分類、預(yù)測精度第39頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1439Fisher分Fisher分：

Fisher信息矩陣I可寫為：Fisher分映射：第40頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1440基于Fisher分樸素貝葉斯分類器(NBC)目標(biāo)：提高NBC的分類精度方向：改進(jìn)屬性間的條件獨(dú)立性關(guān)系途徑：基于Fisher分重構(gòu)屬性集，在此基礎(chǔ)上建立樸素貝葉斯分類器第41頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1441神經(jīng)場動力學(xué)Wilson-CowanAmariErmentrout-Cowan…….第42頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1442神經(jīng)場

神經(jīng)場研究的出發(fā)點(diǎn)是信息處理系統(tǒng)的整體結(jié)構(gòu),一般的系統(tǒng)表示為非歐氏空間(在一定拓?fù)浣Y(jié)構(gòu)下形成流形)。研究的一個關(guān)鍵就是建立環(huán)境結(jié)構(gòu)流形與神經(jīng)流形的耦合關(guān)系,用流形的思想、拓?fù)涞母拍詈徒y(tǒng)計(jì)推理來研究整體結(jié)構(gòu)所具有的性質(zhì),利用整體不變性質(zhì),處理和分析表示結(jié)構(gòu)與神經(jīng)流形的優(yōu)化逼近過程。第43頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1443一維一層第44頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1444自組織神經(jīng)場動力學(xué)presynapticfield第45頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1445拓?fù)溆成渥越M織amplificationtopologypatchstructure(colummarstructure)dynamicalinstabilityWillshaw-MalsburgTakeuchi-AmariKohonensignalspaceneuralfield第46頁，課件共52頁，創(chuàng)作于2023年2月2023/7/1446神經(jīng)場

............HiddenUnitsInputUnits

OutputUnits

x

yzFieldOrganizationM