生物神經網絡系統(tǒng)突觸連接的可塑性

1、生物神經網絡系統(tǒng)突觸連接的可塑性生物神經網絡系統(tǒng)突觸連接的可塑性目錄目錄一、生物神經網絡系統(tǒng)一、生物神經網絡系統(tǒng)二、二、神經突觸可塑性動力學研究神經突觸可塑性動力學研究三、神經三、神經學習記憶功能學習記憶功能研究研究四、一些思考四、一些思考3前言前言n生命體主要活動：生命體主要活動： 物質運動物質運動- 機械、電磁、化學等作用機械、電磁、化學等作用 信息活動信息活動- 生長信息、認知信息、集群信息生長信息、認知信息、集群信息 這兩種這兩種活動活動 密切相關，為此需要深入研究它們的密切相關，為此需要深入研究它們的相互作用。生物神經網絡系統(tǒng)的動力學研究突出相互作用。生物神經網絡系統(tǒng)的動力學研究突出

2、地反映這個問題。地反映這個問題。n復雜網絡系統(tǒng)的理論已經重要成果，當前的一個復雜網絡系統(tǒng)的理論已經重要成果，當前的一個發(fā)展趨勢是在生物網絡系統(tǒng)中的應用。發(fā)展趨勢是在生物網絡系統(tǒng)中的應用。 ian45一、生物神經網絡系統(tǒng)一、生物神經網絡系統(tǒng)神經元神經元神經元集群神經元集群腦的特定區(qū)域腦的特定區(qū)域皮層的大規(guī)模組織皮層的大規(guī)模組織全腦全腦大腦大腦生物神經網絡系統(tǒng)概述（一）生物神經網絡系統(tǒng)概述（一） 生物神經系統(tǒng)作為產生感覺、學習、記憶和思維等認知功能的器官系統(tǒng)，是多層次的超大型信息網絡，也是目前發(fā)現(xiàn)的最復雜的非線性網絡系統(tǒng)。 神經信息傳導和整合過程是通過神經網絡系統(tǒng)實現(xiàn)的，因此神經系統(tǒng)的網絡動力學行

3、為與其信息活動和認知功能密切相關。為了進一步探討腦神經信息傳導過程和認知、思維、控制等功能的需要，必須深入研究神經網絡系統(tǒng)的豐富動力學問題。78生物神經網絡系統(tǒng)概述（二）生物神經網絡系統(tǒng)概述（二） 生物神經元的類型和連接形式的多樣性使得神經網絡系統(tǒng)具有復雜的拓撲結構和動態(tài)特性，表現(xiàn)出很強的非線性和復雜性。 在整個神經系統(tǒng)中，神經元對信息的反應是由神經元集群共同完成的，而不是單一神經元的功能，因此我們需要從復雜網絡動力學的觀點去考察耦合神經元系統(tǒng)放電的復雜活動和時空動力學行為，探索神經系統(tǒng)如何對外界的信號進行加工、傳導和整合，進而深入理解神經高級認知功能。9生物神經網絡系統(tǒng)特點生物神經網絡系統(tǒng)特

4、點生物神經網絡系統(tǒng)首先將外界的各種刺激轉化為神經電信號，通過 神經信息傳導和整合過程，實現(xiàn)生物的認知和運動控制的功能。 其復雜性表現(xiàn)為以下方面：n海量維數(shù)神經元和突觸的數(shù)目極其巨大（如人腦約有1011個神經元，每個神經元有103-104個突觸）n多種類型的神經元n多層次從分子層次直到認知和心理活動層次；每個層次都有 十分復雜的動力學行為，且彼此緊密相關n多時間尺度從電脈沖的毫秒級，到一般感覺的秒級，到學習、記憶、辨識等的更長時間n多功能包括視、聽、嗅、味等感官和運動系統(tǒng)的功能n多影響因素神經元和突觸參數(shù)、網絡結構參數(shù)、時滯、噪聲等n神經信息編碼與解碼n高度的魯棒性、自調節(jié)性、自學習能力生物神經

5、網絡系統(tǒng)分類（一）生物神經網絡系統(tǒng)分類（一）n微觀微觀分子分子層次層次 ； 細胞細胞層次層次；n介觀介觀 神經元集群（耦合振子神經元集群（耦合振子集合集合 ）層次層次； n 宏觀宏觀 器官器官和運動控制系統(tǒng)和運動控制系統(tǒng)層次層次1011生物神經網絡系統(tǒng)分類（二）生物神經網絡系統(tǒng)分類（二）n結構性網絡結構性網絡(structural network )(structural network )：從神經元之間直到腦：從神經元之間直到腦功能區(qū)之間的連接關系的大腦網絡生理解剖結果功能區(qū)之間的連接關系的大腦網絡生理解剖結果n功能性網絡功能性網絡(functional network) (function

6、al network) ：描述神經元集群（例如：描述神經元集群（例如皮層區(qū)域）各節(jié)點之間的統(tǒng)計性連接關系所產生的信息結果皮層區(qū)域）各節(jié)點之間的統(tǒng)計性連接關系所產生的信息結果n效率性網絡效率性網絡(effective network) (effective network) ：描述皮層神經網絡各：描述皮層神經網絡各節(jié)點非線性動力學行為之間的相互影響或信息流向，比功能節(jié)點非線性動力學行為之間的相互影響或信息流向，比功能性網絡更強調節(jié)點之間相互因果作用性網絡更強調節(jié)點之間相互因果作用 結構性或功能性網絡可以利用圖論方法結構性或功能性網絡可以利用圖論方法, , 同時采用各種技術手段（包括同時采用各種技

7、術手段（包括EEGEEG，MEGMEG，MRIMRI，fMRIfMRI，CTCT，PETPET）和理論模型及其計算仿真一起去拼接出大腦網絡的）和理論模型及其計算仿真一起去拼接出大腦網絡的圖景。但效率性網絡的研究尚少。圖景。但效率性網絡的研究尚少。 12神經動力學神經動力學（計算神經科學）（計算神經科學）n神經動力學（計算神經科學）研究生物神經元神經動力學（計算神經科學）研究生物神經元網絡的放電和信息活動網絡的放電和信息活動, ,以及神經認知行為以及神經認知行為的的動力學問題是非線性動力學、網絡科學和神經動力學問題是非線性動力學、網絡科學和神經科學的跨學科交叉研究領域?？茖W的跨學科交叉研究領域。

8、n建立神經科學的建立神經科學的“理論、計算和實驗相結合理論、計算和實驗相結合”的新研究模式。的新研究模式。n向神經系統(tǒng)的放電活動、信息編碼、網絡及認向神經系統(tǒng)的放電活動、信息編碼、網絡及認知行為提出了一系列嶄新研究方向和問題。知行為提出了一系列嶄新研究方向和問題。13 神經醫(yī)學與生物控制工程神經醫(yī)學與生物控制工程生物神經元放電和編碼活動生物神經元放電和編碼活動生物控制科學生物控制科學生物神經復雜網絡生物神經復雜網絡智能機器人智能機器人神經生理解剖結構神經生理解剖結構神經認知科學神經認知科學神經計算機神經計算機神經醫(yī)學神經醫(yī)學14二、二、神經突觸可塑性動力學研究神經突觸可塑性動力學研究n突觸概述

9、突觸概述n突觸可塑性突觸可塑性n樹突對樹突對突觸可塑性突觸可塑性的影響的影響n時滯時滯、噪聲對神經網絡系統(tǒng)的放電同步和時空、噪聲對神經網絡系統(tǒng)的放電同步和時空行為的影響行為的影響突觸概述突觸概述n神經元之間的信號傳遞通過精細的突觸結構。神經元神經元之間的信號傳遞通過精細的突觸結構。神經元通過突觸連接進行神經信息傳遞和轉導，以實現(xiàn)細胞通過突觸連接進行神經信息傳遞和轉導，以實現(xiàn)細胞間的信息交流。間的信息交流。n根據神經元的耦合機理，突觸傳遞分為電突觸和根據神經元的耦合機理，突觸傳遞分為電突觸和化學突觸兩類，再按響應特性又可分為興奮型和化學突觸兩類，再按響應特性又可分為興奮型和抑制型。抑制型。n突觸

10、動力學用以刻畫在突觸中電信號和化學信號突觸動力學用以刻畫在突觸中電信號和化學信號的相互轉化，信號的接收和傳遞等動力學過程。的相互轉化，信號的接收和傳遞等動力學過程。1516神經元間的信號傳遞方式：突觸神經元間的信號傳遞方式：突觸突觸突觸17電突觸與化學突觸電突觸與化學突觸突觸耦合的數(shù)學模型突觸耦合的數(shù)學模型n電耦合的數(shù)學模型為：Ie=ge(vpre(t d) vpost(t)，這里 ge是耦合強度，vpre 和 vpost是突觸前和突觸后膜電位， d表示突觸延遲。n化學耦合有多種數(shù)學模型，如 Isyn = gsyn(v vsyn) H(vpre(t - d) vthresh) 這里 gsyn是

11、耦合強度，vpre 和 vsyn是突觸前和突觸膜電位， vthresh是突觸閾值，d表示突觸延遲。18神經神經突觸可塑性突觸可塑性 真實神經網絡系統(tǒng)通常是動態(tài)的。為此我真實神經網絡系統(tǒng)通常是動態(tài)的。為此我們不僅要考慮神經元動力系統(tǒng)和神經網絡拓們不僅要考慮神經元動力系統(tǒng)和神經網絡拓撲結構的的高度非線性和復雜性，還要討論撲結構的的高度非線性和復雜性，還要討論神經網絡系統(tǒng)的時變性、魯棒性和易損性等神經網絡系統(tǒng)的時變性、魯棒性和易損性等問題問題，其中涉及的一個重要問題是學習和記，其中涉及的一個重要問題是學習和記憶功能，這與突觸可塑性研究密切相關。憶功能，這與突觸可塑性研究密切相關。19突觸可塑性的實驗

12、基礎突觸可塑性的實驗基礎nBliss（1973)在麻醉的家兔海馬上發(fā)現(xiàn)了長時程突觸增強效應（在麻醉的家兔海馬上發(fā)現(xiàn)了長時程突觸增強效應（long-term potentiation, LTP)，單個脈沖測試引起群體峰電位，單個脈沖測試引起群體峰電位或群體興奮性突觸后電位增高?；蛉后w興奮性突觸后電位增高。nNicoll et al（202X）通過實驗驗證了聯(lián)合型）通過實驗驗證了聯(lián)合型LTP。n后來還發(fā)現(xiàn)突觸后電位也能產生與長時程突觸增強的相反方后來還發(fā)現(xiàn)突觸后電位也能產生與長時程突觸增強的相反方式，使用的刺激方式是長時間的低頻刺激，持續(xù)幾百次即可式，使用的刺激方式是長時間的低頻刺激，持續(xù)幾百次即

13、可引起興奮性突觸后電位的持續(xù)降低引起興奮性突觸后電位的持續(xù)降低(long-term depression, LTD) 。這些都為突觸的變化提供了可靠的證據。這些都為突觸的變化提供了可靠的證據。n神經突觸的耦合系數(shù)受到突觸前后的神經元活動的相互作用的影神經突觸的耦合系數(shù)受到突觸前后的神經元活動的相互作用的影響而隨時間變化，稱為突觸的可塑性。響而隨時間變化，稱為突觸的可塑性。20Hebb突觸可塑性假說突觸可塑性假說 20世紀中葉，神經心理學家世紀中葉，神經心理學家D. O. Hebb根據長根據長期實驗研究的結果，提出了學習過程中突觸運作期實驗研究的結果，提出了學習過程中突觸運作的基本規(guī)律，的基本規(guī)

14、律，即即”當某一突觸兩端的神經元同步激活當某一突觸兩端的神經元同步激活（同為興奮或同為抑制）時，該連接強度增強，反之（同為興奮或同為抑制）時，該連接強度增強，反之應減弱應減弱”的著名論斷，被稱為的著名論斷，被稱為Hebb假說假說。21The Hebbian postulate for cellular learning “When an axon of cell A is near enough to excite B and repeatedly or persistently takes part in firing it, some growth process or metabolic

15、 change takes place in one or both cells such that As efficiency, as one of the cells firing B, is increased.”22Hebb突觸學習突觸學習規(guī)則規(guī)則 令神經令神經細胞細胞A和和B的的電電發(fā)放為發(fā)放為Va和和Vb，它的突觸，它的突觸連接系數(shù)連接系數(shù)為為Wab。由于細胞由于細胞A和細胞和細胞B的發(fā)放，引起的發(fā)放，引起它它們之間突觸聯(lián)系們之間突觸聯(lián)系有個增量有個增量Wab，根據根據Hebb規(guī)則有規(guī)則有數(shù)學表達式數(shù)學表達式： Wab = f（Va，Vb），）， 其中其中f表示某種函數(shù)關系。表示某

16、種函數(shù)關系。 Hebb的突觸學習律并沒有直接告訴我們這個函數(shù)的突觸學習律并沒有直接告訴我們這個函數(shù)f的形式如的形式如何。把神經元作為何。把神經元作為神經系統(tǒng)的神經系統(tǒng)的基本單元，神經元之間的突觸系基本單元，神經元之間的突觸系數(shù)作為一個變數(shù)。現(xiàn)在借助數(shù)學，計算機科學和物理學數(shù)作為一個變數(shù)?，F(xiàn)在借助數(shù)學，計算機科學和物理學理論理論，提出一些學習和記憶的數(shù)學理論提出一些學習和記憶的數(shù)學理論，這些理論都是建立這些理論都是建立在在突觸突觸可塑性基礎之上可塑性基礎之上。23Hebb的突觸可塑性假說的實驗驗證的突觸可塑性假說的實驗驗證 Hebb關于學習和記憶的突觸可塑性變化假關于學習和記憶的突觸可塑性變化假

17、說說，在當時僅僅是一種猜想。而后，形態(tài)學研究以及在當時僅僅是一種猜想。而后，形態(tài)學研究以及電生理實驗電生理實驗開始開始證實這一假證實這一假說說，如，如Bliss（1973）等的工作等的工作。半世紀以來的神經生理學的實驗研究。半世紀以來的神經生理學的實驗研究所取的證據都傾向所取的證據都傾向于于支持支持Hebb突觸修飾的假說。突觸修飾的假說。還有還有一些實驗表明，隨著某一神經回路的多次應用一些實驗表明，隨著某一神經回路的多次應用，該回路上的突觸數(shù)量增多，體積變大，甚至還長，該回路上的突觸數(shù)量增多，體積變大，甚至還長出新的突觸出來出新的突觸出來，學習和記憶學習和記憶功能得到顯著加強功能得到顯著加強。

18、24Hebb的突觸可塑性假說的實驗驗證（續(xù)）的突觸可塑性假說的實驗驗證（續(xù)） 近年來近年來，特別是特別是Markram、Bell、Amzica、Zhang及及Bi 等人的實驗研究工作給出了較為完整的和準確的等人的實驗研究工作給出了較為完整的和準確的關于關于Hebb突觸的實驗證明，并給出了突觸修飾對于突觸的實驗證明，并給出了突觸修飾對于時間的敏感性以及時間的敏感性以及發(fā)現(xiàn)了發(fā)現(xiàn)了Hebb猜想中并未明確的突猜想中并未明確的突觸抑制觸抑制（depression）機制機制。這些工作顯示：突觸這些工作顯示：突觸可塑性對時間信號具有敏感性；正相關的突觸后放可塑性對時間信號具有敏感性；正相關的突觸后放電將引

19、起突觸聯(lián)系的增強電將引起突觸聯(lián)系的增強，而，而負相關的突觸后放電負相關的突觸后放電將引起突觸聯(lián)系減弱將引起突觸聯(lián)系減弱。 25樹突對樹突對突觸可塑性突觸可塑性的影響的影響 目前的神經元網絡建模中，大多數(shù)連接方目前的神經元網絡建模中，大多數(shù)連接方式沒有考慮空間方面的影響。實際上，突觸可式沒有考慮空間方面的影響。實際上，突觸可塑性是由突觸前后的瞬時動作電位支配的，而塑性是由突觸前后的瞬時動作電位支配的，而突觸后電位又受到樹突棘結構性質的影響，因突觸后電位又受到樹突棘結構性質的影響，因此樹突的可興奮性必然反映到突觸可塑性規(guī)律此樹突的可興奮性必然反映到突觸可塑性規(guī)律上面；同樣地，突觸在樹突上的位置也會

20、上面；同樣地，突觸在樹突上的位置也會間接間接地地影響其可塑性規(guī)律。影響其可塑性規(guī)律。反之，反之，突觸可塑性當然影突觸可塑性當然影響樹突的工作特性。響樹突的工作特性。26樹突對樹突對突觸可塑性突觸可塑性的影響（續(xù)）的影響（續(xù)）結論：結論：n在生物神經網絡模型時，在生物神經網絡模型時，必然存在必然存在突觸可塑突觸可塑性與樹突的可興奮性的相互作用回路特性性與樹突的可興奮性的相互作用回路特性。n樹突的電性質不是靜態(tài)的，要受到神經調制機樹突的電性質不是靜態(tài)的，要受到神經調制機理和突觸活動的影響，因此突觸學習規(guī)律會隨理和突觸活動的影響，因此突觸學習規(guī)律會隨著樹突響應特性函數(shù)的著樹突響應特性函數(shù)的 形式發(fā)生

21、動態(tài)的變化形式發(fā)生動態(tài)的變化。27三、神經三、神經學習記憶功能學習記憶功能研究研究 學習和記憶是動物和人類的生存必需的重要腦基本功能，是學習和記憶是動物和人類的生存必需的重要腦基本功能，是兩個互相聯(lián)系的神經過程。學習是指獲得外界信號的神經過程兩個互相聯(lián)系的神經過程。學習是指獲得外界信號的神經過程，而記憶是將獲得的信息儲存和讀出的神經過程。，而記憶是將獲得的信息儲存和讀出的神經過程。 學習和記憶本身也不是單一過程，可以包含不同的神經過程學習和記憶本身也不是單一過程，可以包含不同的神經過程： 學習可分為非聯(lián)合型學習和聯(lián)合型學習。學習可分為非聯(lián)合型學習和聯(lián)合型學習。 記憶可分為短時記憶和長時記憶；陳

22、述性記憶和非陳述性記憶可分為短時記憶和長時記憶；陳述性記憶和非陳述性記憶等。記憶等。 28Hebb理論與學習記憶功能理論與學習記憶功能 突觸可塑性是學習和記憶的基礎。突觸可塑性是學習和記憶的基礎。 Hebb提出的關于突觸傳遞變化的理論，設想在學習過程中提出的關于突觸傳遞變化的理論，設想在學習過程中突觸發(fā)生某些變化，導致突觸連接的增強和傳遞效能的提高突觸發(fā)生某些變化，導致突觸連接的增強和傳遞效能的提高。他提出重復持續(xù)的活動可以引起神經元連接的長時程變化。他提出重復持續(xù)的活動可以引起神經元連接的長時程變化并固定起來，即學習能力的增強。并固定起來，即學習能力的增強。 他后來又進一步指出，記憶不是兩個

23、神經元之間連接的變化他后來又進一步指出，記憶不是兩個神經元之間連接的變化，而是同時被激活的神經元集合的持續(xù)活動可以使細胞的相互聯(lián)，而是同時被激活的神經元集合的持續(xù)活動可以使細胞的相互聯(lián)系加強，從而實現(xiàn)對刺激的記憶。系加強，從而實現(xiàn)對刺激的記憶。 神經電脈沖到達突觸的時間是離散的，空間分布也是復雜神經電脈沖到達突觸的時間是離散的，空間分布也是復雜的，因此突觸可塑性是統(tǒng)計的結果。的，因此突觸可塑性是統(tǒng)計的結果。 29Hebb學習理論的發(fā)展（一）學習理論的發(fā)展（一） Hebb突觸修飾假設無論對于神經科學還是計算突觸修飾假設無論對于神經科學還是計算神經神經科科學都是重要的。學都是重要的。 根據根據He

24、bb突觸假突觸假說說，發(fā)展了各種突觸變化的，發(fā)展了各種突觸變化的學習律，如經典的學習律，如經典的Hebb學習律、加強學習律、相關學習律、學習律、加強學習律、相關學習律、協(xié)方差律、協(xié)方差律、BCM律。這幾種學習律在具體執(zhí)行時往往會發(fā)生律。這幾種學習律在具體執(zhí)行時往往會發(fā)生突觸系數(shù)無限增大，從而使系統(tǒng)不穩(wěn)定。限于神經生理學的突觸系數(shù)無限增大，從而使系統(tǒng)不穩(wěn)定。限于神經生理學的研究，研究，Hebb學習律還存在諸多問題，如學習律還存在諸多問題，如Hebb突觸的聯(lián)系效率突觸的聯(lián)系效率只能增長卻無上限等。這在神經生理學上是沒有依據的。只能增長卻無上限等。這在神經生理學上是沒有依據的。Hebb學習律的改進和

25、發(fā)展學習律的改進和發(fā)展依然依然是是今后今后突觸可塑性研究的重突觸可塑性研究的重要問題之一。要問題之一。30Hebb學習理論的發(fā)展（二）學習理論的發(fā)展（二） Oja（202X）為了避免不穩(wěn)定性，提出了一種非）為了避免不穩(wěn)定性，提出了一種非監(jiān)督學習律，稱之為監(jiān)督學習律，稱之為“Oja學習律學習律”。Oja 學習規(guī)則作學習規(guī)則作為為Hebb 學習規(guī)則的一種改進算法學習規(guī)則的一種改進算法, 它在單個神經元它在單個神經元的權值變化中具有很好的收斂性的權值變化中具有很好的收斂性 , 但是在規(guī)模比較大但是在規(guī)模比較大的生物神經網絡中的生物神經網絡中, Oja 學習規(guī)則易使網絡的解產生學習規(guī)則易使網絡的解產生

26、發(fā)散。發(fā)散。31Hebb學習理論的發(fā)展（三）學習理論的發(fā)展（三） 鄭鴻宇等根據實際生物神經元之間的連接強度隨時間鄭鴻宇等根據實際生物神經元之間的連接強度隨時間變化的特點變化的特點，首先構造了一個首先構造了一個Hodgkin-Huxley 方程方程為節(jié)點動力學模型的動態(tài)變權小世界生物神經網絡為節(jié)點動力學模型的動態(tài)變權小世界生物神經網絡模型模型，然后研究了該模型神經元的興奮特性、權然后研究了該模型神經元的興奮特性、權值變化特點和不同的學習系數(shù)對神經元的興奮統(tǒng)值變化特點和不同的學習系數(shù)對神經元的興奮統(tǒng)計特性的影響計特性的影響。 最有意義的結果是最有意義的結果是,在同樣的網絡結在同樣的網絡結構、網絡參

27、數(shù)及外部刺激信號的條件下構、網絡參數(shù)及外部刺激信號的條件下，學習系數(shù)學習系數(shù)b 存在一個最優(yōu)值存在一個最優(yōu)值bopt ，使生物神經網絡的興奮度在使生物神經網絡的興奮度在bopt 處處達到最大達到最大。32Hebb學習理論的發(fā)展（四）學習理論的發(fā)展（四）n脈沖時間依賴的突觸可塑性（脈沖時間依賴的突觸可塑性（spike-timing dependent plasticity, STDP）現(xiàn)象的發(fā)現(xiàn)，使）現(xiàn)象的發(fā)現(xiàn)，使Hebb學習律更為精確學習律更為精確定量，時間在數(shù)十毫秒之內，為時間編碼理論（而不是長定量，時間在數(shù)十毫秒之內，為時間編碼理論（而不是長時程的平均發(fā)放）提供了直接證據時程的平均發(fā)放）提

28、供了直接證據。STDP的發(fā)現(xiàn)的發(fā)現(xiàn)也也是是Hebb的細胞集群理論的一個實驗的細胞集群理論的一個實驗證證據。據。nSTDP的突觸修正規(guī)律是一種快速的變化，可能對學習效的突觸修正規(guī)律是一種快速的變化，可能對學習效果產生影響，同時果產生影響，同時表明表明不同類型的時間窗不同類型的時間窗口口可能對學習可能對學習的結果有關鍵性的作用。的結果有關鍵性的作用。 因此因此STDP的發(fā)現(xiàn)以及其理論可的發(fā)現(xiàn)以及其理論可能對現(xiàn)有的學習算法產生重大影響。能對現(xiàn)有的學習算法產生重大影響。33Hebb學習理論的發(fā)展（五）學習理論的發(fā)展（五）nDayan & Abbott（202X）提出了一個）提出了一個STDP規(guī)則指導規(guī)則指導下的學習律。它僅是描述了下的學習律。它僅是描述了STDP的可塑性，這種方式的可塑性，這種方式的可塑性對學習過程究竟有什么好處，及多種窗口函的可塑性對學習過程究竟有什么好處，及多種窗口函數(shù)情況下學習過程有何不同等問題還需要進一步考慮數(shù)情況