神經(jīng)網(wǎng)絡(luò)與復(fù)雜網(wǎng)絡(luò)的分析

1、神經(jīng)網(wǎng)絡(luò)與復(fù)雜網(wǎng)絡(luò)的分析摘要復(fù)雜網(wǎng)絡(luò)在現(xiàn)實生活中是無處不在的， 生物網(wǎng)絡(luò)是它的一個分類。 神經(jīng)網(wǎng)絡(luò) 是很重要的生物網(wǎng)絡(luò)。利用神經(jīng)網(wǎng)絡(luò)是可以研究一些其他的方向，如網(wǎng)絡(luò)安全、 人工智能等。 而神經(jīng)網(wǎng)絡(luò)又可以因為它是復(fù)雜的網(wǎng)絡(luò)， 可以利用復(fù)雜網(wǎng)絡(luò)的部分 性質(zhì)里進行研究，比如小世界效應(yīng)的。本文只要介紹了幾篇應(yīng)用復(fù)雜網(wǎng)絡(luò)的研究，并進行簡單的介紹和分析。關(guān)鍵詞： 復(fù)雜網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)AbstractThe Complex network is in everywhere in real life, while Biological network is one of kinds of it. And neu

2、ral network is one of the most important of biological network. The neural network could be used to research other subjects such as network security, artificial intelligence and so on. However we also use some properties of complex network to study neural network. Foe example we could use small-worl

3、d to study it.This paper introduces and analysis five articles that use complex network.Key word： complex network、 neural network神經(jīng)網(wǎng)絡(luò)與復(fù)雜網(wǎng)絡(luò)的分析在神經(jīng)網(wǎng)絡(luò)的研究中， 除了根據(jù)神經(jīng)生物學(xué)實驗得到基本組成單元的數(shù)學(xué)模 型以及使用動力學(xué)對于模型系統(tǒng)的活動進行認識以外， 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)也是一個 重要的方面。 網(wǎng)絡(luò)的結(jié)構(gòu)對于大多數(shù)復(fù)雜系統(tǒng)整體的動力學(xué)具有重要的影響， 這 已經(jīng)是一個被普遍接受的觀點。復(fù)雜網(wǎng)絡(luò)一開始就是一個交叉學(xué)科研究。 在復(fù)雜網(wǎng)絡(luò)研究興起之前， 網(wǎng)絡(luò)概

4、 念就已經(jīng)在幾個研究領(lǐng)域出現(xiàn)并發(fā)揮著重要的作用， 例如社會學(xué)研究， 計算機網(wǎng) 絡(luò)和互聯(lián)網(wǎng)， 數(shù)學(xué)中的一個分支圖論， 以及神經(jīng)系統(tǒng)活動。 在現(xiàn)實世界中復(fù)雜網(wǎng) 絡(luò)是無處不在的。在現(xiàn)實社會中復(fù)雜網(wǎng)絡(luò)主要分為四類：社交網(wǎng)絡(luò)、生物網(wǎng)絡(luò)、 技術(shù)網(wǎng)絡(luò)和信息網(wǎng)絡(luò)。在現(xiàn)實生活中很多生物系統(tǒng)都可以被表示成網(wǎng)絡(luò)的形式， 并利用這種形成的網(wǎng)絡(luò)結(jié)構(gòu)來研究相應(yīng)的生物系統(tǒng)。 生物網(wǎng)絡(luò)的典型例子可能是 代謝路徑網(wǎng)絡(luò)， 它是代謝基質(zhì)和代謝產(chǎn)物的刻畫， 如果一已知代謝反應(yīng)存在， 其 作用于給定基質(zhì)并產(chǎn)生指定產(chǎn)物， 兩者之間由有向邊連接。 如一個不同的網(wǎng)絡(luò)是 蛋白質(zhì)之間的力學(xué)物理相互作用網(wǎng)絡(luò)（與代謝物中的化學(xué)反應(yīng)相對） ，它經(jīng)常被

5、 指為蛋白質(zhì)相互作用網(wǎng)絡(luò)。 而在生物網(wǎng)絡(luò)中還有幾個重要的應(yīng)用如： 基因調(diào)節(jié)網(wǎng) 絡(luò)、食物鏈網(wǎng)、血管網(wǎng)絡(luò)等。在其中還有一個相當重要的生物網(wǎng)絡(luò)就是神經(jīng)網(wǎng)絡(luò)。 就是對現(xiàn)實中的神經(jīng)網(wǎng)絡(luò)進行模擬， 但是對現(xiàn)實神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)進行測度極 為困難，但在一些案個別的案例中得到成功實施。人工神經(jīng)網(wǎng)絡(luò)也簡稱為神經(jīng)網(wǎng)絡(luò)或稱作連接模型， 它是一種模范動物神經(jīng)網(wǎng) 絡(luò)行為特征， 進行分布式并行信息處理的算法數(shù)學(xué)模型。 這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù) 雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系， 從而達到處理信息的目的。 人工神經(jīng)網(wǎng)絡(luò)是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進行信息處理的數(shù)學(xué) 模型。在工程與學(xué)術(shù)界也常直接簡稱為神經(jīng)

6、網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。 神經(jīng)網(wǎng)絡(luò)是一種 運算模型， 由大量的節(jié)點 （或稱神經(jīng)元） 和之間相互聯(lián)接構(gòu)成。 每個節(jié)點代表一 種特定的輸出函數(shù)，稱為激勵函數(shù)（activation function）。每兩個節(jié)點間的連接都 代表一個對于通過該連接信號的加權(quán)值， 稱之為權(quán)重， 這相當于人工神經(jīng)網(wǎng)絡(luò)的 記憶。 網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式， 權(quán)重值和激勵函數(shù)的不同而不同。 而網(wǎng) 絡(luò)自身通常都是對自然界某種算法或者函數(shù)的逼近， 也可能是對一種邏輯策略的 表達。在研究神經(jīng)網(wǎng)絡(luò)時， 有幾個重要的研究方向。 可以研究復(fù)雜網(wǎng)絡(luò)的拓撲屬性 來研究神經(jīng)網(wǎng)絡(luò)。在王勝軍 1 的論文復(fù)雜網(wǎng)絡(luò)上神經(jīng)動力學(xué)研究中主要是研究了復(fù)雜網(wǎng)

7、絡(luò)的拓撲屬性對神經(jīng)網(wǎng)絡(luò)動力學(xué)的影響， 神經(jīng)網(wǎng)絡(luò)中限制同步性的一種動力學(xué)機 制，并且使用神經(jīng)網(wǎng)絡(luò)研究了復(fù)雜網(wǎng)絡(luò)本身的一個普遍性問題： 稀疏性特征的意 義。他是分為幾個方面來進行研究的。 一、研究了復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)對于兩層神經(jīng)網(wǎng) 絡(luò)之間的同步的影響。 二、研究了神經(jīng)元之間突觸耦合的效能對于興奮性神經(jīng)網(wǎng) 絡(luò)中放電同步的影響。三、研究了度關(guān)聯(lián)無標度吸引子網(wǎng)絡(luò)對刺激的響應(yīng)。四、 使用吸引子網(wǎng)絡(luò)模型作為例子研究復(fù)雜網(wǎng)絡(luò)稀疏特征的功能意義。 從這幾個方面 來研究神經(jīng)網(wǎng)絡(luò)，和理解一個稀疏的連接密度上網(wǎng)絡(luò)的拓撲屬性對于網(wǎng)絡(luò)上動力 學(xué)的影響最明顯。 使用信噪比分析， 我們證明非單調(diào)的差異是由網(wǎng)絡(luò)度分布的差 異性和信號

8、強度的競爭導(dǎo)致的。 此工作有助于深刻理解具有網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜系統(tǒng) 往往是稀疏的這一普遍現(xiàn)象。在研究神經(jīng)網(wǎng)絡(luò)時， 并不一定是從網(wǎng)絡(luò)的結(jié)構(gòu)來研究的， 也可以從小世界的 方向進行對神經(jīng)網(wǎng)絡(luò)的研。 小世界效應(yīng)是復(fù)雜網(wǎng)絡(luò)的一個性質(zhì)。 在主要是指在一 個網(wǎng)絡(luò)中的任意兩個節(jié)點之間的距離是很短的。 著名的六度分割的實驗就表明了 在真實世界存在一種小世界效應(yīng)的。 而神經(jīng)網(wǎng)絡(luò)是屬于生物網(wǎng)絡(luò)的， 而生物網(wǎng)絡(luò) 是復(fù)雜網(wǎng)絡(luò)在現(xiàn)實世界中的一個重要的分類， 所以神經(jīng)網(wǎng)絡(luò)也應(yīng)該具有小世界效 應(yīng)的。但是真是的神經(jīng)網(wǎng)絡(luò)是不容易進行研究的， 所以通過研究人工神經(jīng)網(wǎng)絡(luò)來 進行對真實的神經(jīng)網(wǎng)絡(luò)的研究。而 LI Shou-wei 3 在

9、Analysis of Contrasting Neural Network with Small-world Network 文章，對三類網(wǎng)絡(luò)進行比較，即比較人 工神經(jīng)網(wǎng)絡(luò)、 腦神經(jīng)網(wǎng)絡(luò)和小世界網(wǎng)絡(luò)。 根據(jù)和腦神經(jīng)網(wǎng)絡(luò)進行比較分析， 可以 觀測到典型的人工神經(jīng)網(wǎng)絡(luò)時規(guī)則的， 它的功能有很對缺陷和限制； 腦神經(jīng)網(wǎng)絡(luò) 是一個小世界網(wǎng)絡(luò)； 人工神經(jīng)網(wǎng)絡(luò)和小世界網(wǎng)絡(luò)的不同組成它們復(fù)雜性的三個等 級：點、邊和行為。 還討論了如何重構(gòu)人工神經(jīng)網(wǎng)絡(luò)到小世界網(wǎng)絡(luò)。 小世界神經(jīng) 網(wǎng)絡(luò)可以通過以一定概率 p 進行重連，而對于最好的模擬是這個重連的概率是滿 足 0<p<0.1 的。對小世界網(wǎng)絡(luò)和神經(jīng)網(wǎng)

10、絡(luò)的關(guān)系的研究不止這樣， 還有很多人是基于小世界神經(jīng)網(wǎng)絡(luò)進行研究的。在王小虎等人2 的文章多層前向小世界神經(jīng)網(wǎng)絡(luò)的逼近與容錯性能 中就是借助了小世界效應(yīng)來研究神經(jīng)網(wǎng)絡(luò)的。 他們的 基本思想是基于 Watts Strogatz網(wǎng)絡(luò)模型的構(gòu)造思想，對多層前向神經(jīng)網(wǎng)絡(luò)中的 規(guī)則連接依重連概率進行重連， 構(gòu)建了一種多層前向小世界神經(jīng)網(wǎng)絡(luò)模型 對該 網(wǎng)絡(luò)模型進行簡要的數(shù)學(xué)描述， 并以函數(shù)逼近和網(wǎng)絡(luò)容錯仿真考察了構(gòu)建的小世 界神經(jīng)網(wǎng)絡(luò)的性能。神經(jīng)網(wǎng)絡(luò)是一個大的領(lǐng)域， 在其中聯(lián)想記憶是一個重要的組成部分， 也是神 經(jīng)網(wǎng)絡(luò)用于智能控制、 模式識別與人工智能等領(lǐng)域的一個重要功能。 它主要利用 神經(jīng)網(wǎng)絡(luò)的良好容錯

11、性 能使不完整的、 污損的、畸變的輸入樣本恢復(fù)成完整的 原型，適于識別、分類等用途。在徐志 4的基于復(fù)雜網(wǎng)絡(luò)的聯(lián)想記憶網(wǎng)絡(luò)研 究中就是應(yīng)用復(fù)雜網(wǎng)絡(luò)的拓撲結(jié)構(gòu)來研究神經(jīng)網(wǎng)絡(luò)中的聯(lián)想記憶網(wǎng)絡(luò)。 他們是 建立一個具有稀疏拓撲連接結(jié)構(gòu)的網(wǎng)絡(luò)來完成聯(lián)想記憶的功能。 他們首先對傳統(tǒng) 的研究方法進行里總結(jié)，如：離散 Hopfield 網(wǎng)絡(luò)和連續(xù) Hopfield 網(wǎng)絡(luò)進行了分 析?；趶?fù)雜網(wǎng)絡(luò)的新型聯(lián)想記憶網(wǎng)絡(luò)。 即出于降低連接復(fù)雜度的目的， 同時根 據(jù)生物學(xué)中神經(jīng)系統(tǒng)中的復(fù)雜網(wǎng)絡(luò)的特性的發(fā)現(xiàn)， 基于小世界模型建立具有復(fù)雜 網(wǎng)絡(luò)特性的新型聯(lián)想記憶網(wǎng)絡(luò)， 是該新型網(wǎng)絡(luò)能再整體中連接較少的情況下仍使 得網(wǎng)絡(luò)具有

12、良好的記憶回想功能， 同時減少連邊數(shù)。 結(jié)果這種情況下， 即連邊數(shù) 數(shù)很小的情況下，能夠完成聯(lián)想記憶功能，并與其它的相比，具有一定的優(yōu)勢。不同的人在研究時有著不同的思路和方向的。 而在研究不同的理論時可以是 相互利用的。 所以可以用復(fù)雜網(wǎng)絡(luò)的理論來進行對神經(jīng)網(wǎng)絡(luò)的研究， 同樣也可以 用神經(jīng)網(wǎng)絡(luò)的理論來研究復(fù)雜網(wǎng)絡(luò)。張?zhí)m華等人 通過應(yīng)用BP網(wǎng)絡(luò)來進行對社團分類的研究。BP網(wǎng)絡(luò)是向后傳播網(wǎng)絡(luò)是在 1986年由Rumelhart和McCelland 為首的科學(xué)家小組提出， 是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)， 是目前 應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映 射

13、關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。 它的學(xué)習(xí)規(guī)則是使用最 速下降法， 通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值， 使網(wǎng)絡(luò)的誤差平方和最 小。BP神經(jīng)網(wǎng)絡(luò)模型拓撲結(jié)構(gòu)包括輸入層(in put)、隱層(hide layer)和輸出層 (output layer)0在張?zhí)m華等人的文章是將神經(jīng)網(wǎng)絡(luò)分類特性應(yīng)用到社團結(jié)構(gòu)的分 類之中的，以BP網(wǎng)絡(luò)為模型，用社團節(jié)點與神經(jīng)網(wǎng)絡(luò)節(jié)點的相似性來模擬社團 分類結(jié)果，構(gòu)建成員關(guān)系圖的鄰接矩陣，利用鄰接矩陣來進行實驗設(shè)計建立 BP 神經(jīng)網(wǎng)絡(luò) ,通過已知樣本學(xué)習(xí)和檢驗樣本檢驗 ,實現(xiàn)成員關(guān)系網(wǎng)絡(luò)的分類模擬。在進行神經(jīng)網(wǎng)絡(luò)和復(fù)雜網(wǎng)絡(luò)的研究時，有著大量的研究?？偨Y(jié)在這短短幾周的時間的學(xué)習(xí)， 了解到了神經(jīng)網(wǎng)絡(luò)的一些知識， 對此，感謝蒲老師的教導(dǎo)。并對為完成這篇文章給予幫助的同學(xué)表示感謝參考文獻1 . 王勝軍 . 復(fù)雜網(wǎng)絡(luò)上神經(jīng)動力學(xué)研究 . 20092 . 王小虎 . 多層前向小世界神經(jīng)網(wǎng)絡(luò)的逼近與容錯性能 . 西安交通大學(xué)學(xué)報第 44 卷第 7 期.20103 . LI Shou-wei. Analysis of Contrasting Neural Network with Small-world Network. DOI 10.