人工神經(jīng)網(wǎng)絡(luò)講稿

1、人工神經(jīng)網(wǎng)絡(luò)Artificial Neural Networks（ANN）第一節(jié)人工神經(jīng)網(wǎng)絡(luò)概論人工神經(jīng)網(wǎng)絡(luò)的基本概念生物學(xué)中的神經(jīng)網(wǎng)絡(luò)突觸（synapse），是一個神經(jīng)元與另一個神經(jīng)元之間相聯(lián)系并進(jìn)行信息傳送的結(jié)構(gòu) 1、神經(jīng)網(wǎng)絡(luò)的基本原理1）.（生物物理）神經(jīng)網(wǎng)絡(luò)是大腦的一個組成部分。大腦皮層的每一點(diǎn)的活力是由其他點(diǎn)勢能釋放的綜合效能產(chǎn)生的。 2）.這一勢能與以下因素有關(guān)：1）相關(guān)其他點(diǎn)的興奮次數(shù)；2）興奮的強(qiáng)度；3）與其不相連的其他點(diǎn)所接受的能量。 3）.（工程技術(shù)）神經(jīng)網(wǎng)絡(luò)是一個由大量簡單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)分為兩類 1）生物：主要包括生物學(xué)家、物理

2、學(xué)家和心理學(xué)家。他們研究的目的是給出大腦活動的精細(xì)模型和描述； 2）人工：主要包括工程技術(shù)人員。他們關(guān)心的是怎樣利用神經(jīng)網(wǎng)絡(luò)的基本原理，來構(gòu)造解決實際問題的算法，使得這些算法具有有趣和有效的計算能力。人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的基本原理是構(gòu)造人工神經(jīng)網(wǎng)絡(luò)模型的一個基本依據(jù)。人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks, 簡記作ANN），是對人類大腦系統(tǒng)的一階 特性的一種描述。簡單地講，它是一個數(shù) 學(xué)模型，可以用電子線路來實現(xiàn)，也可以 用計算機(jī)程序來模擬，是人工智能研究的 一種方法。神經(jīng)元的人工模型 神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元。

3、在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常被稱為“處理單元”。有時從網(wǎng)絡(luò)的觀點(diǎn)出發(fā)常把它稱為“節(jié)點(diǎn)”。人工神經(jīng)元是對生物神經(jīng)元的一種形式化描述。神經(jīng)網(wǎng)絡(luò)由相互關(guān)聯(lián)的神經(jīng)元組成。每一個神經(jīng)元由內(nèi)核，軸突和多個晶枝組成。晶枝可以想象為一個非常精密的毛刷環(huán)繞在內(nèi)核周圍。軸突可以想象為一根又長又細(xì)的管道，其終點(diǎn)分為眾多細(xì)小分枝，將內(nèi)核的信息傳遞給其他內(nèi)核的晶枝。這些細(xì)小分支的頭稱為突觸，其主要功能就是接觸其他內(nèi)核的晶枝。一個神經(jīng)元通過晶枝接收到一定的信息后，它對這些信息進(jìn)行處理，再通過它所控制的突觸傳送給其他的神經(jīng)元。神經(jīng)元分為兩種：“抑制”性的和“興奮”性的。目前，根據(jù)神經(jīng)生理學(xué)的研究，已經(jīng)發(fā)現(xiàn)神經(jīng)元及其問的突觸起

4、碼有不同的4種行為。神經(jīng)元的4種生物行為有： (1)能處于抑制或興奮狀態(tài)；(2)能產(chǎn)生爆發(fā)和平臺兩種情況；(3)能產(chǎn)生抑制后的反沖；(4)具有適應(yīng)性。突觸的4種生物行為有：(1)能進(jìn)行信息綜合；(2)能產(chǎn)生漸次變化的傳送；(3)有電接觸和化學(xué)接觸等多種連接方式；(4)會產(chǎn)生延時激發(fā)。目前，人工神經(jīng)網(wǎng)絡(luò)的研究僅僅是對神經(jīng)元的第一種行為和突觸的第一種行為進(jìn)行模擬 神經(jīng)元的興奮過程電位變化 神經(jīng)元建模神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的基本屬性(1)非線性(2)非局域性(3)非定常性(4)非凸性 神經(jīng)網(wǎng)絡(luò)就是由許多神經(jīng)元互連在一起所組成的神經(jīng)結(jié)構(gòu)。把神經(jīng)元之間相互作用的關(guān)系進(jìn)行數(shù)學(xué)模型化就可以得到神經(jīng)網(wǎng)絡(luò)模型。通?？?/p>

5、按5個原則進(jìn)行神經(jīng)網(wǎng)絡(luò)的歸類。按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分，則有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。按照學(xué)習(xí)方式區(qū)分，則有有教師學(xué)習(xí)和無教師學(xué)習(xí)網(wǎng)絡(luò)。按照網(wǎng)絡(luò)性能區(qū)分，則有連續(xù)型和離散性網(wǎng)絡(luò)，隨機(jī)型和確定型網(wǎng)絡(luò)。按照突觸性質(zhì)區(qū)分，則有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。按對生物神經(jīng)系統(tǒng)的層次模擬區(qū)分，則有神經(jīng)元層次模型，組合式模型，網(wǎng)絡(luò)層次模型，神經(jīng)系統(tǒng)層次模型和智能型模型。神經(jīng)網(wǎng)絡(luò)的分類(1)階躍型函數(shù) 1 x0f(x)= 0 x0(2)分段線性函數(shù) 0 x0f(x)= cx 0 xxc 1 xc x 典型的激活函數(shù)(3)S型函數(shù)(4)概率型函數(shù)溫度參數(shù)McCulloch-Pitts認(rèn)知網(wǎng)絡(luò)關(guān)聯(lián)權(quán)，表示神經(jīng)元對第i

6、個晶枝接受到信息的感知能力輸出函數(shù)，激活函數(shù)網(wǎng)絡(luò)的分層結(jié)構(gòu)單級網(wǎng) (1) 簡單單級網(wǎng) x1 w11 o1 x2 w1m o2 w2m wn1 xn wnm on 輸入層 輸出層多級網(wǎng) 輸入層 隱藏層 輸出層第二節(jié)前向神經(jīng)網(wǎng)絡(luò)feed-forward neural networks前向型人工神經(jīng)網(wǎng)絡(luò)計算過程 神經(jīng)網(wǎng)絡(luò)模型： 確定權(quán)數(shù)學(xué)習(xí)數(shù)據(jù)：輸入和輸出學(xué)習(xí)規(guī)則輸入輸出實際數(shù)據(jù) 神經(jīng)網(wǎng)絡(luò)模型： 權(quán)數(shù)已經(jīng)確定輸入輸出前向神經(jīng)網(wǎng)絡(luò)單層前向神經(jīng)網(wǎng)絡(luò)輸入變量輸出結(jié)果閾值輸入i同神經(jīng)元j的權(quán)數(shù)第j個神經(jīng)元所接收到的值：矩陣表示學(xué)習(xí)算法學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1)對各權(quán)值w0j(0),w1j(0),wnj(0)

7、，j=1, 2,m （m為計算層的節(jié)點(diǎn)數(shù)）賦予較小的非零隨機(jī)數(shù)；(2) 輸入樣本對Xp,dp，其中Xp=(-1,x1p,x2p,xnp)，dp為期望的輸出向量（教師信號），上標(biāo)p代表樣本對的模式序號，設(shè)樣本集中的樣本總數(shù)為P， 則p=1,2,P；(3)計算各節(jié)點(diǎn)的實際輸出yjp(t)=sgnWjT(t)Xp, j=1,2,.,m；(4)調(diào)整各節(jié)點(diǎn)對應(yīng)的權(quán)值，Wj(t+1)= Wj(t)+djp-yjp(t)Xp, j=1, 2,m, 其中為學(xué)習(xí)率，用于控制調(diào)整速度，太大會影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢，一般取01；(5)返回到步驟(2)輸入下一對樣本，周而復(fù)始直到對所有樣本，感知

8、器的實際輸出與期望輸出相等。三層前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖輸入層記為第0層；輸出層所在的層數(shù)為神經(jīng)網(wǎng)絡(luò)的層數(shù)。除了輸入層和輸出層之外的神經(jīng)元層為隱（含）層。多層前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖記第k-1層到第k層的權(quán)數(shù)矩陣為nk表示第k層神經(jīng)元個數(shù)。輸入向量為若每一層都采用 的激活函數(shù)輸出，稱為多層簡單線性前向網(wǎng)絡(luò)，則第n層的輸出為反推（BP）學(xué)習(xí)規(guī)則back propagation輸入向量： X=(x1,x2,xi,xn)T隱層輸出向量： Y=(y1,y2,yj,ym)T輸出層輸出向量： O=(o1,o2,ok,ol)T期望輸出向量：d=(d1, d2,dk,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1

9、,V2,Vj,Vm)隱層到輸出層之間的權(quán)值矩陣用：W=(W1,W2,Wk,Wl)BP學(xué)習(xí)算法網(wǎng)絡(luò)誤差與權(quán)值調(diào)整將以上誤差定義式展開至隱層：輸出誤差E定義：進(jìn)一步展開至輸入層：j=0,1,2,m; k=1,2,li=0,1,2,n; j=1,2,m 式中負(fù)號表示梯度下降，常數(shù)(0,1)表示比例系數(shù)。在全部推導(dǎo)過程中，對輸出層有j=0,1,2,m; k=1,2,l 對隱層有 i=0,1,2,n; j=1,2,mBP學(xué)習(xí)算法對于輸出層對隱層對輸出層和隱層各定義一個誤差信號，令 對于輸出層， o可展開為對于隱層， y可展開為下面求網(wǎng)絡(luò)誤差對各層輸出的偏導(dǎo)。對于輸出層對于隱層應(yīng)用求網(wǎng)絡(luò)誤差對各層輸出的偏

10、導(dǎo)得到三層前饋網(wǎng)的BP學(xué)習(xí)算法權(quán)值調(diào)整計算公式為：第三節(jié)反饋型神經(jīng)網(wǎng)絡(luò)feed-back neural networks 美國加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出一種單層反饋神經(jīng)網(wǎng)絡(luò)，后來人們將這種反饋網(wǎng)絡(luò)稱作Hopfield網(wǎng)。 Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN (Discrete Hopfield Neural Network)和CHNN (Continues Hopfield Neural Network)。 反饋神經(jīng)網(wǎng)絡(luò)由于其輸出端有反饋到其輸入端；所以，Hopfield網(wǎng)絡(luò)在輸入的激勵下，會產(chǎn)生不斷的狀態(tài)變化。當(dāng)有輸入之

11、后，可以求取出Hopfield的輸出，這個輸出反饋到輸入從而產(chǎn)生新的輸出，這個反饋過程一直進(jìn)行下去。如果Hopfield網(wǎng)絡(luò)是一個能收斂的穩(wěn)定網(wǎng)絡(luò)，則這個反饋與迭代的計算過程所產(chǎn)生的變化越來越小，一旦到達(dá)了穩(wěn)定平衡狀態(tài)；那么Hopfield網(wǎng)絡(luò)就會輸出一個穩(wěn)定的恒值。對于一個Hopfield網(wǎng)絡(luò)來說，關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)。Hopfield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的輸出只取1和0這兩個值，所以，也稱離散Hopfield神經(jīng)網(wǎng)絡(luò)。在離散Hopfield網(wǎng)絡(luò)中，所采用的神經(jīng)元是二值神經(jīng)元；故而，所輸出的離散值1和0分別表示神經(jīng)元處于激活和抑制狀態(tài)。 第0層僅僅是作為網(wǎng)絡(luò)的

12、輸入，它不是實際神經(jīng)元，所以無計算功能；而第一層是實際神經(jīng)元，故而執(zhí)行對輸人信息和權(quán)系數(shù)乘積求累加和，并由非線性函數(shù)f處理后產(chǎn)生輸出信息。 三神經(jīng)元組成的Hopfield網(wǎng)絡(luò) 離散型Hopfield網(wǎng)絡(luò)DHNN網(wǎng)的轉(zhuǎn)移函數(shù)常采用符號函數(shù) 離散系統(tǒng)的神經(jīng)網(wǎng)絡(luò)的輸出其中，令離散型Hopfield網(wǎng)絡(luò)的能量函數(shù)對應(yīng)的動力系統(tǒng)(1)網(wǎng)絡(luò)的異步工作方式 (2)網(wǎng)絡(luò)的同步工作方式 網(wǎng)絡(luò)的同步工作方式是一種并行方式，所有神經(jīng)元同時調(diào)整狀態(tài)，即 網(wǎng)絡(luò)運(yùn)行時每只有一個神經(jīng)元進(jìn)行狀態(tài)的調(diào)整計算，其它神經(jīng)元的狀態(tài)均保持不變，即Coben和Grossberg在1983年給出了關(guān)于Hopfield網(wǎng)絡(luò)穩(wěn)定的充分條件，他

13、們指出：如果Hopfield網(wǎng)絡(luò)的權(quán)系數(shù)矩陣w是一個對稱矩陣，并且，對角線元素為0則這個網(wǎng)絡(luò)是穩(wěn)定的。即是說在權(quán)系數(shù)矩陣W中，如果i=j時，Wij=0ij時，Wij=Wji則Hopfield網(wǎng)絡(luò)是穩(wěn)定的。應(yīng)該指出：這只是Hopfield網(wǎng)絡(luò)穩(wěn)定的充分條件而不是必要條件。在實際中有很多穩(wěn)定的Hopfield網(wǎng)絡(luò)，但是它們并不滿足權(quán)系數(shù)矩陣w是對稱矩陣這一條件。上面的分析可知：無自反饋的權(quán)系數(shù)對稱Hopfield網(wǎng)絡(luò)是穩(wěn)定的網(wǎng)絡(luò)。 連續(xù)型Hopfield網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)的電路形式連續(xù)Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)和離散網(wǎng)絡(luò)的結(jié)構(gòu)相同。這種拓樸結(jié)構(gòu)和生物的神經(jīng)系統(tǒng)中大量存在的神經(jīng)反饋回路是相

14、一致的。在連續(xù)Hopfield網(wǎng)絡(luò)中，和離散Hopfield網(wǎng)絡(luò)一樣，其穩(wěn)定條件也要求wij=wji。不同在于激活函數(shù)不是階躍函數(shù)，而是S形函數(shù)。 連續(xù)型與離散型Hopfield網(wǎng)絡(luò)的區(qū)別連續(xù)型Hopfield能量函數(shù)對應(yīng)的動力系統(tǒng) 當(dāng)網(wǎng)絡(luò)神經(jīng)元的傳遞函數(shù)是S函數(shù)，并且網(wǎng)絡(luò)權(quán)系數(shù)矩陣對稱；則隨時間的變化網(wǎng)絡(luò)的能量會下降或不變；而且僅當(dāng)輸出電位隨時間變化不變時網(wǎng)絡(luò)的能量才會不變。換而言之，在上述條件下的網(wǎng)絡(luò)是能量不變或下降的。對上述推導(dǎo)的理解結(jié)論： 當(dāng)Hopfield網(wǎng)絡(luò)的神經(jīng)元傳遞函數(shù)g是連續(xù)且有界的，例如Sigmoid函數(shù)，并且網(wǎng)絡(luò)的權(quán)系數(shù)矩陣對稱，則這個連續(xù)Hopfield網(wǎng)絡(luò)是穩(wěn)定的。 其他常見的模型 自適應(yīng)共振理論ART(Adaptive Resonance Theory)模型是美國Boston大學(xué)的SGrossberg和ACarpenet在1976年提出的。ART是一種自組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是無教師的學(xué)習(xí)網(wǎng)絡(luò)。當(dāng)在神經(jīng)網(wǎng)絡(luò)和環(huán)境有交互作用時，對