神經(jīng)網(wǎng)絡原理模擬試題 華中科技大學.doc

神經(jīng)網(wǎng)絡原理模擬試題朱張帆吳俊杰一、填空題1、從系統(tǒng)的觀點講，人工神經(jīng)元網(wǎng)絡是由大量神經(jīng)元通過極其豐富和完善的連接而構成的自適應、非線性、動力學系統(tǒng)。2、神經(jīng)網(wǎng)絡的基本特性有拓撲性、學習性和穩(wěn)定收斂性。3、神經(jīng)網(wǎng)絡按結構可分為前饋網(wǎng)絡和反饋網(wǎng)絡，按性能可分為離散型和連續(xù)型，按學習方式可分為有導師和無導師。4、神經(jīng)網(wǎng)絡研究的發(fā)展大致經(jīng)過了四個階段。5、網(wǎng)絡穩(wěn)定性指從t=0時刻初態(tài)開始，到t時刻后v(t+t)=v(t)，(t0)，稱網(wǎng)絡穩(wěn)定。6、聯(lián)想的形式有兩種，它們分是自聯(lián)想和異聯(lián)想。7、存儲容量指網(wǎng)絡穩(wěn)定點的個數(shù)，提高存儲容量的途徑一是改進網(wǎng)絡的拓撲結構，二是改進學習方法。8、非穩(wěn)定吸引子有兩種狀態(tài)，一是有限環(huán)狀態(tài)，二是混沌狀態(tài)。9、神經(jīng)元分興奮性神經(jīng)元和抑制性神經(jīng)元。10、漢明距離指兩個向量中對應元素不同的個數(shù)。二、簡答題1、人工神經(jīng)元網(wǎng)絡的特點？答：（1）、信息分布存儲和容錯性。（2）、大規(guī)模并行協(xié)同處理。（3）、自學習、自組織和自適應。（4）、人工神經(jīng)元網(wǎng)絡是大量的神經(jīng)元的集體行為，表現(xiàn)為復雜的非線性動力學特性。（5）人式神經(jīng)元網(wǎng)絡具有不適合高精度計算、學習算法和網(wǎng)絡設計沒有統(tǒng)一標準等局限性。2、單個神經(jīng)元的動作特征有哪些？答：單個神經(jīng)元的動作特征有：（1）、空間相加性；（2）、時間相加性；（3）、閾值作用；（4）、不應期；（5）、可塑性；（6）疲勞。3、怎樣描述動力學系統(tǒng)？答：對于離散時間系統(tǒng)，用一組一階差分方程來描述：X(t+1)=FX(t)；對于連續(xù)時間系統(tǒng)，用一階微分方程來描述：dU(t)/dt=FU(t)。4、F(x)與x的關系如下圖，試述它們分別有幾個平衡狀態(tài)，是否為穩(wěn)定的平衡狀態(tài)？XF(X)0ab(1) XF(X)0a(2) 答：在圖（1）中，有兩個平衡狀態(tài)a、b，其中，在a點曲線斜率|F(X)|1，為非穩(wěn)定平穩(wěn)狀態(tài)；在b點曲線斜率|F(X)|1，為非穩(wěn)定平穩(wěn)狀態(tài)。5、對于單個神經(jīng)元的離散模型，Hebb學習假設是什么，基本學習方程是什么？答：對于單個神經(jīng)元的離散模型，Hebb學習假設是：只有當神經(jīng)元興奮時，與其連接的突觸結合權才被強化而增大；當兩個神經(jīng)元同時處于興奮狀態(tài)時，它們之間的連接權應該加強?；緦W習方程是：6、聯(lián)想形式中的自聯(lián)想和異聯(lián)想有何區(qū)別？答：自聯(lián)想指的是由某種代表事物（或該事物的主要特征或可能是部分主在特征）聯(lián)想到其所表示的實際事物。其數(shù)學模型為：當輸入XX0+V時，輸出Y=X0。異聯(lián)想指的是由某一事物（或該事物的主要特征或可能是部分主在特征）聯(lián)想到與其相關的另一事物。其數(shù)學模型為：在映射X0Y0下，當輸入XX0+V時，輸出Y=Y0。7、網(wǎng)絡的穩(wěn)定吸引子和吸引子的吸引域分別指什么？答：當t=0時，對網(wǎng)絡輸入模式x，網(wǎng)絡處于狀態(tài)v(0)，到時刻t網(wǎng)絡達到狀態(tài)v(t)，若v(t)穩(wěn)定，則稱v(t)為網(wǎng)絡的穩(wěn)定吸引子。吸引子的吸引域是指所有經(jīng)過一定時間能夠穩(wěn)定在吸引子v(t)上的所有初始狀態(tài)的集合。三、論述題1、 前饋式神經(jīng)元網(wǎng)絡與反饋式神經(jīng)元網(wǎng)絡有何不同？答：（1）、前饋型神經(jīng)元網(wǎng)絡取連續(xù)或離散變量，一般不考慮輸出與輸入在時間上的滯后效應，只表達輸出與輸入的映射關系。反饋式神經(jīng)元網(wǎng)絡可以用離散變量也可以用連續(xù)取值，考慮輸出與輸入之間在時間上和延遲，需要用動態(tài)方程來描述系統(tǒng)的模型。（2）、前饋型網(wǎng)絡的學習主要采用誤差修正法（如BP算法），計算過程一般比較慢，收斂速度也比較慢。而反饋型網(wǎng)絡主要采用Hebb學習規(guī)則，一般情況下計算的收斂速度很快。反饋網(wǎng)絡也有類似于前饋網(wǎng)絡的應用，例如用作聯(lián)想記憶或分類，而在優(yōu)化計算方面的應用更能顯出反饋網(wǎng)絡的特點。2、 試述離散型Hopfield神經(jīng)元網(wǎng)絡的結構及工作原理。（1） Hopfield神經(jīng)元網(wǎng)絡的結構如下： 這種網(wǎng)絡是一種單層網(wǎng)絡，由n個單元組成。每個神精元既是輸入單元，又是輸出單元；各節(jié)點一般選用相同的轉移函數(shù)，且為符號函數(shù)，即： 為網(wǎng)絡的輸入； 為網(wǎng)絡的輸出； 為網(wǎng)絡在時刻t 的狀態(tài)，其中t0，1，2， 為離散時間變量。Wij為從Ni到Nj的連接權值，Hopfield網(wǎng)絡為對稱的即有Wij = Wji 。N1N2Nn-1Nnx1x2xn-1xny1y2Yn-1ynV1(t)V2(t)Vn-1(t)Vn(t)w21Wn-1 2（2）、工作原理：、網(wǎng)絡經(jīng)過訓練后，可以認為網(wǎng)絡處于等待工作狀態(tài)，對網(wǎng)絡給定初始輸入x時，網(wǎng)絡就處于特定的初始狀態(tài)，由此初始狀態(tài)開始運行，可以得到網(wǎng)絡的下一個輸出狀態(tài)。、這個輸出狀態(tài)通過反饋回送到網(wǎng)絡的輸入端，作為網(wǎng)絡下一個階段的輸入信號，這個輸入信號可能與初始輸入信號不同，由這個新的輸入又可得到下一步的輸出,如此重復。、如果網(wǎng)絡是穩(wěn)定的，經(jīng)過若干次反饋運行后網(wǎng)絡將會達到穩(wěn)態(tài)。、Hopfield網(wǎng)絡的工作過程可用下式表示：研究生神經(jīng)網(wǎng)絡試題A卷參考答案一、名詞解釋(共5題，每題5分，共計25分) 1、泛化能力答：泛化能力又稱推廣能力，是機器學習中衡量學習機性能好壞的一個重要指標。泛化能力主要是指經(jīng)過訓練得到的學習機對未來新加入的樣本（即測試樣本）數(shù)據(jù)進行正確預測的能力。2、有監(jiān)督學習答：有監(jiān)督學習又被稱為有導師學習，這種學習方式需要外界存在一個“教師”，她可以對一組給定輸入提供應有的輸出結果，學習系統(tǒng)可根據(jù)已知輸出與實際輸出之間的差值來調節(jié)系統(tǒng)參數(shù)。3、過學習答：過學習（over-fitting），也叫過擬和。在機器學習中，由于學習機器過于復雜，盡管保證了分類精度很高（經(jīng)驗風險很?。?，但由于VC維太大，所以期望風險仍然很高。也就是說在某些情況下，訓練誤差最小反而可能導致對測試樣本的學習性能不佳，發(fā)生了這種情況我們稱學習機（比如神經(jīng)網(wǎng)絡）發(fā)生了過學習問題。典型的過學習是多層前向網(wǎng)絡的BP算法4、Hebb學習規(guī)則答：如果兩個神經(jīng)元同時興奮(即同時被激活)，則它們之間的突觸連接加強。如果用、表示神經(jīng)元i和j的激活值(輸出)，表示兩個神經(jīng)元之間的連接權，則Hebb學習規(guī)則可以表示為： ，這里表示學習速率。Hebb學習規(guī)則是人工神經(jīng)網(wǎng)絡學習的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡的學習規(guī)則都可以看作Hebb學習規(guī)則的變形。5、自學習、自組織與自適應性答：神經(jīng)網(wǎng)絡結構上的特征是處理單元的高度并行性與分布性，這種特征使神經(jīng)網(wǎng)絡在信息處理方面具有信息的分布存儲與并行計算而且存儲與處理一體化的特點。而這些特點必然給神經(jīng)網(wǎng)絡帶來較快的處理速度和較強的容錯能力。能力方面的特征是神經(jīng)網(wǎng)絡的自學習、自組織與自性適應性。自適應性是指一個系統(tǒng)能改變自身的性能以適應環(huán)境變化的能力，它包含自學習與自組織兩層含義。自學習是指當外界環(huán)境發(fā)生變化時，經(jīng)過一段時間的訓練或感知，神經(jīng)網(wǎng)絡能通過自動調整網(wǎng)絡結構參數(shù)，使得對于給定輸入能產(chǎn)生期望的輸出。自組織是指神經(jīng)系統(tǒng)能在外部刺激下按一定規(guī)則調整神經(jīng)元之間的突觸連接，逐漸構建起神經(jīng)網(wǎng)絡。也就是說自組織神經(jīng)元的學習過程，完全是一種自我學習的過程，不存在外部教師的示教。二、問答題（共7題，每題8分，共計56分）3、人工神經(jīng)網(wǎng)絡是模擬生物神經(jīng)網(wǎng)絡的產(chǎn)物，除相同點外，它們還存在哪些主要區(qū)別？答; 1單元上的差別 對于生物神經(jīng)元而言，影響突觸傳遞信息強度的因素很多、很復雜。如突觸前微細胞的大小與多少、神經(jīng)傳遞化學物質含量的多少、神經(jīng)傳遞化學物質釋放的速度、突觸間隙的變化、樹突的位置與大小等諸多因素都會對突觸電位產(chǎn)生影響，從而影響神經(jīng)元的輸出脈沖響應。而人工神經(jīng)元則忽略了這些影響，輸入、輸出關系十分簡單。2信息上的差別 生物神經(jīng)元傳遞的信息是脈沖，而人工神經(jīng)元傳遞的信息是模擬電壓。3規(guī)模與智能上的差別 目前，人工神經(jīng)網(wǎng)絡的規(guī)模還遠小于生物神經(jīng)網(wǎng)絡，網(wǎng)絡中神經(jīng)元的數(shù)量一般在104個以下，顯然，其智能也無法與生物神經(jīng)網(wǎng)絡相比。4、感知器神經(jīng)網(wǎng)絡存在的主要缺陷是什么？答: 1)由于感知器的激活函數(shù)采用的是閥值函數(shù)，輸出矢量只能取0或1，所以只能用它來解決簡單的分類問題；2)感知器僅能夠線性地將輸入矢量進行分類。理論上已經(jīng)證明，只要輸人矢量是線性可分的，感知器在有限的時間內總能達到目標矢量；3)感知器還有另外一個問題，當輸入矢量中有一個數(shù)比其他數(shù)都大或小得很多時，可能導致較慢的收斂速度。5、請比較前饋型神經(jīng)網(wǎng)絡與反饋型神經(jīng)網(wǎng)絡的異同點。（8分）答：前饋型神經(jīng)網(wǎng)絡只表達輸入輸出之間的映射關系，實現(xiàn)非線性映射；反饋型神經(jīng)網(wǎng)絡考慮輸入輸出之間在時間上的延遲，需要用動態(tài)方程來描述，反饋型神經(jīng)網(wǎng)絡是一個非線性動力學系統(tǒng)。(1) 前饋型神經(jīng)網(wǎng)絡的學習訓練主要采用BP算法，計算過程和收斂速度比較慢；反饋型神經(jīng)網(wǎng)絡的學習主要采用Hebb規(guī)則，一般情況下計算的收斂速度很快，并且它與電子電路有明顯的對應關系，使得網(wǎng)絡易于用硬件實現(xiàn)。(2) 前饋型神經(jīng)網(wǎng)絡學習訓練的目的是快速收斂，一般用誤差函數(shù)來判定其收斂程度；反饋型神經(jīng)網(wǎng)絡的學習目的是快速尋找到穩(wěn)定點，一般用能量函數(shù)來判別是否趨于穩(wěn)定點。(3) 兩者都有局部極小問題。6、BP算法的基本思想是什么，它存在哪些不足之處？（9分）答：BP算法（即反向傳播法）的基本思想是：學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。1）正向傳播：輸入樣本輸入層各隱層（處理）輸出層注1：若輸出層實際輸出與期望輸出（教師信號）不符，則轉入2）（誤差反向傳播過程）2）誤差反向傳播：輸出誤差（某種形式）隱層（逐層）輸入層其主要目的是通過將輸出誤差反傳，將誤差分攤給各層所有單元，從而獲得各層單元的誤差信號，進而修正各單元的權值（其過程，是一個權值調整的過程）。注2：權值調整的過程，也就是網(wǎng)絡的學習訓練過程（學習也就是這么的由來，權值調整）。雖然BP算法得到廣泛的應用，但它也存在自身的限制與不足，其主要表現(xiàn)在于它的訓練過程的不確定上。具體說明如下：1）易形成局部極